מה זה רשת נוירונים? ההסבר הפשוט שתמיד חיפשתם
שמעתם את המונח בפודקאסט, בכתבה בעיתון, אולי אפילו בשיחה עם חבר שעובד בהייטק. רשת נוירונים — שתי מילים שמופיעות בכל דיון על בינה מלאכותית, ואף אחד לא ממש עוצר להסביר מה הן אומרות. בדרך כלל התשובה שתקבלו היא משהו על "חיקוי של המוח האנושי", וזה נכון, אבל זה גם לא מסביר כלום.
הבעיה היא שרוב ההסברים ברשת נופלים לאחת משתי קטגוריות. או שהם אקדמיים ומלאים בנוסחאות, או שהם שטחיים עד כדי כך שאחרי הקריאה אתם עדיין לא מבינים איך זה עובד בפועל. אין הרבה באמצע.
אז בואו ננסה משהו אחר. במאמר הזה נתחיל מאפס, בלי הנחות מוקדמות, ונגיע עד לנקודה שבה תבינו למה כשאתם כותבים שאלה ב-ChatGPT, מאחורי הקלעים רצים חישובים שמבוססים בדיוק על הרעיון הזה.
מה זה רשת נוירונים?
רשת נוירונים היא מערכת מחשב שלומדת לזהות דפוסים מתוך דוגמאות, במקום שיתכנתו לה חוקים מראש. היא בנויה משכבות של יחידות חישוב קטנות שמעבירות מידע ביניהן, וכל יחידה כזו מבצעת חישוב פשוט. הכוח נובע מהכמות: כשמחברים מיליוני יחידות כאלה, המערכת מסוגלת לזהות דברים מורכבים כמו פנים בתמונה או משמעות של משפט.
אם נשווה את זה לתוכנה רגילה, ההבדל ברור. תוכנה רגילה עובדת לפי הוראות מפורשות: אם המשתמש לחץ על הכפתור, תפתח את החלון. רשת נוירונים לא מקבלת הוראות כאלה. במקום זה מראים לה אלפי דוגמאות והיא מוצאת בעצמה את הכללים.
מאיפה הגיע הרעיון
הרעיון נולד מתוך ניסיון לחקות את המוח, ויש לו היסטוריה ארוכה יותר ממה שרובנו מדמיינים.
ב-1943 פרסמו החוקרים וורן מקולוך וולטר פיטס מאמר שהציע מודל מתמטי פשוט של תא עצב במוח. במודל שלהם, הנוירון מקבל כמה נתונים, שוקל כל אחד מהם לפי חשיבותו, ומחליט אם להעביר אות הלאה או לא. זה נשמע פשוט, ובאמת היה פשוט, אבל זה היה הרעיון הראשון שהראה שאפשר לתרגם פעילות מוחית לחישוב.
ב-1958 בנה פסיכולוג בשם פרנק רוזנבלט מכשיר שנקרא פרספטרון. זו הייתה מכונה פיזית עם קולטני אור שידעה לסווג תמונות פשוטות, והיא נחשבה לפריצת דרך. אבל ב-1969 שני חוקרים הראו מתמטית שהמודל במתכונתו אז מוגבל מאוד, והמימון למחקר בתחום כמעט נעלם לשני עשורים.
מה שהחזיר את התחום לחיים היה שילוב של שלושה דברים: שיטת אימון טובה יותר שפותחה בשנות ה-80, כמויות עצומות של נתונים שהאינטרנט יצר, וכרטיסים גרפיים חזקים שאפשרו לבצע את החישובים במהירות. רק בעשור האחרון כל שלושת התנאים התקיימו בו זמנית.
איך זה עובד: הסבר עם דוגמה
נניח שאנחנו רוצים שמערכת תדע להבדיל בין תמונה של חתול לתמונה של כלב. בואו נעקוב אחרי התהליך.
שכבת הקלט: המידע הגולמי נכנס
התמונה נכנסת למערכת כאוסף של נקודות צבע. כל נקודה כזו מקבלת יחידה משלה בשכבה הראשונה. בשלב הזה המערכת עדיין לא "רואה" חתול או כלב, היא רואה רק מספרים שמייצגים בהירות וצבע.
השכבות האמצעיות: כאן קורה הקסם
המידע עובר לשכבות הבאות, וכאן מתחילה ההפשטה. השכבות הראשונות מזהות דברים בסיסיים מאוד: קווים, פינות, מעברי צבע. השכבות הבאות מחברות את הקווים האלה לצורות. השכבות העמוקות יותר כבר מזהות אוזן, עין, אף.
אף אחד לא אמר למערכת לחפש אוזניים. היא הגיעה לזה בעצמה, מתוך זה שראתה מספיק תמונות. זו הנקודה שהכי קשה לתפוס וגם הכי חשובה.
שכבת הפלט: התשובה
בסוף התהליך מתקבלת תשובה, בדרך כלל בצורת הסתברות. למשל: 94 אחוז חתול, 6 אחוז כלב. המערכת לא אומרת "זה חתול", היא אומרת "אני די בטוחה שזה חתול".
איך רשת נוירונים לומדת
עד עכשיו תיארנו רשת שכבר יודעת. אבל איך היא הגיעה לשם?
בהתחלה המערכת לא יודעת כלום. מראים לה תמונה של חתול, היא מנחשת, והניחוש שגוי לגמרי. אז המערכת בודקת כמה היא טעתה ומתקנת את עצמה קצת אחורה, כלומר משנה את החשיבות שהיא נותנת לכל חיבור פנימי. השיטה הזו נקראת פעפוע לאחור, כלומר העברת המידע על השגיאה בכיוון ההפוך, מהתשובה חזרה לתחילת הרשת.
ואז מראים לה תמונה נוספת. ועוד אחת. ועוד מיליון. בכל סיבוב התיקון קטן, אבל אחרי מספיק חזרות הרשת מגיעה לרמת דיוק גבוהה.
זה בעצם לא שונה מהאופן שבו ילד לומד לזהות כלב. אף אחד לא נותן לו הגדרה של "כלב" עם רשימת תכונות. פשוט מראים לו כלבים, הוא טועה כמה פעמים, מתקנים אותו, ובשלב מסוים הוא פשוט יודע.
יש כאן נקודה שכדאי להתעכב עליה. אחרי האימון, הידע שהרשת רכשה מיוצג בעיקר באמצעות אוסף עצום של מספרים שנקראים משקלים. המספרים האלה לא כתובים בשפה שאדם יכול לקרוא, ואי אפשר לפתוח אותם ולראות "כאן כתוב מה זה חתול". זו בדיוק הסיבה שקשה כל כך להסביר החלטות של רשתות נוירונים, נושא שנחזור אליו בהמשך.
רשת נוירונים מול למידת מכונה — מה ההבדל?
למידת מכונה היא התחום הרחב: כל שיטה שמאפשרת למחשב ללמוד מנתונים במקום לקבל חוקים מפורשים. רשת נוירונים היא אחת השיטות בתוך התחום הזה, ולא היחידה. יש שיטות אחרות של למידת מכונה שלא משתמשות ברשתות נוירונים בכלל.
ההבדל המעשי הגדול הוא בכמות העבודה האנושית. בשיטות למידת מכונה קלאסיות, אדם צריך להגדיר מראש מה המערכת אמורה לחפש. אם רוצים לזהות הונאות בכרטיס אשראי, מישהו צריך להחליט שהסכום והשעה והמיקום הם הנתונים החשובים. רשת נוירונים מקבלת את המידע הגולמי ומחליטה בעצמה מה חשוב.
אם אתם רוצים להעמיק ביסודות, המדריך שלנו על מה זה למידת מכונה וההסבר הפשוט שתמיד חיפשתם מכסה את התחום הרחב הזה לעומק, ורשת נוירונים היא הרחבה טבעית שלו.
סוגי רשתות נוירונים העיקריים
לא כל הרשתות בנויות אותו דבר. המבנה משתנה לפי סוג המידע שאיתו עובדים.
| סוג הרשת | למה היא מתאימה | איפה משתמשים בה |
|---|---|---|
| רשת קונבולוציה (CNN) | תמונות ווידאו | זיהוי פנים, ניתוח צילומי רפואה |
| רשת חוזרת (RNN) | מידע שהסדר בו חשוב | סדרות נתונים לאורך זמן, עיבוד קול |
| רשת טרנספורמר | טקסט ושפה | מודלי שפה גדולים, כלי כתיבה |
הערה חשובה על RNN: היא הייתה חשובה מאוד לעיבוד רצפים במשך שנים, אבל בתחומים כמו שפה ותרגום היא הוחלפה במידה רבה בארכיטקטורת הטרנספורמר.
ושתי הערות על השמות. "קונבולוציה" זו פעולה מתמטית שסורקת את התמונה בחלקים קטנים, כמו זכוכית מגדלת שעוברת על פני הדף. "חוזרת" פירושה שהרשת מזינה את עצמה בחזרה, כלומר זוכרת מה קרה בשלב הקודם ומשתמשת בזה בשלב הבא.
הטרנספורמר: הסוג שהכי משפיע היום
ארכיטקטורת הטרנספורמר הוצגה במאמר מחקר מ-2017, והיא הפכה לארכיטקטורה מרכזית מאחורי רבים מכלי הבינה המלאכותית המתקדמים כיום, ובמיוחד מודלי שפה גדולים. החידוש שלה הוא מנגנון שנקרא קשב עצמי, שמאפשר למערכת לבחון את כל המילים במשפט בבת אחת ולהבין אילו מילים קשורות לאילו.
נסביר את זה אחרת. במשפט ארוך, מילה אחת יכולה להיות קשורה למילה שנמצאת רחוק ממנה, בתחילת המשפט או אפילו בפסקה קודמת. מנגנון הקשב מאפשר למערכת לשקול את כל המילים זו מול זו ולהחליט אילו מהן רלוונטיות להבנת המילה הנוכחית, בלי קשר למרחק ביניהן.
הרשתות שקדמו לטרנספורמר עיבדו את הטקסט מילה אחרי מילה, ובטקסטים ארוכים הן נטו לאבד את הקשר למה שנאמר קודם. זה בדיוק מה שהטרנספורמר פתר, ובגלל זה הוא הפך לארכיטקטורה השלטת בעיבוד שפה.
איפה פוגשים רשתות נוירונים ביום יום
הטכנולוגיה הזו כבר נמצאת ברוב הכלים הדיגיטליים שאתם משתמשים בהם, גם אם היא לא מוזכרת בשם.
- כלי בינה מלאכותית לכתיבה ולשיחה — כל מודלי השפה הגדולים בנויים על רשתות טרנספורמר.
- פתיחת הטלפון בזיהוי פנים — רשתות קונבולוציה משמשות במערכות זיהוי פנים במכשירים ניידים.
- הכתבה קולית ותרגום — המרת דיבור לטקסט ותרגום בין שפות נשענים על רשתות נוירונים.
- מנועי המלצות — פלטפורמות תוכן ומסחר משתמשות ברשתות נוירונים כדי לנתח העדפות ולהציע תוכן.
- סינון דואר זבל — שירותי דואר אלקטרוני משתמשים במערכות למידה כדי לזהות הודעות חשודות.
אם מעניין אתכם להבין את התמונה הרחבה של איך הטכנולוגיה הזו נכנסה לכל מקום, כדאי לקרוא את המדריך שלנו על מה זה בינה מלאכותית וכל מה שצריך לדעת.
למה צריך כל כך הרבה נתונים?
זו אחת השאלות הנפוצות, והתשובה קשורה ישירות לאופן שבו הרשת לומדת.
הרשת לא מבינה מושגים. היא מזהה דפוסים סטטיסטיים. אם תראו לה מאה תמונות של חתולים, וכולן מצולמות מלפנים באור יום, היא תלמד שחתול הוא משהו שנראה כך. תראו לה חתול מלמעלה בחושך והיא תיכשל.
כדי שהרשת תזהה חתולים באמת, היא צריכה לראות אותם מכל הזוויות, בכל התאורות, בכל הגזעים. רק מתוך הגיוון הזה היא מחלצת את מה שבאמת משותף לכל החתולים. וזה דורש כמויות עצומות של דוגמאות.
יש לזה גם צד בעייתי. אם הנתונים שעליהם אימנו את הרשת מוטים, הרשת תהיה מוטה. זו אחת הסיבות המרכזיות לכך שכלי בינה מלאכותית לפעמים מספקים תשובות שגויות או חד צדדיות, נושא שהרחבנו עליו במדריך על איך לזהות מידע שגוי מבינה מלאכותית.
מה זה למידה עמוקה ואיך זה קשור?
למידה עמוקה היא פשוט שימוש ברשתות נוירונים עם הרבה שכבות. "עמוקה" מתייחסת למספר השכבות, לא למורכבות רעיונית כלשהי.
ככל שמוסיפים שכבות, הרשת מסוגלת ללמוד ייצוגים מורכבים יותר של המידע. אבל עומק לבדו לא מבטיח ביצועים טובים. סוג הארכיטקטורה, כמות הנתונים ואיכותם, שיטת האימון והחומרה שעליה זה רץ משפיעים לא פחות.
מה שהפך את התחום מתרגיל אקדמי לטכנולוגיה שימושית הוא בדיוק ההצטלבות של כל הגורמים האלה: רשתות עמוקות יותר, נתונים בהיקף שלא היה קיים קודם, וחומרה שמסוגלת לעמוד בעומס.
המגבלות שכדאי להכיר
רשת נוירונים היא כלי חזק, אבל היא לא קסם.
אין הסבר לתשובה. כשרשת מחליטה שתמונה מסוימת מכילה גידול, קשה מאוד לדעת מה בדיוק הוביל אותה למסקנה. הבעיה הזו מכונה "הקופסה השחורה", והיא מטרידה במיוחד ברפואה, בבנקאות ובמערכות משפט.
הרשת עובדת טוב רק על מה שהיא הכירה. מערכת שאומנה על נהיגה בכביש פתוח לא בהכרח תתמודד עם סיטואציה שלא ראתה מעולם.
העלות גבוהה. אימון רשת גדולה דורש חומרה יקרה וכמויות חשמל משמעותיות. זו הסיבה שרק חברות גדולות מפתחות מודלים בקנה מידה עצום.
איך מתחילים להתעסק עם זה בפועל
אם קריאת המאמר עוררה בכם סקרנות והייתם רוצים לגעת בחומר בעצמכם, יש כמה דרכים להתחיל בלי להשקיע כסף.
הדרך הכי נגישה היא כלים ויזואליים שרצים בדפדפן ומאפשרים לבנות רשת קטנה, לשנות את מספר השכבות ולראות בזמן אמת איך זה משפיע על התוצאה. אתם לא כותבים שורת קוד אחת, פשוט גוררים ולוחצים. זו דרך מצוינת לפתח אינטואיציה לפני שנוגעים בתכנות.
אם אתם כן רוצים לכתוב קוד, שפת התכנות הרווחת בתחום היא פייתון, ויש ספריות חינמיות שמורידות את רף הכניסה משמעותית. אפשר לאמן רשת שמזהה ספרות בכתב יד תוך פחות משעה, וזה התרגיל הקלאסי שכל מי שנכנס לתחום מתחיל ממנו.
ולפני שקופצים למים, כדאי לדעת שכלי הבינה המלאכותית עצמם הם מורים לא רעים לנושא הזה. אפשר לבקש הסבר, לשאול שאלות המשך ולבקש דוגמאות קוד עם הערות. רק זכרו לאמת מידע טכני מול מקור נוסף, כי כלים כאלה טועים לפעמים בביטחון מלא.
שאלות נפוצות
מה ההבדל בין רשת נוירונים לבינה מלאכותית?
בינה מלאכותית הוא המונח הרחב לכל מערכת שמבצעת משימות שדורשות בדרך כלל חשיבה אנושית. רשת נוירונים היא טכנולוגיה ספציפית שמשמשת לבניית מערכות כאלה. אפשר לבנות בינה מלאכותית בלי רשתות נוירונים, אבל רוב הכלים המובילים היום כן מבוססים עליהן.
האם ChatGPT הוא רשת נוירונים?
ChatGPT הוא שירות שמבוסס על מודל שפה גדול, והמודל עצמו בנוי על ארכיטקטורת טרנספורמר, שהיא סוג של רשת נוירונים. אז התשובה היא כן בעיקרון, אבל מדויק יותר לומר שרשת נוירונים היא הרכיב המרכזי במערכת, ולא כל המערכת.
מה זה נוירון מלאכותי?
נוירון מלאכותי הוא יחידת חישוב קטנה שמקבלת כמה מספרים, מכפילה כל אחד במשקל שמשקף את חשיבותו, מסכמת את הכול ומעבירה את התוצאה הלאה. זה כל מה שהוא עושה. המורכבות נוצרת מהחיבור בין מיליוני יחידות כאלה.
כמה זמן לוקח לאמן רשת נוירונים?
זה תלוי לגמרי בגודל הרשת ובכמות הנתונים. רשת קטנה לזיהוי ספרות בכתב יד יכולה להתאמן על מחשב ביתי בתוך דקות. מודלי שפה גדולים דורשים שבועות או חודשים על אלפי מעבדים גרפיים שרצים במקביל.
האם אפשר ללמוד לבנות רשת נוירונים בלי רקע במתמטיקה?
אפשר להתחיל. יש היום ספריות תוכנה שמאפשרות לבנות רשת בסיסית בכמה שורות קוד בלי להבין את המתמטיקה שמתחת. אבל כדי להבין למה הרשת מתנהגת כפי שהיא מתנהגת ולפתור בעיות באימון, ידע באלגברה ליניארית ובחשבון דיפרנציאלי הופך להיות הכרחי.
רשת נוירונים — מה חשוב לזכור
רשת נוירונים היא לא מוח מלאכותי ולא ישות שחושבת. היא מערכת שמזהה דפוסים מתוך כמות עצומה של דוגמאות, ועושה את זה טוב מאוד בתחומים מסוימים. ההבנה הזו חשובה כי היא מסבירה גם את הכוח של הכלים שאנחנו משתמשים בהם וגם את המקומות שבהם הם נכשלים. כשאתם יודעים שהמערכת מחפשת דפוסים ולא מבינה משמעות, קל יותר להבין למה היא לפעמים נותנת תשובה שנשמעת מצוין אבל פשוט לא נכונה.
