בדו שיח עם צ’ט-בוטים, דהיינו עם רשתות המעבדות שפה, פעמים רבות נדמה שיש בן אדם מהצד השני של הצ’ט. חוקרים מאוניברסיטת בן-גוריון בנגב ואוניברסיטת קולומביה בדקו האם הרשתות הללו מבינות ומעבדות שפה כמו בני האדם ומצאו פערים מפתיעים. ממצאי המחקר התפרסמו בכתב העת היוקרתי Nature Machine Intelligence.

כשבוחנים עיבוד של משפטים בשפה האנגלית בקרב בני אדם ובקרב מערכות למידה עמוקה (רשתות נוירונים מלאכותיות), נראה שיש דמיון מפתיע בין בני האדם ובין הרשתות. נתון זה הטריד את ד”ר טל גולן מהמחלקה למדעי הקוגניציה והמוח באוניברסיטת בן-גוריון בנגב ואת מתיו סיגלמן, תלמיד מחקר מאוניברסיטת קולומביה, שכן ישנם הבדלים משמעותיים בין הרשתות השונות וכן בין הצורה בה הרשתות הללו בנויות ופועלות, לבין המוח האנושי. ״אם נבין טוב יותר את הדמיון וההבדלים בין אינטליגנציה מלאכותית ואינטליגנציה טבעית, נוכל להבין טוב יותר כיצד אנחנו עצמנו פועלים״,  הסביר ד”ר גולן.

אחד הכלים המרכזיים בחקר השפה הוא בחינת המשפטים הנתפסים על ידי דוברי השפה כ-״קבילים״. למשל ״דנה אכלה כריך״ הוא משפט קביל בעברית, אך ״דנה כריך אכל״ או ״כריך אכל דנה״, אינם משפטים קבילים. בשנים האחרונות, מדענים החלו לבחון רשתות נוירונים מלאכותיות באופן דומה, ומצאו להפתעתם דמיון רב בין השיפוטים האנושיים ובין ההסתברות שרשתות נוירונים מלאכותיות מייחסות למשפטים שונים.

במחקר הנוכחי, החוקרים רצו לבחון את גבולות הדמיון בין בני האדם והרשתות. לצורך כך, הם פיתחו תוכנה שבונה זוגות של משפטים ״מעוררי מחלוקת״ בין הרשתות. בכל זוג כזה, יש משפט שרשת אחת מזהה כקביל, ואילו הרשת השנייה מזהה כבלתי קביל. המשפט השני נשפט על ידי הרשתות באופן הפוך- הרשת הראשונה מזהה אותו כבלתי קביל והרשת השנייה כקביל.

למשל, המשפט ״This is the week you have been dying״ נמצא כבלתי קביל לפי רשת מסוג GPT-2, וכקביל לחלוטין לפי רשת מסוג BERT. לעומת זאת המשפט ״That is the narrative we have been sold״ נמצא כקביל לפי GPT-2 וכבלתי קביל לפי BERT. אחרי שהחוקרים יצרו מאות זוגות של משפטים כאלה, המשפטים הוצגו ל-100 נבדקים אנושיים דוברי אנגלית, שהתבקשו לשפוט עבור כל אחד מהזוגות איזה משפט קביל יותר. במבחן שכזה, אחת הרשתות חייבת להיכשל, כיוון שהן אינן מסכימות ביניהן.

החוקרים מצאו שתחת המבחן המחמיר הזה, כל הרשתות מפגינות פערים משמעותיים בשיפוטים שלהן לעומת בני האדם. הן קיבלו משפטים לא דקדוקיים ולא הגיוניים כקבילים, ובאותו הזמן דחו משפטים דקדוקיים והגיוניים כלא קבילים. הרשת שנמצאה כדומה ביותר לבני האדם הייתה GPT-2, שלומדת על ידי ניסיון לחזות את המילה הבאה בטקסט, אותו עקרון המיושם בשלב האימון הראשון והעיקרי של צ׳ט-בוטים כגון ChatGPT.

״המחקר חושף פערים בין האופן שבו רשתות נוירונים מלאכותיות ובני אדם מעבדים שפה כתובה”, מסביר ד”ר גולן. “ככל שתחום הבינה המלאכותית מתקדם, קל יותר לרשתות האלה לשטות בנו ולהתחזות כדומות מאד בהתנהגותן לבני אדם. אבל כאשר אנחנו מפעילים את הכלים המתאימים, אנחנו יכולים לראות שישנה עוד דרך עד שנגיע לאלגוריתמים שמחקים בצורה מאד מדויקת התנהגות אנושית. ייתכן ונוכל לבנות רשתות נוירונים שמדמות באופן מדויק שיפוטים לשוניים של בני אדם רק כאשר הרשתות יממשו כישורים קוגניטיביים נוספים, כגון חישת הסביבה ובקרת תנועה, ולא רק יקראו מיליוני ספרים,” סיכם ד”ר גולן.

קבוצת המחקר כללה את: פרופסור כריסטופר בלדסנו ופרופסור ניקולאוס קריגסקורטה מהמחלקה לפסיכולוגיה של אוניברסיטת קולומביה.

מחקר זה (מס’ מענק1948004 ) מומן ע”י הקרן האמריקאית למדע ומלגת צוקרמן.

עוד בנושא באתר הידען:

הפוסט האם רשתות נוירונים מלאכותיות מבינות שפה כמונו? הופיע לראשונה ב-Chiportal.

הבינה המלאכותית נחשבת לטכנולוגיית המחשוב המאפשרת של החידושים הטכנולוגיים בשנים הקרובות. האינטרנט של הדברים כבר עושה שימוש נרחב בפרדיגמות מחשוב של למידה עמוקה כדי לאפשר שירותים של חיפוש מידע באינטרנט או כדי לזהות מידע אודיו-ויזואלי, ואילו האינטרנט של כל דבר שמתפתח ינהל ויספק שירותים שמעבדים נתונים ממיליארדי חיישנים מרושתים.

CEA-Leti הודיעה על השתתפותה בפרויקט MeM-Scales החדש של האיחוד האירופי, שמטרתו לפתח סוג של אלגוריתמים, התקנים ומעגלים שיחקו את העיבוד בסולמות זמן מרובים של מערכות עצביות ביולוגיות.

התוצאות ישמשו לבניית מערכות מחשוב נוירומורפיות שיכולת לעבד ביעילות אותות חושיים מהעולם האמיתי ונתוני סדרות עיתיות טבעיות בזמן אמת וכדי להדגים את הרעיונות באמצעות אב טיפוס מעשי במעבדה. יישומי המטרה כוללים ניטור סביבתי מבוזר רב מימדי, שבבים מושתלים לאבחון רפואי, אלקטרוניקה לבישה וממשקי אדם- מחשב. 

לשם אינטראקציה עם העולם האמיתי, המוח מעבד ותופס את האותות החושיים בסולמות זמן מרובים, ציינה אליסה ויאנלו, מנהלת תוכנית הבינה המלאכותית ב-CEA-Leti, בראיון ל-EE Times אירופה.

"זיכרון של האינטראקציה הזאת נוצר בסולמות זמן שנעים ממאיות שנייה (זיכרון לטווח קצר) ועד לחודשים ושנים (שינויים מבניים ארוכי טווח)", אמרה ויאנלו. "כדי לתכנן מערכות שמבצעות אינטראקציה עם העולם האמיתי, מעגלים נוירומורפיים צריכים לחקות את העיבוד בסולמות זמן מרובים של המוח. לכן, המעגלים האלה הם הרכיבים הקריטיים בצנרת העיבוד".

במודל סטנדרטי של רשת עצבית, נתוני קלט נשלחים תחילה לתאי העצב של הקלט ולאחר מכן מועברים דרך שכבות נסתרות של תאי עצב אחרים דרך חיבורים הנקראים סינפסות. הנתונים עוברים שינוי בכל שלב, והפלט משכבה אחת משמש כקלט של השכבה הבאה.

הנתונים מגיעים בסופו של דבר לשכבת הפלט הסופית, שמספקת את הניבוי – לדוגמה, סיווג לקטגוריה או ערך מספרי ברגרסיה. אין כאן אלמנט של זמן אמת – נתוני הקלט מועברים כולם באותו הזמן, עוברים דרך כל אחת מהשכבות הנסתרות לפי הסדר, ונפלטים כולם בבת אחת.

אבל מה אם נתוני הקלט לא מגיעים כולם באותו זמן בצורה נקייה – מה אם הם סדרה עיתית או נתונים שתלויים בזמן באופן אחר כלשהו, כגון קלט בזמן אמת מחיישנים במכונית שנוהגת את עצמה? ומה אם זה המצב גם לגבי התוצאות — ומה אם גם התוצאות מבוססות על זמן, כמו הוראות שניתנות למכונית שנוהגת את עצמה מתי לפנות ומתי להגביר או להפחית מהירות?

רשתות נוירונים עם עליות חדות (SNNs) הן פתרון לבעיה הזאת. הן יכולות לקבל קלטים מבוססי זמן ולהפיק פלטים מבוססי זמן. במקום שכבות מסודרות, יש בתוכן מבנים יותר מורכבים להעברת נתונים בין תאי עצב, כמו לולאות או חיבורים רב כיווניים. משום שהן יותר מורכבות, הן דורשות סוגים שונים של אלגוריתמי אימון ולמידה, כגון ביצוע שינויים לגישות דמויות הפצה לאחור כדי להסתגל להתנהגות של עליות חדות.

הפוסט פרויקט של האיחוד האירופי מנסה לחקות את העיבוד של מערכות עצביות ביולוגיות הופיע לראשונה ב-Chiportal.

אנחנו בעיצומו של מהפך מדעי וטכנולוגי של ממש. המחשבים של היום יודעים ללמוד מתוך דוגמאות ולבצע משימות שלפני זמן לא רב נחשבו לא אפשריות לביצוע בידי מכונות מלאכותיות, החל מזיהוי פרצופים של בני אדם מזוויות שונות ועד לנהיגה של מכוניות אוטונומיות. רשתות הלמידה העמוקה, שאחראיות לחלק הארי של משימות הלמידה המסובכות הללו, אותן מסוגלים המחשבים המודרניים לפתור, מבוססות על עקרונות היסוד של מבנה ופעולת המוח: נוירונים (תאי עצב) המחוברים אחד לשני בסינפסות, דרכן התאים השונים מעבירים אותות (קלט ופלט) זה לזה.

אותם עקרונות פעולה של המוח עליהם מבוססת הלמידה העמוקה כיום נובעים מההבנה המוגבלת שהיתה לנו על אופן פעולת הנוירונים בשנות ה-50 של המאה הקודמת. כמו ביט במחשב, כל נוירון מלאכותי ברשת העמוקה הוא "נקודתי": הוא יכול להיות בשני מצבים בלבד – אפס (לא פעיל) או אחד (פעיל). אולם בעשרות השנים האחרונות, מדעי המוח גילו כי כל נוירון הוא מערכת מורכבת במיוחד, הבנויה מגוף תא וממנו יוצא עץ מסועף (העץ הדנדריטי) ועל ענפיו הרבים מפוזרות סינפסות רבות (עשרות אלפים על כל תא) המעבירות אליו אינפורמציה מהתאים ברשת העצבית. תאי העצב גם מתחלקים למגוון עצום של תת-סוגים, שכל אחד מהם פועל בצורה מעט שונה ולכל סוג תפקיד שונה הן במוח הבריא והן כשהמוח חולה.

מחקר חדש, שנערך על ידי ידי חוקרי האוניברסיטה העברית, בחן לראשונה אם רשת למידה עמוקה המורכבת משכבות של תאים מלאכותיים נקודתיים יכולה לדמות בצורה מדויקת את המבנה המורכב של נוירון ביולוגי אמיתי יחיד ואת יחסי הקלט-פלט החשמליים שהוא מבצע. זאת במטרה להשתמש במודל מורכב זה, במקום הנוירון המלאכותי הנקודתי בו משתמשות ״רשתות הנוירונים המלאכותיות״ כיום, הן כדי להבין טוב יותר כיצד תא העצב מתרגם את הקלט הסינפטי לפלט והן על מנת ליצור רשת למידה עמוקה מסוג חדש – שתדמה בצורה מדויקת יותר את אופן פעולת המוח האנושי ובתקווה גם את יכולותיו החישוביות יוצאות הדופן. המחקר נערך בידי הסטודנט דוד בניאגוייב במשותף עם הפרופסורים מיקי לונדון ועידן שגב ממרכז אדמונד ולילי ספרא למדעי המוח. המאמר המציג את ממצאיו התפרסם בכתב העת המדעי היוקרתי Neuron.

"רשת למידה עמוקה מורכבת משכבות של נוירונים מלאכותיים נקודתיים, שכל אחד מהם מחובר בסינפסות מלאכותיות לשכבה שמעליו ולשכבה שתחתיו", מסביר פרופ' שגב. "למשל, אם אנחנו רוצים ללמד את הרשת לזהות חתולים, נציג בפני הרשת תמונה של חתול לשכבת הקלט – השכבה הראשונה". כל נוירון מלאכותי ברשת העמוקה מגיב, לפי המידע שזורם אליו, ב ״0״ או ״1״ על פי עוצמת הקלט הסינפטי שהוא מקבל מהשכבה הקודמת לו, ובהתאם לכך משגר (או לא) אות אל הנוירונים אליהם הוא קשור בשכבה הבאה. הנוירונים בשכבה זו מעבדים גם הם את המידע שקיבלו ומעבירים את הפלט שלהם לתאים בשכבה הבאה.

בעומק פירמידת השכבות, מסביר פרופ' שגב פרופ' שגב, ניצב נוירון מלאכותי שמסכם את האותות שזורמים אליו דרך השכבות הקודמות ברשת, והוא זה שנדרש להציג תשובה, אם הרשת ראתה חתול (הפלט 1) או שזה לא היה חתול (הפלט 0). בשלב האימון של הרשת (על בסיס הצגה של הרבה תמונות של חתולים שונים), נדרש אלגוריתם הלמידה במכונה לבדוק את התשובה. אם אכן התא העמוק בשכבה האחרונה מגיב ב ״1״ עבור החתול, אפשר לעבור לדוגמה הבאה. אם לא, אלגוריתם ייעודי "משחזר אחורה" את התהליך ומשנה את עוצמת הקשרים (הסינפסות) בין הנוירונים בשכבות השונות, עד שהרשת עונה נכון לשאלה אם היא ראתה חתול בתמונה או לא.

כאשר חוזרים על הפעולה עם מספיק נוירונים מלאכותיים במספיק שכבות, ובשימוש מספיק (לעתים מאות אלפים) של דוגמאות של חתולים, רשתות הלמידה העמוקה מצליחות פעמים רבות להשלים את שלב האימון ולומדות לזהות חתולים שהן לא ראו קודם לכן. הן לומדות להכליל בין הדוגמאות השונות של תמונות חתולים למושג כללי כלשהו של 'חתוליות'. באותו אופן לומדות הרשתות העמוקות האלה לזהות ״רמזור״ מסוים אותו לא ראתה בעבר, לאחר שלמדה את ״הרמזוריות״ מתוך הרבה דוגמאות, וכך לגבי ״מעבר חציה״ וכן הלאה. כך עובדות מערכות זיהוי הרמזורים ומעברי חציה של המכונית האוטונומית. "למרות ההצלחה העצומה המהווה 'גיים צ׳נג׳ר' של ממש בעולמנו, לא עד הסוף ברור איך הרשת העמוקה מצליחה לעשות זאת וקבוצות רבות בעולם מנסות להבין את מקור ההצלחה הזה", מוסיף פרופ' שגב.

אולם יכולת הלמידה של כל רשת מוגבלת למשימה שהוטלה עליה. המערכת שלמדה מה זה חתול לא תזהה כלב. גם כדי שהמחשב יקשור בין הצליל "מיאו" לבין חתולים, יש צורך ברשת למידה נפרדת, משימה שכל פעוט בין שנתיים משלים בקלות. ואכן, על אף הצלחתן המרשימה ביותר בביצוע משימות ספציפיות, רשתות הלמידה העמוקה מוגבלות מאוד בהשוואה למוח האנושי בצורך שלהן במספר רב של דוגמאות כדי להשלים את שלב האימון. "ואנחנו לעומת זאת לא צריכים יותר מדוגמה אחת כדי להבין שתאונת דרכים זה מסוכן", מזכיר פרופ' שגב.

קבוצות מחקר רבות ברחבי הגלובוס עוסקות כיום בניסיון להעניק לרשתות הלמידה העמוקה יכולות כוללניות אינטגרטיביות ואינטיליגנטיות כמו האפשרות ללמוד ממספר מצומצם של דוגמאות, לקשור בין אספקטים שונים של מה זה חתול (ראיה, שמיעה, משמעויות רגשיות וכן הלאה), להסיק מסקנות מלמידה אחת על למידה אחרת, לתכנן לטווח רחוק ולהבין שפה (אוסף של סימבולים הבאים ברצף זה אחרי זה). כל אלה הן משימות שהמוח שלנו כל-כך מוצלח בהן והרשתות העמוקות הקיימות היום מדדות אחריו. "הגישה שלנו היתה להשתמש ביכולות הקיימות של רשתות הלמידה העמוקה, כדי לייצר מודל ממוחשב מדויק ככל האפשר של העץ המורכב והמפותל המרכיב את תא העצב האמיתי", אומר בניאגוייב, "ואז להחליף את היחידה הנקודתית הפשוטה המשמשת את הרשתות העמוקות הגדולות ביחידות חדשות, שכל אחת מהן מדמה את תא העצב על כל מורכבותו".

כדי לעשות זאת, הסתמכו השלושה על מודלים מתמטיים שנבנו במעבדתם של פרופ' שגב ופרופ' לונדון בשנים האחרונות ומדמים בצורה מדויקת, בעזרת מערכת משוואות, את התהליכים החשמליים שמתרחשים בתוך סוגים שונים של תאי עצב. "עם כל הפיצולים, הפעלת הסינפסות הרבות וזרימת החשמל בענפי העץ בתא העצב", מוסיף בניאגוייב.

החוקרים מקווים שבנייה של רשת למידה עמוקה המורכבת מנוירונים מלאכותיים (שהם עצמם כבר עמוקים),  המדמים את מורכבות הפעולה של נוירון אמיתי, תאפשר לעשות חישובים מהירים ומורכבים יותר, בדומה לאופן פעולת המוח. "למשל, לזהות את החתול בפחות דוגמאות ולבצע פעולות מורכבות כמו כאלה הדורשות להבין שפה. אולם את זה אנחנו צריכים עוד להוכיח במחקרים נוספים", מדגיש פרופ' שגב. ברשת שכזו, הוא מוסיף, ניתן יהיה לשנות לא רק את עוצמת הקשר בין הנוירונים, אלא גם לשלב בתוכה סוגי נוירונים שונים, בדומה למבנה ולאופן הפעולה של המוח הביולוגי. "בסופו של התהליך נבנה רפליקה ממוחשבת שתחקה את יכולותיו המגוונות של המוח – אינטליגנציה מלאכותית כללית״.

המחקר גם מאפשר לכמת לראשונה את כוח החישוב של נוירונים מסוגים שונים מסביר פרופ. שגב. ״למשל בכך שכדי לדמות נוירון מסוג א' יש צורך בשבע שכבות של למידה עמוקה הבנויה מנוירונים נקודתיים, בעוד שמודל של נוירון מסוג ב' דורש תשע שכבות כאלה. בעזרת כלי זה, ניתן למשל להשוות בצורה כמותית בין יכולת החישוב בין תא עצב במוח של עכבר לתא המקביל במוח האנושי, או בין שני תאי עצב שונים במוח האדם.

ברמה בסיסית יותר, מוסיף  בניאגוייב, יצירה של מודל ממוחשב שמדמה בצורה מדויקת בהרבה את אופן פעולת המוח, צפוי לאפשר גם תובנות לגבי המוח האנושי עצמו. ״המוח שלנו בונה רשתות עמוקות שהן עצמן תעזורנה לנו להבין את המוח, את עצמנו. למשל, נוכל להבין טוב יותר כיצד סוגי התאים השונים והיחסים ביניהם משפיעים על כושר החישוב של המוח שלנו״, מסכם בניאגוייב.

לפרסום המדעי

הפוסט מחקר: עד כמה ״חכם״ הוא תא העצב שבמוחנו? הופיע לראשונה ב-Chiportal.