העידן שאחרי מודלי השפה הגדולים

• מחקר חדש מציע שלושה כיוונים מרכזיים לקידום הבינה המלאכותית: העצמת ידע, שיתוף פעולה בין מודלים והתפתחות משותפת, במטרה להתגבר על מגבלות המודלים הגדולים הקיימים

מאמר שפורסם לאחרונה בכתב העת Engineering עוסק בעתיד הבינה המלאכותית (AI) מעבר למודלים גדולים לשפה (LLMs). המודלים הללו הציגו התקדמות מרשימה במשימות מולטימודליות, אך הם מתמודדים עם מגבלות כמו מידע מיושן, הזיות, חוסר יעילות והיעדר יכולת לפרשנות. כדי להתמודד עם בעיות אלו, החוקרים בוחנים שלושה כיוונים מרכזיים: העצמת ידע, שיתוף פעולה בין מודלים והתפתחות משותפת של מודלים.

העצמת ידע שואפת לשלב ידע חיצוני בתוך המודלים הגדולים. ניתן להשיג זאת באמצעות שיטות שונות, כולל שילוב ידע במטרות האימון, כוונון לפי הנחיות, הסקת מסקנות מוגברת על בסיס אחזור ידע והנחיות מבוססות ידע. לדוגמה, ישנם מחקרים המעצבים פונקציות הפסד מודעות לידע במהלך האימון המוקדם, בעוד שאחרים משתמשים בדור מוגבר אחזורית כדי לשלוף ידע רלוונטי בזמן ההסקה. טכניקות אלו משפרות את הדיוק העובדתי, יכולות ההסקה והפרשנות של המודלים.

שיתוף פעולה בין מודלים מתמקד בניצול החוזקות המשלימות של מודלים שונים. הדבר כולל אסטרטגיות כמו מיזוג מודלים ושיתוף פעולה פונקציונלי. מיזוג מודלים, כמו שילוב מודלים (Ensembling) ומיזוג פונקציונלי (לדוגמה, תערובת מומחים), מאפשר לשפר את הביצועים. בשיתוף פעולה פונקציונלי, המודלים הגדולים יכולים לשמש כמנהלי משימות המכוונים מודלים קטנים ומומחים. לדוגמה, במשימות יצירת תמונות, המודלים הגדולים יכולים להדריך מודלים מתמחים כדי לענות בצורה מיטבית לדרישות ההנחיות.

התפתחות משותפת של מודלים מאפשרת למודלים שונים להתפתח יחד. תחת סוגים שונים של הטרוגניות – מודלים, משימות ונתונים – הוצעו טכניקות מגוונות. עבור הטרוגניות מודלים, משתמשים בשיטות כמו שיתוף פרמטרים, זיקוק ידע כפול והשלכת פרמטרים מבוססת היפר-רשתות. בהקשר של הטרוגניות משימות, למידה כפולה, למידה אדוורסרית (שני מודלים המציעים הצעה מנוגדת זה לזה, מעין איפכא מסתברא) ומיזוג מודלים משחקות תפקיד מרכזי. כאשר מדובר בהטרוגניות נתונים, למידה מבוזרת וזיקוק ידע מחוץ לחלוקה (Out-of-Distribution) הן טכניקות מפתח. שיטות אלו משפרות את יכולת ההתאמה והטיפול במשימות מגוונות של המודלים.

ההתקדמות בעידן שאחרי המודלים הגדולים משפיעה במגוון תחומים. במדע, היא תורמת לפיתוח השערות באמצעות שילוב ידע ייעודי לתחום. לדוגמה, במטאורולוגיה, מודלים מבוססי AI המשולבים עם ידע ייעודי יכולים לשפר תחזיות לאנרגיה מתחדשת. בהנדסה, הם מסייעים בגיבוש ופתרון בעיות. בחברה, יישומיהם כוללים תחומים כמו בריאות וניהול תחבורה.

בעתיד, המאמר מציין מספר כיווני מחקר נוספים, כולל בינה מלאכותית מואנשת, בינה מלאכותית בהשראה מוחית, מודלים בסיסיים שאינם טרנספורמרים ויצירת מודלים בשילוב LLMs. תחומים אלו נושאים פוטנציאל רב להמשך קידום יכולות הבינה המלאכותית. ככל שה-AI ממשיך להתפתח, השילוב של ידע, שיתוף פעולה והתפתחות משותפת יהיה קריטי בבניית מערכות AI חזקות, יעילות ואינטליגנטיות יותר.

למאמר המדעי