ד"ר טליה גרשון, מנהלת מחקר תשתיות ענן היברידי במרכז המחקר של יבמ בארה"ב, התייחסה לשינוי הפרדיגמה בתחום הבינה המלאכותית כיום. היא דיברה על הטכנולוגיה שנקראת Trend Foundation Models, שהיא קבוצת על הכוללת בינה מלאכותית גנרטיבית ומודלי שפה גדולים. טכנולוגיות אלה יכולות לאמן מודלים באמצעות טכניקות פיקוח עצמי עם נתונים ללא תווית, מה שמאפשר מערכי נתונים גדולים בהרבה ללא צורך בנתונים מתויגים. טכנולוגיה זו היא יותר מאשר מודל שפה והיא תשבש את הדורות הקודמים של הטכנולוגיה לסיווג ומשימות AI מסורתיות/

ההבדלים וההתקדמות העיקריים שמביאים מודלים בסיסיים בתחום הלמידה העמוקה. מודלים בסיסיים ממנפים מערכי נתונים גדולים בהרבה, כולל נתונים ללא תווית, לצורך הכשרה באמצעות פיקוח עצמי. היכולת הזו לנצל כמויות עצומות של נתונים מבדילה אותם מדורות קודמים של טכנולוגיה. הבדל משמעותי נוסף הוא יכולת ההסתגלות של מודלים בסיסיים למשימות שונות במורד הזרם. בניגוד לגישה המסורתית של אימון מודלים נפרדים לכל משימה, ניתן לפתח מודל בסיס יחיד ולאחר מכן לכוונן אותו עבור יישומים ספציפיים כגון מענה על שאלות, תרגום שפה, סיכום מסמכים, צ'אט ועוד.

היתרונות של מודלים בסיסיים הם כפולים. ראשית, הם מציעים ביצועים משופרים, עולים בביצועיהם על דגמים קודמים ומספקים תוצאות טובות יותר. שנית, הזמן לערך מצטמצם משמעותית מכיוון שניתן להשתמש בקלות בדגמי הבסיס למשימות שונות ללא צורך בהכשרה מקיפה מאפס. שינוי טכנולוגי זה נתפס כמשנה משחק בתחומים מרובים מעבר ליישומי שפה בלבד. דוגמאות כוללות AI ליצירת קוד כדי לסייע למפתחים, אבטחת סייבר, ייצור ו- IoT.

בהקשר זה מדגישה גרשון את  ChatGPT כדוגמה ליישום משתמש קצה משולב במלואו המשתמש באחד מהמודלים הבסיסיים אלה, במיוחד GPT-3 או GPT-4. האזכור  של ChatGPT משמש כהמחשה ליישום המעשי של מודלים בסיסיים במתן יכולות AI שיחתיות למשתמשים.

עקרונות הגישה החדשה של מודלי השפה:

• מודלים בסיסיים הם קטגוריה של למידה עמוקה המציעים התקדמות על ידי מינוף מערכי נתונים גדולים ללא תיוגים ומאפשרים התאמה למשימות שונות במורד הזרם.
• הזדמנויות המונטיזציה בתחום הבינה המלאכותית כוללות גישה ישירה למודלים, יישומים משולבים מקצה לקצה, חדשנות בקוד פתוח ובניית מודלים מורכבים יותר.
• תשתית היא דרישה משותפת לכל השחקנים במערכת האקולוגית של AI, וספקי תשתית ממלאים תפקיד קריטי באספקת המשאבים הדרושים.
• ניצול יעיל של תשתית בזרימות עבודה של בינה מלאכותית הוא חיוני, תוך התמקדות בהפחתת נקודות חיכוך ופישוט תהליכים כמו עיבוד מקדים של נתונים, אימון מודלים והגשה.
• הגישה של יבמ שונה ממערכות HPC מסורתיות, ממנפת את הענן, מאמצת רשתות מבוססות Ethernet ומתעדפת פרודוקטיביות של מפתחים.
• מודלים של בינה מלאכותית מגיעים בגדלים שונים, ומודלים קטנים יותר יכולים לטפל ביעילות במקרי שימוש כגון זיהוי דברי שטנה, אבטחת סייבר ובינה מלאכותית ליצירת קוד.
• הגשת מודלים של בינה מלאכותית כרוכה בשיקולים כגון מגבלות זיכרון GPU, דרישות השהיה וניצול תשתית באמצעות אצווה.
• ספריות ממוטבות, קוונטיזציה של מודלים ודחיסה תורמים לניצול יעיל של התשתית.
• תעדוף חוויית המשתמש וקלות האימוץ חשובים בעת חדשנות בצד התשתית, כולל פישוט צריכת הטכנולוגיה ותאימות למסגרות פופולריות כמו PyTorch.

לסיכום הציגה ד"ר גרשון את פיתוח שבב IBM AIU, התומך בדיוקים השונים ומציג פתרון מבטיח לביצוע יעיל של מודלים. כמו כן הציגה גרשון את Vela, מחשב-על מבוסס בינה מלאכותית המובנה בענן של IBM, מציע ניצול GPU גבוה וביצועים חסכוניים.

הפוסט ChipEx 2023: מודלי ה-AI הגדולים מתאפשרים בגלל ביטול הצורך בתיוג אנושי במהלך האימון הופיע לראשונה ב-Chiportal.