גוגל ואנבידיה משתפות פעולה בנושא הבינה המלאכותית

שבבים ואלגוריתמים "צריכים להתפתח ביחד"

מתכנני מיקרו מעבדים צריכים לאמץ איזון בין ארכיטקטורות מיוחדות ורב תכליתיות כדי להצליח בלמידה עמוקה, לדברי המדען הראשי של אנבידיה בהרצאה באירוע SysML הראשון. הוא ביטל את הפעילות המתחרה בחישוב בזיכרון, מחשוב אנלוגי ומחשוב נוירומורפי.

מעבדים עם היררכיות זיכרון שממוטבים לסוגי נתונים והוראות מיוחדים כמו Nvidia Volta הם הגישה הטובה ביותר במרכז הנתונים, אמר ביל דיילי. לדבריו, בקצה, מערכות על שבב צריכות בלוקי האצה כדי להאיץ את העיבוד ברשתות עצביות.
באירוע — שאורגן על ידי כמה מהמאורות המובילים בתחום מאמזון, גוגל ופייסבוק — הדוברים קראו למעורבות רחבה יותר בטכנולוגיה המתפתחת שבה יש צורך נואש בביצועי חומרה טובים יותר, אבל תפיסות תוכנה עדיין מתפתחות מהר.

"הלמידה העמוקה משנה את האופן שבו אנחנו מתכננים מחשבים… [אבל] חומרת למידת מכונה מותאמת ספציפית היא בתחילת דרכה, כך שתקופה מלהיבה לפנינו עם הרבה יצירתיות בתכנון מעבדים", אמר ג'ף דין, חבר בצוות Google Brian וממארגני האירוע.

"אנחנו מנסים לנבא אילו רעיונות ראשוניים הכי הגיוניים, לכן לפעמים שימושי להשתמש באזור שבבים קטן לבדיקת רעיונות", אמר דין, והוסיף שהקוד והשבבים "צריכים להתפתח ביחד". הוא חזה שטכניקות של למידת מכונה יאומצו בתחום יותר ויותר רחב של תוכנה.

"כל מקום שבו אנחנו משתמשים בהיוריסטיקה הוא מקום טוב לשקול למידת מכונה — קומפיילרים, רשתות, מערכות הפעלה, אפילו תכנון מעגלים פיזיים ובחירת בדיקות", אמר והוסיף שעדיין נחוצה עבודה יסודית בדרכים למדידת היעילות של למידת מכונה ו-API כדי לסלק קשיים בשילוב שלה.

סמנכ"ל הטכנולוגיות של אנבידיה ציין שמספרים שלמים של 8 סיביות ומספרי נקודה צפה של 16 סיביות הם ברירת המחדל למשימות הסקה ואימון, בהתאמה. אבל במשימות הסקה הדיוק של רשתות עצביות נשאר חזק עם משקלים שמשתמשים בנתונים של 4 ואפילו 2 סיביות במקרים מסוימים. באופן כללי, "משקלים רוצים להשתמש במספר הסיביות הקטן ביותר האפשרי", אמר.

אפשר לקצץ הרבה במשקלים עצמם. שני שלישים עד 90 אחוז מהמשקלים לא נחוצים בהרבה מודלים מתקפלים, אמר.