המערכת למודלי LLM ו- GenerativeAI, עוקפת צווארי בקבוק בדאטה סנטרים שמבוססים על מעבדי CPU, ומביאה לביצועים גבוהים פי 10 ולחיסכון של עד 90% עבור כל דולר שמושקע בתשתיות AI
חברת הסטארט אפ ניוריאליטי (NeuReality) תציג השבוע הבא בכנס SC23 בדנוור את פלטפורמת ההסקה NR1, הדור הבא של פתרון ההסקה (inference) לבינה מלאכותית. הפתרון מספק מענה לאתגרים של דאטה סנטרים גדולים המבוססים על מעבדי CPU וסובלים מחוסר יעילות ועלויות גבוהות. שרתי הבינה המלאכותית הייחודיים של ניוריאליטי מאפשרים רמת ביצועים גבוהה פי 10 וחיסכון של עד ל-90% עבור תשתיות AI ובמקביל להשקת המוצרים ניוריאליטי חושפת גם שורה של שותפים עסקיים ולקוחות. המוצרים החדשים מבוססים על ארכיטקטורת ה AI-centric והם שרתי ה-AI הראשונים שתוכננו במיוחד לתהליך ההסקה (Inference) ומאופיינים ביכולות הסקלביליות הגבוהות שלהם ובעלויות משתלמות ביותר.
הסקה בבינה מלאכותית נותרת נקודה עיוורת בתעשייה של ימינו, לדברי משה תנך, מייסד משותף ומנכ"ל NeuReality. "ChatGPT הוא כמובן דוגמא חדשה ופופולרית, אבל בינה מלאכותית יוצרת (generative AI) נמצאת בחיתוליה. כבר היום, עסקים שהטמיעו יכולות AI מתקשים להגדיל את כמות השימוש שלהם ולעמוד בעלויות הגבוהות של יישומי AI יומיומיים – החל ממערכות לזיהוי קול ומנועי המלצות ועד למערכות ראייה ממוחשבת וניהול סיכונים", אמר תנך. "בינה מלאכותית יוצרת (Generative AI) מגדילה את הבעיה אפילו יותר וכדי שחברות תוכלנה להטמיע את הטכנולוגיה החדישה הזו חובה לשנות את קבועי המחיר והסקלביליות של המערכות הקיימות. בהשתמש בטכנולוגיה הייחודית שפיתחנו, הלקוחות ירוויחו באופן מיידי בעלויות ובקלות ההתקנה וההטמעה של שימושי ה-AI אותם הם מתכוונים להטמיע".
ניוריאליטי זיהתה את בעיית ה"הסקה" של הבינה המלאכותית כבר בשנת 2019. כיום המיקוד שלה הפך להיות אחת הבעיות הגדולות ביותר בתחום ה-AI: הפיכת תהליך ההסקה לתהליך בר קיימא מבחינה כלכלית וגם סקלבילית מספיק בכדי לתמוך בביקוש של הצרכנים והארגונים עם ההאצה ביישומי בינה מלאכותית. התחום הזה צפוי לצמוח מאוד מעבר לשימוש הנרחב היום וגם מנכ"ל אנבידיה טען לפני מספר חודשים שעבור כל דולר שמושקע באימון של מודל AI כיום, עסקים יוציאו 8 דולרים על הרצת המודלים האלה, לדברי תנך: "עלויות האנרגיה והעלויות הכספיות האסטרונומיות האלה רק יגדלו ככל שתוכנות, יישומים ו-pipelines יתפתחו בשנים הבאות על גבי מודלי AI מתוחכמים יותר".
מערכת ה-NR1 שהיא תשתית ייעודית להרצת AI. תאפשר לדאטה סנטרים של העתיד, להשיג שיפור של פי 10 בביצועים שלהם בכדי להעצים את ענפי הפיננסים, הבריאות, הממשל והעסקים הקטנים ולסייע להם ליצור חוויות לקוח טובות יותר עם מרכיב גדול יותר של בינה מלאכותית במוצריהם. מהלך זה יוכל לסייע לחברות ליצור הכנסות גבוהות יותר בשורה העליונה תוך הפחתה בעלויות של השורה התחתונה בשיעור של עד 90% ומעבר לכך יאפשר לשווקים נוספים ושימושים נוספים להטמיע יכולות AI בשל חסם נמוך יותר כספית ושימושית.
ניוריאליטי תדגים בשבוע הבא גם את הערכה לפיתוח תוכנה ואת ה-APIs שלה שמביאים איתם בשורה של קלות פריסה וחסכון משמעותי בעלויות. שני מוצרי חומרה יוצגו: שרת הסקה מלא – NR1-S™ בארכיטקטורת AI-centric וכרטיס הסקה בודד המתחבר לשרתי CPU-centric רגילים – NR1-M™. לצד ספקי מאיצי למידה עמוקה (DLAs – Deep Learning Accelerators). ניוריאליטי גם תציג הדגמה חיה של התכנה והמערכת כולה יחד עם שותפויות עם ספקי מאיצי דיפ לרנינג, OEM-ים, וספקי מערכת. הטכנולוגיה הייחודית של ניוריאליטי מוגנת באמצעות 14 פטנטים ומבוססת על מספר מכלולים ייחודיים שמספקים את היתרון התחרותי כמו: NR1 AI-Hypervisor™ – מאיץ תהליכי ביצוע וחיבוריות בין מעבדים שונים; מנוע רשת מדגם NR1 AI-over-Fabric™ ורכיב ייחודי ראשון בקטגוריה של NAPU (Network Addressable Processing Unit) הנקרא NR1.
ניוריאליטי תוציא את המוצרים לשוק בסוף 2023 בליווי שותפים בתחומי התוכנה, ה-OEM, הסמיקונדטורים, ה-DLAs ואספקת שירותי ענן, לצד חברות לפתרונות IT ארגוניים דוגמת Arm, AMD, Cirrascale, IBM, Lenovo, Qualcomm, Supermicro ועוד.
משה תנך מסכם: "יחד עם שותפינו, הגדרנו מחדש את תחום ההסקה ובתהליך זה קבענו את הסטנדרט לעתיד הבינה המלאכותית – עתיד עם עלויות משתלמות יותר, עם מודעות לפליטות פחמן ועם ביצועים גבוהים. מעבד ה-NAPU הוא אולר שווייצרי של שרתי ההסקה בבינה מלאכותית וניתן לשלב אותו בקלות עם כל ארכיטקטורת DLA. כך, אף אחד לא צריך לחכות שנתיים או שלוש עד שמישהו ימציא את שבב ה-AI האידיאלי להסקה. אנחנו כבר עשינו את זה".
