הפתרון של החברה הישראלית פועל בשילוב עם משפחת המאיצים Cloud AI-100 של קוואלקום. השילוב הוכיח רמת סקלאביליות אופטימאלית של 100%, חסכון של עד 90% בעלויות ויעילות אנרגטית עד פי 15 יותר טובה בדטה סנטרים של AI בהרצות נפוצות של בינה מלאכותית
חברת סטארט-אפ ה-AI ניוריאליטי (NeuReality) מקיסריה מציגה תוצאות של מבחני ביצועים המדגימים את יכולתה לסייע לפתור את משבר האנרגיה והעלויות עבור דאטה סנטרים המריצים פתרונות הסקה (inference) לבינה מלאכותית. מבחני הביצועים בדקו את יכולתו של מוצר ה-NR1-S™ AI Inference Appliance של ניוריאליטי להריץ pipelines של בינה מלאכותית בסביבה המדמה דאטה-סנטרים.
התוצאות החדשות מקבלות חשיבות מיוחדת על רקע האזהרות מצד ממשלות, ארגונים סביבתיים ועסקים בנוגע לצריכת ההספק העצומה ולעלויות הגבוהות של הרצת פתרונות AI, כאשר הרוב מכריע של העסקים והממשלות נאבקים לאמץ בינה מלאכותית במחירים משתלמים.
פתרון ה-NR1-S של ניוריאליטי מתוכנן לעבוד בשילוב עם מאיצי AI ייעודיים. מבחני הביצועים נערכו לראשונה על גבי החומרה של ניוריאליטי בשילוב עם משפחת המאיצים Cloud AI-100 של קוואלקום. השילוב הוכיח רמת סקלאביליות אופטימאלית של 100%, חסכון של עד 90% בעלויות, ויעילות אנרגטית עד פי 15 יותר טובה בדאטה סנטרים של AI, בהרצות נפוצות של בינה מלאכותית. הפתרון נבחן בהשוואה למערכות מבוססות CPU הנמצאות בשימוש על ידי יצרנים כגון אנבידיה וחברות ענק המפעילות דאטה סנטרים גדולים במיוחד.
השילוב של ניוריאליטי וקוואלקום הדגים הפחתה של עלות הבעלות הכוללת (TCO) בשיעורים של 80% בעיבוד שפה טבעית, 88% בעיבוד דיבור אוטומטי ו-90% בעיבוד תמונה המשמשים בשירותים פיננסיים, בריאות, בטיחות ציבורית ותחבורה. כמו כן הוא הדגים יעילות משולבת של עלות ואנרגיה טובה פי 5-6 בעיבוד שפה טבעית, פי 8-10 בעיבוד דיבור אוטומטי ופי 13-15 בראיה ממוחשבת, יישומים שימושיים במיוחד בדימות רפואי, ביטחון פנים, תיעוד קליני מבוסס קול, תביעות ביטוח, גילוי הונאות בנקאיות, שירות לקוחות, יצירת תוכן ובידור מבוסס מולטימדיה. כמו כן, NR1-S עם Qualcomm® Cloud AI-100 Pro השיג סקלאביליות לינארית של 100% עם ResNet-50, ארכיטקטורה פופולארית למשימות סיווג תמונות.
אילן אביטל, מנהל המו"פ של NeuReality, ואשר צוות ההנדסה שבראשותו סיים את ביצוע שלב המבחנים המקיפים של NR1-S, מסר: "תוצאות הביצועים בעולם האמיתי מציגות מענה ייחודי לאתגרים הגדלים שעמם מתמודדים ספקי וצרכני תשתיות AI מהדור הבא. יחידות עיבוד גרפיות (GPUs) מהירות יותר מניעות חדשנות בזכות יכולות AI מתקדמות, אך הן גם מרחיקות אותנו יותר ויותר מהיכולת להתמודד עם המציאות התקציבית והאנרגטית של רוב החברות".
מודלים של בינה מלאכותית יוצרת כמו מודלי שפה גדולים (LLMs) נתקלים באותם צווארי בקבוק של CPU כמו AI מסורתי. לפי הפוסט שפרסמו אילן אביטל ואנשי צוותו לסיכום מבחן הביצועים, הבעיה מחמירה עם מודלי AI מתקדמים ומאיצים אשר אינם מנוצלים היטב. כדי להתמודד עם בעיה זו, ניוריאליטי מספקת את מוצר ה-NR1-S, תוכנה וממשקי תכנות יישומים (APIs) לשדרוג התשתית הבסיסית של מערכות הסקה לבינה מלאכותית וכדי להבטיח תעבורת נתונים אופטימלית ליישומי AI ארגוניים בעלי נפח גבוה ומגוון רחב.
"התעשייה של היום ממשיכה להתקדם תוך ראייה צרה המבוססת על השגת ביצועים גולמיים גבוהים יותר עבור המודלים הגדולים והמתקדמים ביותר של AI באמצעות מערכות AI חזקות יותר ויותר. כתוצאה מכך, צריכת האנרגיה והעלויות ממשיכות לעלות ולהקשות על השימוש המעשי של AI עבור רוב הארגונים", הוסיף אביטל.
משה תנך, מנכ"ל ומייסד משותף של NeuReality, אמר: "התוצאות, שבחנו ביצועים בעולם האמיתי, מצביעות על משהו שונה לגמרי. אנחנו נרגשים מכך שלקוחותינו יתחילו לחוות את המעבר ממערכות מבוססות CPU לניוריאליטי עבור תרחישי שימוש ב-AI שזקוקים ליעילות עלות ואנרגיה, מבלי לפגוע ברווחיות העסקית או בכדור הארץ. למרות שמדובר בימים מוקדמים בעידן ה-AI, חשוב כבר עכשיו להציע נתיב טוב יותר עבור דאטה סנטרים המריצים משימות של הסקה בבינה מלאכותית".
ניוריאליטי מעסיקה כיום כ-70 עובדות ועובדים במרכזי הפיתוח של החברה בקיסריה ובתל אביב. בכוונת החברה לגייס בשנה הקרובה עשרות עובדות ועובדים נוספים על מנת לתמוך באתגרי הפיתוח ובצמיחת החברה המואצת.
