המעבר מצ'אטבוטים המשיבים על שאלה יחידה לסוכני בינה מלאכותית שמפרקים משימות לשלבים, מפעילים כלי תוכנה ובודקים את תוצאותיהם עלול להגדיל מאוד את צריכת האנרגיה ואת עלויות התשתית. מחקר של המכון המתקדם למדע וטכנולוגיה של קוריאה, KAIST, מצא כי משימה המבוצעת באמצעות סוכן AI עשויה לצרוך עד פי 136.5 יותר אנרגיה משאילתת בינה מלאכותית גנרטיבית רגילה.

המחקר, שהוצג בסימפוזיון IEEE הבינלאומי לארכיטקטורת מחשבים בעלי ביצועים גבוהים, HPCA 2026, ניתח את התנהגותם של סוכני AI מנקודת המבט של מרכז הנתונים. החוקרים מדדו את מספר הפניות למודל השפה, זמני ההמתנה, ניצולת המעבדים הגרפיים וצריכת החשמל של כמה שיטות לביצוע משימות מורכבות. המאמר פורסם גם כהדפסה מקדימה תחת הכותרת The Cost of Dynamic Reasoning: Demystifying AI Agents and Test-Time Scaling from an AI Infrastructure Perspective. (arXiv)

לא שאילתה אחת אלא שרשרת של הפעלות

בשירות בינה מלאכותית רגיל, המשתמש שולח בקשה ומודל השפה מייצר תשובה. סוכן AI פועל בצורה מורכבת יותר: הוא מתכנן את המשימה, מנסח בקשות משנה, מפעיל חיפוש, מחשבון או סביבת קוד, בוחן את התוצאה ולעיתים חוזר על התהליך.

כל שלב כזה עשוי לדרוש קריאה נוספת למודל השפה. מספר הפעלות המודל אינו בהכרח ידוע מראש, משום שהוא תלוי בתוצאות הביניים ובהחלטות שמקבל הסוכן במהלך המשימה.

החוקרים מכנים התנהגות זו "היגיון דינמי". בניגוד להסקה בעלת מסלול קבוע יחסית, הסוכן יוצר בזמן הביצוע גרף משתנה של פעולות חישוב, תקשורת והמתנה לכלים חיצוניים.

התוצאה היא עומס עבודה שונה מזה שעבורו תוכננו רבים ממרכזי הנתונים הנוכחיים. הביצוע אינו רצף רציף של פעולות על ה־GPU, אלא מעבר תכוף בין חישוב במודל השפה, פעילות של מעבד מרכזי, גישה לרשת, חיפוש במאגרי מידע והפעלת תוכנות.

עד פי 153.7 בזמן התגובה

לפי המחקר, ריבוי הפניות למודל וההמתנה לכלים חיצוניים עשויים להאריך את זמן התגובה עד פי 153.7 בהשוואה להסקה רגילה המבוססת על שרשרת חשיבה.

במהלך ההמתנה, המעבד הגרפי שהוקצה לבקשה אינו תמיד מסוגל לעבור ביעילות לעבודה אחרת. החוקרים מצאו שבתרחישים מסוימים נותרו יחידות ה־GPU ללא פעילות עד 54.5% מזמן הביצוע הכולל.

מדובר בבעיה כלכלית ולא רק אנרגטית. GPU המשמש להסקת מודל גדול הוא אחד הרכיבים היקרים ביותר במרכז נתונים. אם המאיץ שמור למשימה אך אינו מבצע חישוב במשך מחצית מזמן העבודה, עלות ההון אינה מתורגמת לניצולת בפועל.

עומסי סוכנים מציבים אפוא אתגר למתזמני משימות. עליהם לדעת לפנות משאבים בזמן שהסוכן ממתין לכלי חיצוני, להעביר אליהם בקשות אחרות ולהחזיר במהירות את המשימה המקורית כאשר התוצאה מגיעה — בלי לפגוע בזיכרון המטמון, בהקשר של המודל ובזמן התגובה.

348 ואט־שעה לבקשה

החוקרים בחנו תרחיש המבוסס על מודל שפה בעל 70 מיליארד פרמטרים, סדר גודל המקובל במודלים פתוחים ומסחריים גדולים. לפי החישוב שלהם, ביצוע בקשת סוכן צרך בממוצע 348.41 ואט־שעה.

הצריכה גבוהה פי 136.5 מזו של מערכת בינה מלאכותית גנרטיבית המבצעת מענה רגיל לשאלה, לפי תצורת הבדיקה שנבחרה במחקר.

המספר אינו משקף בהכרח כל סוכן AI וכל מרכז נתונים. צריכת האנרגיה תלויה בגודל המודל, בחומרה, במספר שלבי ההסקה, באורך ההקשר, בשיטת הכימות, במערכת הקירור וביעילות תוכנת ההגשה.

עם זאת, היחס הגבוה מדגים את הסיכון שבהתייחסות לסוכן כאל שאילתת צ'אט רגילה. בקשה אחת של משתמש עשויה להפעיל מאחורי הקלעים עשרות פעולות הסקה וכלים נוספים.

תרחיש של כמעט 200 גיגה־ואט

כדי להמחיש את משמעות ההתרחבות, החוקרים חישבו תרחיש שבו סוכני AI מטפלים ב־13.7 מיליארד בקשות ביום — נפח שאותו השוו להיקף החיפושים היומי בגוגל.

לפי הנחות המחקר, הפעלת עומס כזה תדרוש הספק כולל של כ־198.9 גיגה־ואט. זהו הספק רציף עצום, הגדול בסדרי גודל ממרכזי הנתונים הבודדים המתוכננים כיום, שהספקם נע בדרך כלל ממאות מגה־ואט ועד כמה גיגה־ואט.

אין לראות בתרחיש תחזית לכך שכל החיפושים בעולם אכן יוחלפו בסוכנים המשתמשים במודל של 70 מיליארד פרמטרים ובאותה שיטת ביצוע. זהו תרגיל קנה מידה שנועד להראות כי שימוש המוני בסוכנים ללא שיפור משמעותי ביעילות אינו מעשי מבחינת חשמל, קירור ותשתית.

התרחיש גם מדגיש שהמגבלה על התרחבות ה־AI עשויה לעבור מזמינות שבבים לזמינות הספק חשמלי, חיבורי רשת והקמת מרכזי נתונים.

תשואה חישובית פוחתת

החוקרים בחנו גם שיטות של הרחבת החישוב בזמן ההסקה — test-time scaling — שבהן המערכת משקיעה יותר חישוב כדי לשפר את איכות התשובה.

דוגמאות לכך הן יצירת כמה מסלולי פתרון במקביל, הוספת דוגמאות להנחיה, ביצוע ביקורת עצמית או חזרה על התהליך בכמה סבבים.

תוספת חישוב אכן יכולה לשפר את הדיוק, אך המחקר מצא כי התשואה פוחתת במהירות. כל סבב נוסף מגדיל את מספר האסימונים, זמן הביצוע וצריכת האנרגיה, בעוד שהתוספת לאיכות התוצאה נעשית קטנה יותר. (arXiv)

מבחינת מפעילי תשתיות, משמעות הדבר היא שלא מספיק להגדיר יעד ביצועים למודל. יש להחליט כמה אנרגיה, זמן ועלות מוצדקים עבור כל שיפור נוסף באיכות.

עומס עבודה חדש למרכזי הנתונים

סוכני AI משלבים כמה סוגים של פעילות:

• הסקת מודל שפה על GPU או מאיץ AI;
• פעולות תזמור ותכנון על מעבדים מרכזיים;
• גישה לזיכרון ולמאגרי וקטורים;
• תקשורת עם שירותים חיצוניים;
• הרצת קוד וכלים;
• המתנה לתוצאות וחזרה למודל.

המערכת אינה מוגבלת עוד למאיץ אחד או אפילו לשרת אחד. היא דומה יותר ליישום מבוזר שבו פעולות שונות דורשות חומרה שונה.

משום כך, החוקרים קוראים לתכנון משולב של מודלי הסוכנים, השבבים, תוכנת התזמון, מרכזי הנתונים ותשתיות החשמל. שיפור של אחד הרכיבים בלבד לא יפתור את הבעיה אם שאר המערכת תמשיך להשאיר מאיצים יקרים בהמתנה.

מחקרים נוספים בתחום מציעים לפצל את גרף הביצוע של סוכנים בין מערכות הטרוגניות — מעבדים מרכזיים, מאיצים מדורות שונים ורכיבים ייעודיים — ולשבץ כל פעולה בחומרה המתאימה לה. גישה כזו עשויה להפחית את עלות הבעלות הכוללת ולהאריך את השימוש בחומרה קיימת. (arXiv)

השלכות על תכנון שבבים

מבחינת תעשיית השבבים, עומסי סוכנים עשויים לשנות את סדרי העדיפויות בתכנון מאיצי AI.

במערכות אימון גדולות, המדד המרכזי הוא לרוב תפוקת פעולות חישוב מקביליות. בהפעלת סוכנים, לעומת זאת, נדרשים גם מעבר מהיר בין משימות, טיפול יעיל בבקשות קצרות ומשתנות, שיתוף זיכרון בין תהליכים והפחתת צריכת החשמל במצב המתנה.

מאיצים עתידיים עשויים להידרש לתמיכה טובה יותר בהשהיה ובהמשך של משימות, בניהול זיכרון מטמון של מודלי שפה ובשיתוף המשאב בין מספר גדול של סוכנים.

גם הקישוריות נעשית חשובה יותר. סוכן עובר בין המודל, מסדי נתונים, כלי תוכנה ושירותי רשת. זמן התקשורת בין הרכיבים עלול להיות משמעותי לא פחות מזמן החישוב עצמו.

הדבר עשוי לחזק את הביקוש לארכיטקטורות הטרוגניות, חיבורי רשת מהירים, מעבדי תשתית, זיכרון רחב פס ופתרונות תזמון המודעים למצב הסוכן.

לא כל משימה דורשת מודל ענק

דרך נוספת להפחתת הצריכה היא להימנע מהפעלת מודל גדול בכל שלב. משימות כמו בחירת כלי, בדיקת פורמט, סינון תוצאה או ביצוע החלטה פשוטה עשויות לעבור למודל קטן יותר או לרכיב תוכנה דטרמיניסטי.

מערכת סוכן יעילה יכולה לנתב כל שלב אל רמת החישוב הנדרשת: מודל גדול לשאלות מורכבות, מודל קטן לסיווג, ומעבד רגיל לפעולות שאינן דורשות למידת מכונה.

ניתן גם לבצע כמה פעולות במקביל, אך מקביליות אינה חינמית. היא עשויה לקצר את זמן התגובה במחיר של הפעלת מספר גדול יותר של מאיצים בו־זמנית. הבחירה בין זמן, עלות ואנרגיה תצטרך להיקבע בהתאם לשירות ולדרישות המשתמש.

לדברי פרופ' מינסו רו, שהוביל את המחקר, תחרותיות בעידן הסוכנים לא תימדד רק לפי מידת ה"חוכמה" של המודל, אלא גם לפי היכולת להפעיל אותו ביעילות. לדבריו, נדרש תכנון משותף של מודלי הסוכנים, תשתיות מרכזי הנתונים ומערכת החשמל.

המחקר מצביע על כך שהמעבר לבינה מלאכותית סוכנית אינו רק שינוי בתוכנה. הוא יוצר עומס עבודה חדש בעל דפוסי השהיה, ניצולת וצריכת חשמל שונים מהסקת LLM רגילה. אם הסוכנים יהפכו לשכבה מרכזית בשירותי תוכנה, השאלה כיצד להפעיל אותם ביעילות עשויה להיות חשובה לא פחות מהשאלה כיצד לשפר את יכולותיהם.

שם המאמר:
The Cost of Dynamic Reasoning: Demystifying AI Agents and Test-Time Scaling from an AI Infrastructure Perspective

DOI:
10.1109/HPCA68181.2026.11408569

הפוסט מחקר: סוכני AI עלולים לצרוך פי 136 יותר אנרגיה משאילתת בינה מלאכותית רגילה הופיע לראשונה ב-Chiportal.

עמותת DICTA מפתחת מודל שפה גדול בעברית במסגרת שיתוף פעולה בינלאומי, וצוותי אנבידיה בישראל תורמים לפיתוח המודל המתקדם Mistral-Nemotron

במסגרת הכרזותיה בכנס GTC Paris, הודיעה אנבידיה על שילובם של גופים מישראל בפרויקטים מובילים לפיתוח תשתיות ומודלים ריבוניים של בינה מלאכותית באירופה ובאזור הים התיכון.

במוקד ההכרזה עומד שיתוף הפעולה עם עמותת DICTA, אשר מפתחת מודל שפה גדול בעברית (Hebrew LLM) כחלק ממיזם נרחב המשלב מוסדות וארגונים ממדינות שונות, לרבות צרפת, פולין, איטליה, שבדיה, סלובקיה ואיחוד האמירויות. המודל העברי יופץ דרך מנוע השאלות והתשובות Perplexity, ויהיה בין הראשונים שמונגשים לציבור הרחב בשפה המקומית באמצעות פלטפורמות AI מתקדמות.

בנוסף, צוותי אנבידיה בישראל לקחו חלק בפיתוח המודל החדש Mistral-Nemotron – ממשפחת מודלי Nemotron – שנחשב ל"מודל טורבו" בתחום השפה. המודל החדש מתוכנן לספק חיסכון משמעותי במשאבי חישוב תוך שמירה על דיוק גבוה, ומיועד בין היתר להנעת סוכנים חכמים (Agentic AI) בתחומים כמו שירות לקוחות, פיתוח תוכנה ויישומי קוד.

המודלים יהיו זמינים גם כ-NIM – פורמט המאפשר פריסה מקומית (on-premises), בענן, או בפלטפורמת La Plateforme של חברת Mistral.

"הגיוון הלשוני והתרבותי הוא כוח על, והמודלים הריבוניים החדשים יאפשרו לכל מדינה וגוף לפתח פתרונות מותאמים לסביבה שלה", אמר מנכ"ל אנבידיה ג'נסן הואנג. "שיתוף הפעולה עם DICTA וצוותי הפיתוח בישראל מדגים את הפוטנציאל הבינלאומי של חדשנות עברית בעידן הבינה המלאכותית".

ההכרזה הזו משתלבת עם פעילות רחבה של אנבידיה בישראל, כולל מרכזי מו"פ בתחומי חומרה, תוכנה ובינה מלאכותית – ומחזקת את מעמדה של ישראל כשותפה טכנולוגית חיונית באקוסיסטם הבינלאומי של החברה.

הפוסט אנבידיה משתפת פעולה עם ישראל בפיתוח מודלי שפה לבינה מלאכותית ריבונית הופיע לראשונה ב-Chiportal.

בפתח הרצאתה בכנס ChipEx2025 שהתקיים בתל אביב, הציגה אנה ברנוב, מנכ"לית HowHardAI, רעיון מהפכני להפיכת מודלי שפה גדולים (LLM) לסוכנים אוטונומיים המסוגלים לפתור בעיות טכניות מורכבות בזמן אמת. לדבריה, מרבית “Agentic Frameworks” המקובלים כיום – דוגמת Identity AI ואחרים – פועלים כמעין מעטפת תוכנה סביב ה-LLM, שבה היכולות המודליות נשמרות בגדר גנרי, והכוונה למשימות השונות מתבצעת באמצעות prompt engineering בלבד מבלי לשנות את המשקלים הפנימיים של המודל.

HowHardAI מנגישה במקום זאת גישה של Reinforcement Learning המבוססת על תהליך trial-and-error המוכר מעולמות אחרים בבינה מלאכותית. על פי ברנוב, כדי לאפשר למודל ללמוד באמת להפעיל אמצעים חיצוניים או לבצע סדרת פעולות מורכבות, יש לתרגם אתגרים כמו תכנון פריסה (floor planning) לסביבה סימולטיבית שסולקת ציון מוצקות לפעולותיו של המודל בכל איטרציה. רק כך ניתן לעדכן את המשקלים שלו באופו איטרטיבי, ולא להסתפק בפקודות טקסט בלבד

בתיאור הניסוי שהציגה, המודל התחיל במיקום ראשוני של שני רכיבי מפתח (MR ו-ML) וזכה לפידבק סביבתי שכלל דירוג תלוי־פעולות. באיטרציה הבאה הוא הריץ פעולת “rotate” לשיפור המיקום, ובאיטרציה השלישית הציע התאמות נוספות עד שהסביבה קבעה כי האופטימיזציה הושלמה ואתרו את נקודת העצירה האופטימלית. התהליך כולו נעשה ב–one shot גנרטיבי, ללא צורך בארגון המודל בפרדיקציה מוקדמת.

יתרונן של שיטות RL במרחב זה הוא ביעילות האימון ובהסתמכות על reasoning פנימי של ה-LLM, שאיננו מוגבל עוד למערכת חיצונית המורה לו מה לעשות. ברנוב מתחזקת כי ברגע שמגדירים נכון את הבעיה – את הסט המוגבל של הפעולות ואת אופן החישוב של ה-reward – ניתן להפעיל סוכנים חכמים שיבצעו אופטימיזציה בכל שלב של שרשרת הפיתוח, החל מנתוני post-silicon ועד לניתוב אוטומטי בין תהליכי ייצור בעלי node שונים.

HowHardAI נמצאת כבר כיום בשלבי שיתוף פעולה עם מספר חברות מובילות בתעשיית השבבים בישראל וברחבי העולם, במטרה ליישם את הגישה ולייעל באופן מהותי את שלבי התכנון והייצור. “ההצלחה תלויה קודם כל בפרמליזציה נכונה של הבעיה,” סיכמה ברנוב, “כשהמודל מבין בדיוק אילו פעולות הוא יכול לבצע ואיך לקבל על כך משוב, הוא הופך לכלי אימון רב־עוצמה.”

o4-mini-high

הפוסט “HowHardAI מאמנת LLM לתכנון אוטומטי של Netlist" הופיע לראשונה ב-Chiportal.

ענקית הייצור פוקסקון (Foxconn) הכריזה על השקת FoxBrain – מודל בינה מלאכותית ראשון מסוגו לתמיכה בתהליכי ייצור ושרשרת אספקה. המודל פותח במקור לשימוש פנימי, אך החברה מתכננת כעת להרחיב את השימוש בו בשיתוף פעולה עם גורמים נוספים בתעשייה.

FoxBrain פותח עם התאמה ייחודית לשפה הסינית המסורתית וסגנון השפה הטאיוואני, והוא מציע יכולות מתקדמות בניתוח נתונים, תמיכה בקבלת החלטות, שיתוף מסמכים, פתרון בעיות ויצירת קוד. בנוסף, פוקסקון מתכוונת לפרסם רכיבים מסוימים מהמודל בקוד פתוח, במטרה להאיץ את האימוץ של טכנולוגיות AI בתעשיית הייצור ושרשרת האספקה.

המודל החדש אומן במיוחד לסגנונות לשוניים סיניים וטאיוואניים, עם ארכיטקטורה המותאמת לעיבוד נתונים מורכבים. FoxBrain פותח בהתבסס על מודל שפה גדול, תוך אופטימיזציה לנתונים תפעוליים ולשיפור קבלת ההחלטות בתהליכים מורכבים.

המודל הותאם במיוחד לסגנונות השפה של טייוואן וסין ופועל היטב בניתוח נתונים מורכבים, תמיכה בהחלטות, שיתוף פעולה במסמכים, פתרון בעיות והפקת קוד.

ההכרזה על FoxBrain מגיעה בזמן שפוקסקון משקיעה משמעותית בתשתיות AI, כולל השקעה של 900 מיליון דולר במפעל לשרתים במקסיקו וצמיחה חזקה בהכנסות החברה המונעת בעיקר מביקושים גבוהים ליישומי AI.

הפוסט פוקסקון משיקה את FoxBrain – מודל AI ראשון מסוגו לתעשיית הייצור ושרשרת האספקה הופיע לראשונה ב-Chiportal.

מאמר שפורסם לאחרונה בכתב העת Engineering עוסק בעתיד הבינה המלאכותית (AI) מעבר למודלים גדולים לשפה (LLMs). המודלים הללו הציגו התקדמות מרשימה במשימות מולטימודליות, אך הם מתמודדים עם מגבלות כמו מידע מיושן, הזיות, חוסר יעילות והיעדר יכולת לפרשנות. כדי להתמודד עם בעיות אלו, החוקרים בוחנים שלושה כיוונים מרכזיים: העצמת ידע, שיתוף פעולה בין מודלים והתפתחות משותפת של מודלים.

העצמת ידע שואפת לשלב ידע חיצוני בתוך המודלים הגדולים. ניתן להשיג זאת באמצעות שיטות שונות, כולל שילוב ידע במטרות האימון, כוונון לפי הנחיות, הסקת מסקנות מוגברת על בסיס אחזור ידע והנחיות מבוססות ידע. לדוגמה, ישנם מחקרים המעצבים פונקציות הפסד מודעות לידע במהלך האימון המוקדם, בעוד שאחרים משתמשים בדור מוגבר אחזורית כדי לשלוף ידע רלוונטי בזמן ההסקה. טכניקות אלו משפרות את הדיוק העובדתי, יכולות ההסקה והפרשנות של המודלים.

שיתוף פעולה בין מודלים מתמקד בניצול החוזקות המשלימות של מודלים שונים. הדבר כולל אסטרטגיות כמו מיזוג מודלים ושיתוף פעולה פונקציונלי. מיזוג מודלים, כמו שילוב מודלים (Ensembling) ומיזוג פונקציונלי (לדוגמה, תערובת מומחים), מאפשר לשפר את הביצועים. בשיתוף פעולה פונקציונלי, המודלים הגדולים יכולים לשמש כמנהלי משימות המכוונים מודלים קטנים ומומחים. לדוגמה, במשימות יצירת תמונות, המודלים הגדולים יכולים להדריך מודלים מתמחים כדי לענות בצורה מיטבית לדרישות ההנחיות.

התפתחות משותפת של מודלים מאפשרת למודלים שונים להתפתח יחד. תחת סוגים שונים של הטרוגניות – מודלים, משימות ונתונים – הוצעו טכניקות מגוונות. עבור הטרוגניות מודלים, משתמשים בשיטות כמו שיתוף פרמטרים, זיקוק ידע כפול והשלכת פרמטרים מבוססת היפר-רשתות. בהקשר של הטרוגניות משימות, למידה כפולה, למידה אדוורסרית (שני מודלים המציעים הצעה מנוגדת זה לזה, מעין איפכא מסתברא) ומיזוג מודלים משחקות תפקיד מרכזי. כאשר מדובר בהטרוגניות נתונים, למידה מבוזרת וזיקוק ידע מחוץ לחלוקה (Out-of-Distribution) הן טכניקות מפתח. שיטות אלו משפרות את יכולת ההתאמה והטיפול במשימות מגוונות של המודלים.

ההתקדמות בעידן שאחרי המודלים הגדולים משפיעה במגוון תחומים. במדע, היא תורמת לפיתוח השערות באמצעות שילוב ידע ייעודי לתחום. לדוגמה, במטאורולוגיה, מודלים מבוססי AI המשולבים עם ידע ייעודי יכולים לשפר תחזיות לאנרגיה מתחדשת. בהנדסה, הם מסייעים בגיבוש ופתרון בעיות. בחברה, יישומיהם כוללים תחומים כמו בריאות וניהול תחבורה.

בעתיד, המאמר מציין מספר כיווני מחקר נוספים, כולל בינה מלאכותית מואנשת, בינה מלאכותית בהשראה מוחית, מודלים בסיסיים שאינם טרנספורמרים ויצירת מודלים בשילוב LLMs. תחומים אלו נושאים פוטנציאל רב להמשך קידום יכולות הבינה המלאכותית. ככל שה-AI ממשיך להתפתח, השילוב של ידע, שיתוף פעולה והתפתחות משותפת יהיה קריטי בבניית מערכות AI חזקות, יעילות ואינטליגנטיות יותר.

למאמר המדעי

הפוסט העידן שאחרי מודלי השפה הגדולים הופיע לראשונה ב-Chiportal.