המעבר מצ'אטבוטים המשיבים על שאלה יחידה לסוכני בינה מלאכותית שמפרקים משימות לשלבים, מפעילים כלי תוכנה ובודקים את תוצאותיהם עלול להגדיל מאוד את צריכת האנרגיה ואת עלויות התשתית. מחקר של המכון המתקדם למדע וטכנולוגיה של קוריאה, KAIST, מצא כי משימה המבוצעת באמצעות סוכן AI עשויה לצרוך עד פי 136.5 יותר אנרגיה משאילתת בינה מלאכותית גנרטיבית רגילה.

המחקר, שהוצג בסימפוזיון IEEE הבינלאומי לארכיטקטורת מחשבים בעלי ביצועים גבוהים, HPCA 2026, ניתח את התנהגותם של סוכני AI מנקודת המבט של מרכז הנתונים. החוקרים מדדו את מספר הפניות למודל השפה, זמני ההמתנה, ניצולת המעבדים הגרפיים וצריכת החשמל של כמה שיטות לביצוע משימות מורכבות. המאמר פורסם גם כהדפסה מקדימה תחת הכותרת The Cost of Dynamic Reasoning: Demystifying AI Agents and Test-Time Scaling from an AI Infrastructure Perspective. (arXiv)

לא שאילתה אחת אלא שרשרת של הפעלות

בשירות בינה מלאכותית רגיל, המשתמש שולח בקשה ומודל השפה מייצר תשובה. סוכן AI פועל בצורה מורכבת יותר: הוא מתכנן את המשימה, מנסח בקשות משנה, מפעיל חיפוש, מחשבון או סביבת קוד, בוחן את התוצאה ולעיתים חוזר על התהליך.

כל שלב כזה עשוי לדרוש קריאה נוספת למודל השפה. מספר הפעלות המודל אינו בהכרח ידוע מראש, משום שהוא תלוי בתוצאות הביניים ובהחלטות שמקבל הסוכן במהלך המשימה.

החוקרים מכנים התנהגות זו "היגיון דינמי". בניגוד להסקה בעלת מסלול קבוע יחסית, הסוכן יוצר בזמן הביצוע גרף משתנה של פעולות חישוב, תקשורת והמתנה לכלים חיצוניים.

התוצאה היא עומס עבודה שונה מזה שעבורו תוכננו רבים ממרכזי הנתונים הנוכחיים. הביצוע אינו רצף רציף של פעולות על ה־GPU, אלא מעבר תכוף בין חישוב במודל השפה, פעילות של מעבד מרכזי, גישה לרשת, חיפוש במאגרי מידע והפעלת תוכנות.

עד פי 153.7 בזמן התגובה

לפי המחקר, ריבוי הפניות למודל וההמתנה לכלים חיצוניים עשויים להאריך את זמן התגובה עד פי 153.7 בהשוואה להסקה רגילה המבוססת על שרשרת חשיבה.

במהלך ההמתנה, המעבד הגרפי שהוקצה לבקשה אינו תמיד מסוגל לעבור ביעילות לעבודה אחרת. החוקרים מצאו שבתרחישים מסוימים נותרו יחידות ה־GPU ללא פעילות עד 54.5% מזמן הביצוע הכולל.

מדובר בבעיה כלכלית ולא רק אנרגטית. GPU המשמש להסקת מודל גדול הוא אחד הרכיבים היקרים ביותר במרכז נתונים. אם המאיץ שמור למשימה אך אינו מבצע חישוב במשך מחצית מזמן העבודה, עלות ההון אינה מתורגמת לניצולת בפועל.

עומסי סוכנים מציבים אפוא אתגר למתזמני משימות. עליהם לדעת לפנות משאבים בזמן שהסוכן ממתין לכלי חיצוני, להעביר אליהם בקשות אחרות ולהחזיר במהירות את המשימה המקורית כאשר התוצאה מגיעה — בלי לפגוע בזיכרון המטמון, בהקשר של המודל ובזמן התגובה.

348 ואט־שעה לבקשה

החוקרים בחנו תרחיש המבוסס על מודל שפה בעל 70 מיליארד פרמטרים, סדר גודל המקובל במודלים פתוחים ומסחריים גדולים. לפי החישוב שלהם, ביצוע בקשת סוכן צרך בממוצע 348.41 ואט־שעה.

הצריכה גבוהה פי 136.5 מזו של מערכת בינה מלאכותית גנרטיבית המבצעת מענה רגיל לשאלה, לפי תצורת הבדיקה שנבחרה במחקר.

המספר אינו משקף בהכרח כל סוכן AI וכל מרכז נתונים. צריכת האנרגיה תלויה בגודל המודל, בחומרה, במספר שלבי ההסקה, באורך ההקשר, בשיטת הכימות, במערכת הקירור וביעילות תוכנת ההגשה.

עם זאת, היחס הגבוה מדגים את הסיכון שבהתייחסות לסוכן כאל שאילתת צ'אט רגילה. בקשה אחת של משתמש עשויה להפעיל מאחורי הקלעים עשרות פעולות הסקה וכלים נוספים.

תרחיש של כמעט 200 גיגה־ואט

כדי להמחיש את משמעות ההתרחבות, החוקרים חישבו תרחיש שבו סוכני AI מטפלים ב־13.7 מיליארד בקשות ביום — נפח שאותו השוו להיקף החיפושים היומי בגוגל.

לפי הנחות המחקר, הפעלת עומס כזה תדרוש הספק כולל של כ־198.9 גיגה־ואט. זהו הספק רציף עצום, הגדול בסדרי גודל ממרכזי הנתונים הבודדים המתוכננים כיום, שהספקם נע בדרך כלל ממאות מגה־ואט ועד כמה גיגה־ואט.

אין לראות בתרחיש תחזית לכך שכל החיפושים בעולם אכן יוחלפו בסוכנים המשתמשים במודל של 70 מיליארד פרמטרים ובאותה שיטת ביצוע. זהו תרגיל קנה מידה שנועד להראות כי שימוש המוני בסוכנים ללא שיפור משמעותי ביעילות אינו מעשי מבחינת חשמל, קירור ותשתית.

התרחיש גם מדגיש שהמגבלה על התרחבות ה־AI עשויה לעבור מזמינות שבבים לזמינות הספק חשמלי, חיבורי רשת והקמת מרכזי נתונים.

תשואה חישובית פוחתת

החוקרים בחנו גם שיטות של הרחבת החישוב בזמן ההסקה — test-time scaling — שבהן המערכת משקיעה יותר חישוב כדי לשפר את איכות התשובה.

דוגמאות לכך הן יצירת כמה מסלולי פתרון במקביל, הוספת דוגמאות להנחיה, ביצוע ביקורת עצמית או חזרה על התהליך בכמה סבבים.

תוספת חישוב אכן יכולה לשפר את הדיוק, אך המחקר מצא כי התשואה פוחתת במהירות. כל סבב נוסף מגדיל את מספר האסימונים, זמן הביצוע וצריכת האנרגיה, בעוד שהתוספת לאיכות התוצאה נעשית קטנה יותר. (arXiv)

מבחינת מפעילי תשתיות, משמעות הדבר היא שלא מספיק להגדיר יעד ביצועים למודל. יש להחליט כמה אנרגיה, זמן ועלות מוצדקים עבור כל שיפור נוסף באיכות.

עומס עבודה חדש למרכזי הנתונים

סוכני AI משלבים כמה סוגים של פעילות:

• הסקת מודל שפה על GPU או מאיץ AI;
• פעולות תזמור ותכנון על מעבדים מרכזיים;
• גישה לזיכרון ולמאגרי וקטורים;
• תקשורת עם שירותים חיצוניים;
• הרצת קוד וכלים;
• המתנה לתוצאות וחזרה למודל.

המערכת אינה מוגבלת עוד למאיץ אחד או אפילו לשרת אחד. היא דומה יותר ליישום מבוזר שבו פעולות שונות דורשות חומרה שונה.

משום כך, החוקרים קוראים לתכנון משולב של מודלי הסוכנים, השבבים, תוכנת התזמון, מרכזי הנתונים ותשתיות החשמל. שיפור של אחד הרכיבים בלבד לא יפתור את הבעיה אם שאר המערכת תמשיך להשאיר מאיצים יקרים בהמתנה.

מחקרים נוספים בתחום מציעים לפצל את גרף הביצוע של סוכנים בין מערכות הטרוגניות — מעבדים מרכזיים, מאיצים מדורות שונים ורכיבים ייעודיים — ולשבץ כל פעולה בחומרה המתאימה לה. גישה כזו עשויה להפחית את עלות הבעלות הכוללת ולהאריך את השימוש בחומרה קיימת. (arXiv)

השלכות על תכנון שבבים

מבחינת תעשיית השבבים, עומסי סוכנים עשויים לשנות את סדרי העדיפויות בתכנון מאיצי AI.

במערכות אימון גדולות, המדד המרכזי הוא לרוב תפוקת פעולות חישוב מקביליות. בהפעלת סוכנים, לעומת זאת, נדרשים גם מעבר מהיר בין משימות, טיפול יעיל בבקשות קצרות ומשתנות, שיתוף זיכרון בין תהליכים והפחתת צריכת החשמל במצב המתנה.

מאיצים עתידיים עשויים להידרש לתמיכה טובה יותר בהשהיה ובהמשך של משימות, בניהול זיכרון מטמון של מודלי שפה ובשיתוף המשאב בין מספר גדול של סוכנים.

גם הקישוריות נעשית חשובה יותר. סוכן עובר בין המודל, מסדי נתונים, כלי תוכנה ושירותי רשת. זמן התקשורת בין הרכיבים עלול להיות משמעותי לא פחות מזמן החישוב עצמו.

הדבר עשוי לחזק את הביקוש לארכיטקטורות הטרוגניות, חיבורי רשת מהירים, מעבדי תשתית, זיכרון רחב פס ופתרונות תזמון המודעים למצב הסוכן.

לא כל משימה דורשת מודל ענק

דרך נוספת להפחתת הצריכה היא להימנע מהפעלת מודל גדול בכל שלב. משימות כמו בחירת כלי, בדיקת פורמט, סינון תוצאה או ביצוע החלטה פשוטה עשויות לעבור למודל קטן יותר או לרכיב תוכנה דטרמיניסטי.

מערכת סוכן יעילה יכולה לנתב כל שלב אל רמת החישוב הנדרשת: מודל גדול לשאלות מורכבות, מודל קטן לסיווג, ומעבד רגיל לפעולות שאינן דורשות למידת מכונה.

ניתן גם לבצע כמה פעולות במקביל, אך מקביליות אינה חינמית. היא עשויה לקצר את זמן התגובה במחיר של הפעלת מספר גדול יותר של מאיצים בו־זמנית. הבחירה בין זמן, עלות ואנרגיה תצטרך להיקבע בהתאם לשירות ולדרישות המשתמש.

לדברי פרופ' מינסו רו, שהוביל את המחקר, תחרותיות בעידן הסוכנים לא תימדד רק לפי מידת ה"חוכמה" של המודל, אלא גם לפי היכולת להפעיל אותו ביעילות. לדבריו, נדרש תכנון משותף של מודלי הסוכנים, תשתיות מרכזי הנתונים ומערכת החשמל.

המחקר מצביע על כך שהמעבר לבינה מלאכותית סוכנית אינו רק שינוי בתוכנה. הוא יוצר עומס עבודה חדש בעל דפוסי השהיה, ניצולת וצריכת חשמל שונים מהסקת LLM רגילה. אם הסוכנים יהפכו לשכבה מרכזית בשירותי תוכנה, השאלה כיצד להפעיל אותם ביעילות עשויה להיות חשובה לא פחות מהשאלה כיצד לשפר את יכולותיהם.

שם המאמר:
The Cost of Dynamic Reasoning: Demystifying AI Agents and Test-Time Scaling from an AI Infrastructure Perspective

DOI:
10.1109/HPCA68181.2026.11408569

הפוסט מחקר: סוכני AI עלולים לצרוך פי 136 יותר אנרגיה משאילתת בינה מלאכותית רגילה הופיע לראשונה ב-Chiportal.

חברת Niv-AI מתל אביב יוצאת מהפיתוח החשאי ומדווחת על גיוס סיד בהיקף של 12 מיליון דולר, במהלך שממקם אותה באחד מצווארי הבקבוק המרכזיים של עידן ה־AI: הפער בין עוצמת החישוב של מאיצי GPU לבין היכולת לספק להם חשמל באופן יעיל, מדויק ורציף. את הסבב הובילו Glilot Capital Partners ו־Grove Ventures, ובהשתתפות הקרנות האמריקאיות Arc VC, Encoded VC, Leap Forward ו־Aurora Capital Partners. לפי החברה, ההון ישמש להשקת פלטפורמת Power-Compute AI Stack, להרחבת צוות הפיתוח ולהקמת מעבדת מחקר בתל אביב שתדמה עומסי AI בתנאי חשמל מציאותיים.

הבעיה ש־Niv-AI מנסה לפתור אינה מחסור כללי בחשמל, אלא חוסר היכולת של מפעילי מרכזי נתונים להבין מהי צריכת החשמל האמיתית של עומסי AI. בניגוד לעומסי מחשוב מסורתיים, מאיצי GPU מודרניים מאופיינים בזינוקים חדים ומהירים מאוד בצריכת ההספק, לעיתים בפרקי זמן קצרים כל כך שמערכות הניטור הסטנדרטיות כלל אינן “רואות” אותם. התוצאה היא שמפעילי דאטה־סנטרים נערכים תמיד לתרחיש הקיצון, רוכשים קיבולת חשמל גבוהה יותר מזו שנחוצה בפועל, אך אינם מצליחים לנצל אותה באופן מלא. לפי החברה, לעיתים מדובר בכ־20%–30% מקיבולת החשמל שנותרת “כלואה” ובלתי מנוצלת.

כדי להתמודד עם הפער הזה פיתחה החברה שכבת מדידה ייעודית, המבוססת על חיישני הספק בתדר גבוה, שמסוגלים ללכוד את התנודות המהירות בצריכת החשמל של עומסי AI. על בסיס הנתונים האלה מייצרת המערכת פרופיל צריכה לכל יישום, מעין “חתימה אנרגטית” או “טביעת אצבע חשמלית”, ולאחר מכן מפעילה שכבת תוכנה שאמורה לתאם בזמן אמת בין עומסי החישוב לבין אספקת האנרגיה. במקום להאט את ה־GPU או “לחנוק” את הביצועים, המערכת מנסה להחליק את צריכת ההספק באמצעות הסטה מדורגת של עומסי העבודה, כך שניתן יהיה לנצל טוב יותר את התשתית הקיימת בלי לפגוע בתפוקה.

זהו ניסיון לגעת בבעיה שהופכת למרכזית יותר ויותר ככל שמרכזי AI גדלים. בשנים האחרונות הדיון סביב תשתיות בינה מלאכותית מתמקד לא רק בביצועי המעבדים או בזמינות של שבבים מתקדמים, אלא גם בעלות האנרגטית של הרצת המודלים. Niv-AI מבקשת לתפוס נישה שנמצאת בדיוק בתפר שבין תוכנה, חומרה ופיזיקה יישומית: לא עוד כלי לניהול עומסים בלבד, ולא עוד רכיב חשמלי, אלא מערכת בקרה מלאה שמחברת בין רשת החשמל לבין עומס ה־AI עצמו.

החברה הוקמה במאי 2025 בידי המנכ"ל תומר טימור וה־CTO אדוארד קיציס. לפי הדיווחים, השניים הם יוצאי יחידה 81 וסיירת מטכ"ל, ובצוות החברה עובדים מומחים בפיזיקה יישומית, הנדסת חשמל וארכיטקטורת מערכות מורכבות. בחברה מציגים את היתרון המרכזי שלה כיכולת לאחד באותו פתרון מומחיות מתחומי התשתיות החשמליות, שכבת ה־bare metal, עומסי ה־AI ומדידה פיזיקלית ברזולוציה גבוהה.

אם הטכנולוגיה של Niv-AI אכן תעמוד בהבטחה, היא עשויה לאפשר למפעילי דאטה־סנטרים להפיק יותר תפוקה מהקיבולת שכבר נרכשה והותקנה, במקום להמשיך ולהגדיל תשתיות חשמל בקצב יקר ואיטי. בעולם שבו כל GPU נחשב משאב יקר וכל מגה־ואט הפך למשאב אסטרטגי, לא בטוח שהמרוץ הבא יהיה רק על עוד שבבים — אלא על מי יידע להוציא מהם יותר, בלי לשלם בעודף על חשמל שלא באמת מנוצל.

הפוסט Niv-AI גייסה 12 מיליון דולר לפתרון צוואר הבקבוק האנרגטי של מרכזי AI הופיע לראשונה ב-Chiportal.

דוח חדש של BestBrokers טוען כי OpenAI נמצאת בדרך להפוך לאחת מעסקי המנויים הגדולים בעולם: לפי חישובי צוות האנליזה של החברה, הכנסות ChatGPT ממנויים בתשלום עשויות לעמוד על כ־955 מיליון דולר בחודש – כ־11.46 מיליארד דולר בשנה – בהנחה שמספר המנויים המשלמים (35 מיליון) שדווח בתקשורת אכן נכון. (Reuters)

לצד התחזית להכנסות, הדוח מציב תמרור אזהרה סביב ההשפעה האנרגטית של שימוש המוני בבינה מלאכותית: לפי ההערכה, מענה על היקף פעילות של כ־2.5 מיליארד שאילתות ביום ידרוש כ־17.23 מיליארד קוט״ש בשנה (17.23 TWh). אם חשמל זה היה נרכש “על הנייר” לפי תעריפים אמריקניים ממוצעים, העלות השנתית הייתה מתקרבת לכ־2.4 מיליארד דולר – רק עבור החשמל הדרוש לשירות השאילתות. (Fast Company)

מאיפה מגיעים המספרים – ומהן נקודות החולשה

ב־BestBrokers מדגישים כי מדובר באמידה המבוססת על נתונים שנחשפו בפומבי, דיווחים בתקשורת והנחות “שמרניות” לגבי תמהיל תוכניות המנוי והתמחור. אחת הנקודות המרכזיות היא מספר המנויים המשלמים: רויטרס דיווחה (בהסתמך על The Information) כי נכון ליולי 2025 היו ל־OpenAI כ־35 מיליון משתמשים משלמים, וכי היעד הפנימי עשוי להגיע לכ־220 מיליון משלמים עד 2030. (Reuters)

גם היקף השימוש שמניע את חישוב החשמל נשען על דיווחים: TechCrunch ו־The Verge כתבו ביולי 2025, בהסתמך על מידע שנמסר ל־Axios, כי משתמשי ChatGPT שולחים כ־2.5 מיליארד “פרומפטים” ביום. (TechCrunch)

עם זאת, צריך להבחין בין “עלות חשמל תאורטית” לבין עלות תפעול כוללת בפועל. צריכת החשמל היא רק רכיב אחד בעלויות: תשתיות מחשוב, רכישת שרתים ומאיצים, קירור, שטחי דאטה־סנטר, קישוריות, כוח אדם, וכן עלויות מו״פ – אינם נכללים בחישוב החשמל עצמו. בנוסף, OpenAI אינה מפרסמת פירוט מלא של עלויות אנרגיה/תפעול לכל שאילתה, ולכן כל השוואה “דולר מול קוט״ש” תלויה מאוד במודל, בהנחות, ובשאלה איך מגדירים “שאילתה” (אורך, מודל, שימוש בכלים, יצירת תמונות, ועוד). (Fast Company)

2030: הכול תלוי ב־ARPU

הדוח מציג את שנת 2030 כנקודת מבחן: אם OpenAI אכן תגיע לכ־220 מיליון מנויים משלמים, ההכנסה השנתית ממנויים בלבד עשויה להגיע לעשרות מיליארדי דולרים – אך זה תלוי בהכנסה הממוצעת למשתמש (ARPU). לפי תרחישים שמציגים מחברי הדוח:
ב־ARPU של 20 דולר לחודש – כ־52.8 מיליארד דולר בשנה; ב־25 דולר – כ־66 מיליארד; וב־30 דולר – כ־79 מיליארד (בקירוב “כ־80 מיליארד”). (Fast Company)

הטענה המרכזית של BestBrokers היא שמודל המנויים לבדו עשוי לכסות בקלות יחסית את רכיב החשמל המחושב – ולכן, בקנה מידה גדול, ChatGPT יכול להתנהג כלכלית כמו פלטפורמת מנויים גלובלית “בסדר גודל של נטפליקס/ספוטיפיי”, לפחות ברמת ההכנסות. כאן חשוב לזכור: ההשוואה להיקפי הכנסות של ענקיות צריכה אינה בהכרח השוואה לרווחיות, שכן עולם הבינה המלאכותית נושא עלויות הון ותפעול חריגות וגדלות במהירות. (Fast Company)

למה זה מעניין גם מעבר ל־OpenAI

מעבר לסקרנות על “מי מרוויח כמה”, המסמך משתלב בשיח הציבורי בתחילת 2026 סביב אנרגיה, קיימות ועלויות תשתית של בינה מלאכותית: ככל שהשימוש גדל, כך גם צריכת החשמל והלחץ על תשתיות מחשוב. במקביל, דוחות וניתוחים פיננסיים מזהירים שהאקוסיסטם כולו יצטרך להמיר השקעות עתק בהקמת דאטה־סנטרים להכנסות עצומות כדי להצדיק תשואות. (Tom's Hardware)

הפוסט דוח: הכנסות המנויים של OpenAI עשויות להגיע ל־11.46 מיליארד דולר בשנה – והתחזית ל־2030 מטפסת עד כ־80 מיליארד הופיע לראשונה ב-Chiportal.