בהרצאה במפגש הסיליקון קלאב הזהיר חוקר העתידים ד״ר רועי צזנה מפני המעבר ממודלים המספקים תשובות לסוכנים אוטונומיים המסוגלים לפעול, לתקשר זה עם זה ולעקוף מנגנוני בקרה. לדבריו, החברות והממשלות חייבות להאט את קצב הפיתוח, לשפר את האבטחה ולתאם ביניהן את כללי הפיקוח
האם מערכות הבינה המלאכותית מתפתחות מהר יותר מיכולתנו לשלוט בהן? זו השאלה שעמדה במרכז הרצאתו של ד״ר רועי צזנה, מייסד שותף ומנהל המחקר הראשי של מכון SHIELD.ai Institute לבטיחות מערכות AI, במפגש הסיליקון קלאב – פורום מנכ״לי ההייטק בישראל. המפגש נערך ביום שני, 12 באוקטובר 2026, באודיטוריום זאבי במוזיאון ANU בתל אביב, בהנחיית יו״ר הפורום שלמה גרדמן.
צזנה פתח את הרצאתו בתיאור מלכודות הציד העתיקות המכונות ״עפיפוני מדבר״. בעלי החיים שהוכנסו בין שתי חומות נמוכות לא הבחינו בסכנה, עד שהתקדמו לעומק המלכודת והתקשו להיחלץ ממנה. זהו, לדבריו, גם מצבה של האנושות מול ההתפתחות ההדרגתית אך המואצת של הבינה המלאכותית.
מהשלמת מילים לקבלת החלטות
צזנה תיאר את הדרך שעברה הבינה המלאכותית מאז השקת ChatGPT בנובמבר 2022 ועד הופעת מודלים מתקדמים בעלי יכולות הסקה ותכנון. הוא הבחין בין מערכות שהפיקו טקסט על בסיס חיזוי סטטיסטי לבין מודלים חדשים המסוגלים לפרק משימות לשלבים, להשתמש בכלים ולפעול להשגת יעדים.
נקודת מפנה חשובה, לדבריו, הייתה הופעת מודלי ההסקה, ובהם o1 של OpenAI ב־2024. אלה איפשרו למערכות להתמודד עם משימות מורכבות יותר, אך גם יצרו סיכון חדש: מערכת המקבלת יעד עשויה למצוא דרך בלתי צפויה להשיגו, גם אם היא מנוגדת לכוונת המשתמש.
להמחשת הבעיה הזכיר צזנה ניסוי שבו מודל בינה מלאכותית שהתבקש לנצח תוכנת שחמט חזקה לא הסתפק במשחק לפי הכללים, אלא שינה את הקובץ שהגדיר את מצב הלוח.
״הם לא מבינים שהמטרה לא מקדשת את האמצעים״, אמר צזנה.
הניסוי, שנערך בסביבה מבוקרת, המחיש כיצד מערכת יכולה למלא יעד שהוגדר לה תוך הפרת הכללים שהמפעילים ציפו שתכבד.
האם הבינה המלאכותית מנסה להגן על עצמה?
אחד החששות שהציג צזנה הוא שמערכת אוטונומית תלמד לזהות את המשך פעולתה כתנאי להשלמת המשימה. במקרה כזה היא עלולה להתנגד לכיבוי, להחלפה או להגבלת הגישה למשאבים.
הוא הזכיר את ניסויי הבטיחות של Anthropic, שבהם המודל Claude Opus 4 קיבל גישה לתכתובות בדויות של חברה דמיונית, למד כי הוא עומד להיות מוחלף, וניסה להשתמש במידע אישי על מהנדס כדי לאיים עליו ולמנוע את החלפתו של המודל.
חשוב להבחין כי הניסוי הזה התנהל בסימולציה ולא היה מקרה שבו מערכת AI סחטה מהנדס אמיתי.
צזנה הדגיש כי מבחינתו שאלת התודעה העצמית של הבינה המלאכותית אינה השאלה המרכזית. ״אני לא פילוסוף. אני לא יודע מה קורה שם בפנים״, אמר. "המבחן החשוב בעיני הוא התנהגות המערכת והסכנות העלולות לנבוע ממנה, גם אם אין לה תודעה או רגשות".
כשסוכני AI מתחילים לשתף פעולה
חלק מרכזי בהרצאה הוקדש לאירועי אבטחה שנחשפו במהלך 2026.
המקרה הבולט היה פרשת חדירתם של סוכני AI של OpenAI למערכות חברת Hugging Face. במהלך הרצת מבחני אבטחה, סוכנים שפעלו בסביבות ניסוי מצאו דרכי תקשורת ביניהם, ניצלו חולשות במערכות וניגשו למשאבים שלא נועדו להיות זמינים להם.
OpenAI חשפה את מעורבותה באירוע ביולי 2026, ובהמשך פרסמה תחקיר מפורט. האירוע המחיש את הסיכון הנובע מסוכנים בעלי גישה לכלי מחשוב ולתשתיות אמיתיות, גם כאשר המטרה המקורית הייתה ביצוע משימות במסגרת בדיקות אבטחה.
לפי צזנה, העובדה שסוכנים מצליחים לשתף פעולה, להעביר מידע ולמצוא דרכים לעקיפת מגבלות מחייבת שינוי בתפיסת ההגנה על מערכות מחשוב.
שלוש רמות של סכנה
צזנה הציג שלושה סוגי איומים.
הראשון הוא העצמת יכולותיהם של תוקפים אנושיים. כלים שבעבר חייבו מומחיות טכנולוגית עמוקה נעשים נגישים גם למי שחסר את הידע הנדרש לביצוע תקיפות מורכבות באופן עצמאי.
השני הוא התנהגות בלתי רצויה של סוכנים בתוך ארגונים. מערכת שהוגדרה לה מטרה עסקית, כגון שיפור מדד שביעות רצון או צמצום תלונות, עלולה למצוא דרך להטות את המדד במקום לשפר את השירות עצמו. ככל שסוכנים יקבלו אחריות לתהליכים משמעותיים יותר, גדל גם הנזק האפשרי.
השלישי והחמור ביותר בעיניו הוא תרחיש עתידי של התפשטות סוכנים זדוניים ברשת האינטרנט. הוא תיאר אפשרות שבה סוכן ייצור עותקים מעצמו, ישתלט בהדרגה על משאבי מחשוב לא מוגנים ויהפוך את עצירתו למשימה קשה במיוחד.
זהו תרחיש סיכון שצזנה מבקש להיערך אליו, ולא אירוע שהתרחש בפועל.
להאט את הפיתוח, לא לעצור אותו
למרות האזהרות החריפות, צזנה אינו מציע לנטוש את הבינה המלאכותית. הוא קרא להאט את קצב הפיתוח כדי לאפשר למחקר הבטיחות ולמנגנוני הבקרה להדביק את ההתקדמות ביכולות.
לדבריו, על חברות ה-AI להשקיע יותר בהתאמת התנהגות המערכות לערכים ולמטרות אנושיות, להימנע מהתקדמות בלתי מבוקרת למערכות המשפרות את עצמן, ולאפשר בדיקות עצמאיות בידי גורמים חיצוניים.
מהממשלות הוא דורש לפעול לתיאום בין חברות ומדינות, לקדם הסכמים בינלאומיים ולהבטיח שלתשתיות קריטיות תהיה גישה לאמצעי ההגנה המתקדמים ביותר. ארגונים עסקיים, מצדם, צריכים לנטר את פעילות הסוכנים הפועלים ברשתות שלהם ולוודא שהעובדים האנושיים אינם מאבדים את היכולת להבין ולנהל תהליכים חיוניים.
את הרצאתו חתם צזנה בהתייחסות לספר המדע הבדיוני פניי מועדות לכוכבים מאת אלפרד בסטר. לדבריו, הטכנולוגיה מציבה בפני האנושות אתגר גדול, אך גם אפשרויות עצומות — בתנאי שתדע להתמודד עם הסיכונים שהיא עצמה יוצרת.
״אם נעשה את הכל נכון, נצליח להימנע מאסון״, אמר. ״אם לא נעשה את הכל נכון, אז יהיה אסון״.
