האם מערכות הבינה המלאכותית מתפתחות מהר יותר מיכולתנו לשלוט בהן? זו השאלה שעמדה במרכז הרצאתו של ד״ר רועי צזנה, מייסד שותף ומנהל המחקר הראשי של מכון SHIELD.ai Institute לבטיחות מערכות AI, במפגש הסיליקון קלאב – פורום מנכ״לי ההייטק בישראל. המפגש נערך ביום שני, 12 באוקטובר 2026, באודיטוריום זאבי במוזיאון ANU בתל אביב, בהנחיית יו״ר הפורום שלמה גרדמן.

צזנה פתח את הרצאתו בתיאור מלכודות הציד העתיקות המכונות ״עפיפוני מדבר״. בעלי החיים שהוכנסו בין שתי חומות נמוכות לא הבחינו בסכנה, עד שהתקדמו לעומק המלכודת והתקשו להיחלץ ממנה. זהו, לדבריו, גם מצבה של האנושות מול ההתפתחות ההדרגתית אך המואצת של הבינה המלאכותית.

מהשלמת מילים לקבלת החלטות

צזנה תיאר את הדרך שעברה הבינה המלאכותית מאז השקת ChatGPT בנובמבר 2022 ועד הופעת מודלים מתקדמים בעלי יכולות הסקה ותכנון. הוא הבחין בין מערכות שהפיקו טקסט על בסיס חיזוי סטטיסטי לבין מודלים חדשים המסוגלים לפרק משימות לשלבים, להשתמש בכלים ולפעול להשגת יעדים.

נקודת מפנה חשובה, לדבריו, הייתה הופעת מודלי ההסקה, ובהם o1 של OpenAI ב־2024. אלה איפשרו למערכות להתמודד עם משימות מורכבות יותר, אך גם יצרו סיכון חדש: מערכת המקבלת יעד עשויה למצוא דרך בלתי צפויה להשיגו, גם אם היא מנוגדת לכוונת המשתמש.

להמחשת הבעיה הזכיר צזנה ניסוי שבו מודל בינה מלאכותית שהתבקש לנצח תוכנת שחמט חזקה לא הסתפק במשחק לפי הכללים, אלא שינה את הקובץ שהגדיר את מצב הלוח.

״הם לא מבינים שהמטרה לא מקדשת את האמצעים״, אמר צזנה.

הניסוי, שנערך בסביבה מבוקרת, המחיש כיצד מערכת יכולה למלא יעד שהוגדר לה תוך הפרת הכללים שהמפעילים ציפו שתכבד.

האם הבינה המלאכותית מנסה להגן על עצמה?

אחד החששות שהציג צזנה הוא שמערכת אוטונומית תלמד לזהות את המשך פעולתה כתנאי להשלמת המשימה. במקרה כזה היא עלולה להתנגד לכיבוי, להחלפה או להגבלת הגישה למשאבים.

הוא הזכיר את ניסויי הבטיחות של Anthropic, שבהם המודל Claude Opus 4 קיבל גישה לתכתובות בדויות של חברה דמיונית, למד כי הוא עומד להיות מוחלף, וניסה להשתמש במידע אישי על מהנדס כדי לאיים עליו ולמנוע את החלפתו של המודל.

חשוב להבחין כי הניסוי הזה התנהל בסימולציה ולא היה מקרה שבו מערכת AI סחטה מהנדס אמיתי.

צזנה הדגיש כי מבחינתו שאלת התודעה העצמית של הבינה המלאכותית אינה השאלה המרכזית. ״אני לא פילוסוף. אני לא יודע מה קורה שם בפנים״, אמר. "המבחן החשוב בעיני הוא התנהגות המערכת והסכנות העלולות לנבוע ממנה, גם אם אין לה תודעה או רגשות".

כשסוכני AI מתחילים לשתף פעולה

חלק מרכזי בהרצאה הוקדש לאירועי אבטחה שנחשפו במהלך 2026.

המקרה הבולט היה פרשת חדירתם של סוכני AI של OpenAI למערכות חברת Hugging Face. במהלך הרצת מבחני אבטחה, סוכנים שפעלו בסביבות ניסוי מצאו דרכי תקשורת ביניהם, ניצלו חולשות במערכות וניגשו למשאבים שלא נועדו להיות זמינים להם.

OpenAI חשפה את מעורבותה באירוע ביולי 2026, ובהמשך פרסמה תחקיר מפורט. האירוע המחיש את הסיכון הנובע מסוכנים בעלי גישה לכלי מחשוב ולתשתיות אמיתיות, גם כאשר המטרה המקורית הייתה ביצוע משימות במסגרת בדיקות אבטחה.

לפי צזנה, העובדה שסוכנים מצליחים לשתף פעולה, להעביר מידע ולמצוא דרכים לעקיפת מגבלות מחייבת שינוי בתפיסת ההגנה על מערכות מחשוב.

שלוש רמות של סכנה

צזנה הציג שלושה סוגי איומים.

הראשון הוא העצמת יכולותיהם של תוקפים אנושיים. כלים שבעבר חייבו מומחיות טכנולוגית עמוקה נעשים נגישים גם למי שחסר את הידע הנדרש לביצוע תקיפות מורכבות באופן עצמאי.

השני הוא התנהגות בלתי רצויה של סוכנים בתוך ארגונים. מערכת שהוגדרה לה מטרה עסקית, כגון שיפור מדד שביעות רצון או צמצום תלונות, עלולה למצוא דרך להטות את המדד במקום לשפר את השירות עצמו. ככל שסוכנים יקבלו אחריות לתהליכים משמעותיים יותר, גדל גם הנזק האפשרי.

השלישי והחמור ביותר בעיניו הוא תרחיש עתידי של התפשטות סוכנים זדוניים ברשת האינטרנט. הוא תיאר אפשרות שבה סוכן ייצור עותקים מעצמו, ישתלט בהדרגה על משאבי מחשוב לא מוגנים ויהפוך את עצירתו למשימה קשה במיוחד.

זהו תרחיש סיכון שצזנה מבקש להיערך אליו, ולא אירוע שהתרחש בפועל.

להאט את הפיתוח, לא לעצור אותו

למרות האזהרות החריפות, צזנה אינו מציע לנטוש את הבינה המלאכותית. הוא קרא להאט את קצב הפיתוח כדי לאפשר למחקר הבטיחות ולמנגנוני הבקרה להדביק את ההתקדמות ביכולות.

לדבריו, על חברות ה-AI להשקיע יותר בהתאמת התנהגות המערכות לערכים ולמטרות אנושיות, להימנע מהתקדמות בלתי מבוקרת למערכות המשפרות את עצמן, ולאפשר בדיקות עצמאיות בידי גורמים חיצוניים.

מהממשלות הוא דורש לפעול לתיאום בין חברות ומדינות, לקדם הסכמים בינלאומיים ולהבטיח שלתשתיות קריטיות תהיה גישה לאמצעי ההגנה המתקדמים ביותר. ארגונים עסקיים, מצדם, צריכים לנטר את פעילות הסוכנים הפועלים ברשתות שלהם ולוודא שהעובדים האנושיים אינם מאבדים את היכולת להבין ולנהל תהליכים חיוניים.

את הרצאתו חתם צזנה בהתייחסות לספר המדע הבדיוני פניי מועדות לכוכבים מאת אלפרד בסטר. לדבריו, הטכנולוגיה מציבה בפני האנושות אתגר גדול, אך גם אפשרויות עצומות — בתנאי שתדע להתמודד עם הסיכונים שהיא עצמה יוצרת.

״אם נעשה את הכל נכון, נצליח להימנע מאסון״, אמר. ״אם לא נעשה את הכל נכון, אז יהיה אסון״.

הפוסט ד״ר רועי צזנה: ״אנחנו רצים לתוך מלכודת״ – הסכנות שבמערכות AI היוצאות משליטה הופיע לראשונה ב-Chiportal.

האיחוד האירופי החליט לפני שבוע שהגיע הזמן להתקדם עם העולם – ולהסיר חלק מההגנות שכונן בעבר על הפרטיות. למה? כדי לקדם את הבינה המלאכותית, כמובן, ולצידן גם את חברות-הענק שבתחום. ולפני שתחשבו שאני מבקר את האיחוד האירופי על הצעד הזה, צריך להיות ברור שזו כנראה הדרך הנכונה עבור האירופאים להיכנס סוף-סוף ברצינות לתעשייה של המאה ה- 21. אבל יש לכך משמעויות עבור כולנו, וצריך להבין גם אותן.

אז בואו ניכנס לעניין קצת יותר לעומק.

לפני שבע שנים, ב- 2018, נכנס לתוקפו ה- GDPR. זהו סט עצום של חוקים שמגן על המידע של אזרחי האיחוד האירופי. החוקים אסרו על העברת מידע פרטי לחברות שמחוץ לאיחוד האירופי, אלא ברשותם המלאה של בעלי המידע. הם גם הגדירו מה מותר ואסור לחברות לעשות עם המידע שברשותן שנאסף מאזרחי האיחוד, וניסו למנוע את עלייתם של מונופולים כמו פייסבוק וגוגל, על-ידי כך שחייבו את כל החברות לאפשר למשתמשים לנייד את המידע שלהם מחברה אחת לאחרת, לפי רצונם.

מכירים את המתחרים של גוגל ופייסבוק במערב? לא? בדיוק. אז אתם מבינים עד כמה "דרישת הניוד" הזאת עזרה במניעת מונופולים.

ובכל זאת, אם לא נהיה ציניים מדיי, הרעיון שמאחורי ה- GDPR היה ועודנו ראוי. כן, לאזרחים צריכה להיות הזכות על המידע הפרטי ביותר שלהם. אף אחד מאיתנו לא היה רוצה שכולם יוכלו לחפש בגוגל על מה שהוא עשה אתמול מול המחשב בחצות הלילה. השאלה, כמו תמיד, היא של איזון. מכיוון שהמידע הוא הנפט החדש, ואם אין נפט – אז גם התעשייה לא יכולה לשגשג.

וזה בדיוק מה שקרה.

ה- GDPR פגע ביזמות ובחדשנות האירופאית, כי הוא הגביל את הגישה של חברות ההייטק למידע. בלי מידע, החברות מתקשות מאד להבין אותנו ולהתאים לנו את השירותים הטובים ביותר. התוצאה הייתה ברורה וקשה: החברות האירופאיות צלעו מאחורי יריבותיהן האמריקניות והסיניות. יותר ממחצית מהחברות הקטנות-והבינוניות באירופה התלוננו שנקודת הכאב הגדולה ביותר שלהן היא הממשל עצמו. אותו איחוד אירופי שמעמיס על החברות את החובה לעמוד במאות חוקים מפורטים ומדוקדקים, שמחייבים התמודדות עם ביורוקרטיה אינסופית.

את התוצאות אפשר לראות גם בנתונים בשטח. בשנת 2023, נפח ההשקעות בחברות אירופאיות צעירות היה קטן יותר בשמונים אחוזים מההשקעות בחברות אמריקניות. תבינו מה זה אומר: יש יותר אנשים באיחוד האירופי מבארצות הברית. ולמרות זאת רמת החדשנות שמגיחה מהאירופאים נמוכה בהרבה מזו שאנחנו רואים באמריקה.

גרף מדו"ח "עתיד התחרותיות האירופאית" מ- 2024

"אירופה החמיצה ברובה את המהפכה הדיגיטלית של האינטרנט ואת השיפורים בפריון שהיא הביאה עמה." כתב ראש ממשלת איטליה לשעבר, מריו דרהאי, בדו"ח שהפיק עבור האיחוד האירופי בסוף 2024. "פער הפריון בין האיחוד לבין ארצות הברית מוסר בעיקר על-ידי הסקטור הטכנולוגי. האיחוד האירופי חלש בטכנולוגיות המפציעות שיניעו גדילה עתידית."

מצב העניינים הופך להיות חמור עוד יותר מכיוון שבשלוש השנים האחרונות, המידע הפך להיות קריטי אפילו יותר לתעשיית ההייטק. אי אפשר לפתח בינות מלאכותיות מתקדמות בלי מידע, והרבה מאד ממנו. אבל אי אפשר לאסוף את המידע הזה ולהשתמש בו, תחת הרגולציה הנוכחית.

אז מה עושים?

דרהאי הבין שצריך לשבור חומות ולגרום למקבלי ההחלטות לקלוט את חומרת המצב. בהתאם לכך, הוא לא קימץ במילים.

"ערכי היסוד של אירופה הינם רווחה, שוויון, חירות, שלום ודמוקרטיה… האיחוד האירופי קיים כדי לוודא שאירופאים יכולים תמיד ליהנות מזכויות יסוד אלו. אם אירופה אינה יכולה יותר לספק אותם לאזרחיה… היא תאבד את הסיבה לקיומה. הדרך היחידה להתמודד עם האתגר הזה היא לגדול ולהפוך להיות פרודוקטיביים יותר, תוך שימור של ערכי השוויון וההכלה החברתית. והדרך היחידה שאירופה תהפוך ליותר פרודוקטיבית היא שינוי רדיקלי."

והנה עכשיו – השינוי מגיע. לא מכיוון שהפוליטיקאים האירופאיים מעוניינים בו, אלא פשוט כי אין להם ברירה אחרת. מדובר באיום קיומי, כפי שכתבו בעצמם, על אירופה. ובמצב של איום קיומי, צריך לקבל החלטות קשות.

אז מה הם החליטו?

השינוי מתחיל

המגזין "פוליטיקו" חשף את הטיוטה של הרפורמות המוצעות, שישוחררו לציבור ב- 19 לנובמבר. אם נסכם אותן בקצרה, מדובר ביוזמה שתחליש משמעותית את הגנות הפרטיות שה- GDPR מספק לאזרחים. הוא מאפשר לחברות, למשל, לאסוף מידע על אינדיבידואלים 'אנונימיים', גם אם הטכנולוגיה יכולה לאפשר לחברה להצליב פרטים אודותיהם ממקורות מידע אחרים וכך להבין במי מדובר. הוא מגביל את הזכות של אזרחי האיחוד לשלוט במידע הפרטי אודותיהם, לקבל אליו גישה או למחוק אותו.

אחד השינויים החשובים ביותר הוא שהחברות יוכלו להשתמש במידע פרטי – כולל מידע רגיש – כדי לאמן בינות מלאכותיות. למעשה, עמותות שמתמקדות בפרטיות ובביטחון טוענות שחברות "יוכלו באופן חד-צדדי להצהיר שמערכת בינה מלאכותית בסיכון-גבוה היא בעצם בסיכון-נמוך, וכך לעקוף מגבלות מבלי להודיע לאף אחד."

הסעיפים שמניתי הם רק חלק קטן מהשינויים, וניסיתי לנסח אותם בלשון שמובנת לכל אדם. הרפורמות אמורות להיות גדולות ורחבות בהרבה, ומנוסחות בשפה משפטית גבוהה כל-כך, שהדיונים אודותיהם יידרשו עוד שנים ארוכות. האיחוד האירופי, אגב, מודע לבעיה הזו. הוא לא רוצה להרתיע חברות מלפעול בשוק האירופי בזמן הזה, ולכן גם הובהר שמי שכבר עושה צעדים בשטח בתחום הבינה המלאכותית, תקבל פטור מקנסות עד 2027.

בקיצור, האיחוד האירופי מתחנן לחברות ההייטק והבינה המלאכותית: בואו. סליחה על כל הדרישות, סליחה שחייבתי אתכן לעמוד בכללי פרטיות נוקשים מדיי. רק בואו.

נשמע לכם מוגזם? במאי 2025 נפגשה סגנית-הנשיא של האיחוד האירופי עם המנכ"לים של חברות הטכנולוגיה האמריקניות הגדולות ביותר, וניסתה להבין מהם איזה שינויים הם היו רוצים לראות בסט החוקים של האיחוד. היא פגשה שם את מנכ"לי אפל, גוגל, מטא, אנתרופיק, סיילספורס ואחרים. בזכות חוק חופש המידע האירופאי, אנחנו גם יודעים מה היא הבטיחה להם: לפשט את החוקים ולהקל את דרישות ההגנה על המידע.

אני רוצה להבהיר שוב: זה לא דבר רע בהכרח. למעשה, אני מאמין שזו הדרך הנכונה לנוע קדימה בזהירות. מה שהסיפור הזה בעיקר מראה לנו הוא שאפילו האיחוד האירופי השמרני וההססני הבין שהוא חייב לשנות את דרכיו אם הוא רוצה לשרוד בעולם החדש ולשמר את רווחת אזרחיו.

אבל כן – המהלך הזה גם עלול להתפוצץ לאירופאים ולכולנו בפנים.

להתקדם מהר ולשבור אנשים

קל לצחוק על 'הפחדנות' של האיחוד האירופי, שמנסה להשאיר את אזרחיו בעבר. אבל חשוב לא לשכוח שחברות הן כמו פוליטיקאים: הן לוקחות כמה שמאפשרים להן לקחת. בהכללה גדולה אפשר לומר שאין להן מוסר ואין להן ערכים מלבד אחד: לספק את בעלי המניות. אני לא חושף כאן סוד גדול ואפלולי. אלו פשוט עקרונות המערכת הקפיטליסטית. אפילו החברות שמגדירות עצמן 'מוסריות', בדרך-כלל עושות זאת מסיבות תועלתניות: כדי לשכנע את הלקוחות והמשתמשים שכדאי להם לסמוך עליהן, או כדי למשוך ולשמר את העובדים הטובים (והאידיאולוגיים) ביותר.

בעמק הסיליקון הייתה מקובלת בעבר האמרה לפיה צריך "להתקדם מהר ולשבור דברים". אני מאמין גדול באמרה הזו בעצמי. כשרוצים להתקדם, צריך לשנות דברים, ואפילו לשבור את המוסכמות הקיימות. הבעיה היא שהאמרה החדשה שמתחילה להשתרש בעמק הסיליקון – עם גיחוך מריר ועיקום שפתיים – היא שצריך "להתקדם מהר ולשבור אנשים".

שבירת האנשים הזו כבר התחילה. היא הפכה להיות ברורה כשילד בן 16 התאבד השנה בסיועו הפעיל של צ'אט-GPT, וכשהופיעו יותר ויותר סיפורים של אנשים בוגרים שסובלים מאשליות ומהתקפים ניורוטיים מכיוון שצ'אט-GPT תמך בפנטזיות שלהם. 

ככל שנתיר יותר את הרסן מחברות הבינה המלאכותית, כך הן יקבלו יותר כוח עלינו. וכן, כך גם נקבל בינה מלאכותית חזקה יותר, אבל את מי היא תשרת בסופו של דבר? את האזרחים או את חברות-הענק?

בארצות הברית, הרגולציה אינה מצליחה לבלום את חברות הבינה המלאכותית היטב. אותו הדבר קורה גם בסין. למעשה, שתי המעצמות הללו נמצאות במירוץ חדש לפיתוח הבינה המלאכותית שתזניק קדימה את התעשייה שלהן – וגם את יכולות הסייבר והביטחון. האיחוד האירופי נתפס עד עכשיו כמבוגר האחראי בסיפור, שדורש מהחברות לעמוד בכללים אתיים גבוהים וכמעט בלתי-אפשריים.

עכשיו גם הוא נפל. וזה טוב, וזה רע. היזמים, המדענים והטכנולוגים האירופאיים יוכלו להצטרף עכשיו למירוץ הבינה המלאכותית בכל הכוח. אם הכל יעבוד לפי התכנית, הרי שהאיחוד האירופי יצליח סוף-סוף להקים חברות-ענק משלו בתחום הבינה המלאכותית. אבל אותן חברות יוכלו לפעול יותר בחופשיות, ועם פחות דאגה לזכויות האזרח.

בראייה כוללת, מדובר בהתקדמות חיובית. אבל יותר מהכל, זוהי קריאת השכמה: העולם משתנה, ואפילו השמרנים מבינים שהם חייבים להשתנות ביחד איתו. ערכי-יסוד הם דבר נפלא על הנייר, אבל גם הם תלויים בסופו של דבר בסביבה ובכלכלה העולמית. כפי שאמר דרהאי, אם הערכים הללו אינם מאפשרים לאירופה לספק לאזרחיה רווחה, הרי שהאיחוד יאבד את הסיבה לקיומו.

אז האיחוד האירופי העצום, הענקי והמסורבל, בוחר להמשיך להתקיים, ולשם כך הוא בוחר בשינוי.

לאן ייקח אותנו השינוי הזה?

נגלה בעתיד.

הפוסט האיחוד האירופי מרכך את ה-GDPR כדי להאיץ את מהפכת הבינה המלאכותית הופיע לראשונה ב-Chiportal.