חוקרים מ-NVIDIA, אוניברסיטת תל אביב ואוניברסיטת בר אילן הציגו בכנס הבינה המלאכותית ICLR 2025 בסינגפור את Add-it, שיטה חדשה להוספת פריטים לתמונות באמצעות פקודות טקסטואליות (פרומפטים), ללא צורך באימון נוסף או באופטימיזציה (Fine-tuning) של מחולל התמונות. Add-it מאפשר להוסיף לתמונות אמיתיות, או כאלה שנוצרו על ידי AI, פריטים ממגוון רחב של סוגים – מפריטי לבוש כמו נעליים וכובעים, דרך לוגואים של חברות מסחריות, ועד לבעלי חיים ובני אדם. 

״הוספה של פריט חדש לתמונות באמצעות פרומפט היא משימה מאתגרת שדורשת איזון עדין בין שמירה על הסצנה המקורית לבין שילוב של הפריט החדש בנראות מתאימה ובמקום המתאים״, מסביר פרופ׳ גל צ׳צ׳יק, מנהל מרכז מחקרי הבינה המלאכותית של NVIDIA בישראל, ומי שעומד מאחורי המחקר ביחד עם יועד תבל, רינון גל, דביר שמואל, יובל עצמון וליאור וולף – חוקרים מאנבידיה, אוניברסיטת תל אביב ואוניברסיטת בר אילן. ״מודלים קיימים מתקשים למצוא את האיזון הזה. בשביל לפתור את הבעיה, הרחבנו את מנגנון ה-Attention של מודל הבינה המלאכותית כך שישלב מידע משלושה מקורות – התמונה המקורית, הפרומפט הטקסטואלי והתמונה הסופית. בבדיקות שערכנו, בני אדם העדיפו את התוצאות של Add-it על פני שיטות אחרות ב-80% מהמקרים״.

דוגמאות:

חוקרות וחוקרי NVIDIA הציגו בכנס ICLR 2025 יותר מ-70 מאמרים שבמרכזם חידושים מבוססי AI במגוון תחומים – רכבים אוטונומיים, בריאות, יצירת תוכן, רובוטיקה ועוד. אחד המחקרים הוא SRSA, מסגרת עבודה (Framework) להאצת תהליך הלימוד של רובוטים באמצעות ספריית מיומנויות, שבאמצעותן יכולים רובוטים ללמוד לבצע משימות חדשות. פיתוח נוסף, Proteina, הוא מודל מבוסס ארכיטקטורת Transformer ליצירת שלדי חלבון שמציג פי חמישה יותר פרמטרים בהשוואה למודלים קודמים. 

״ICLR הוא אחד הכנסים המשפיעים ביותר בתחום הבינה המלאכותית, שבו חוקרים מציגים חידושים חשובים שמניעים כל תעשייה ותעשייה״, אמר בריאן קטנזרו, סגן נשיא למחקר בתחום הלמידה עמוקה ב-NVIDIA. ״המאפיין המשותף של המחקרים שהצגנו השנה היה ביכולתם להאיץ את כל השכבות של מערך המחשוב על מנת להגביר את האימפקט והשימושיות של בינה מלאכותית בתעשיות שונות״.

הפוסט חוקרים מאנבידיה ומאוניברסיטאות ישראליות פיתחו שיטה חדשה להוספת פריטים לתמונות באמצעות פרומפט הופיע לראשונה ב-Chiportal.

כנס ChipEx2024 שיתקיים בארגון חב' איי אס ג'י ב7-8 במאי בת"א יאגד מרצים מחברות שבבים אשר רבות מהן עושות כיום שימוש בכלי בינה מלאכותית או מפתחות שבבים לישומי בינה מלאכותית. אחד המרצים המרתקים בכנס הוא פרופ' גל צ'ציק מאוניברסיטת בר אילן ומוביל קבוצת המחקר של אנבידיה בישראל. צ'צ'יק מתכוון לצלול בהרצאתו אל מתחת למכסה המנוע של הבינה המלאכותית היוצרת.

"הצוות שלי מתמקד ביישומים אמיתיים של בינה מלאכותית, עבור מגוון רחב של מוצרים ושירותים, כולל רשתות, בינה מלאכותית גנרטיבית, טכנולוגיות סימולציה וראייה ממוחשבת.

"ההרצאה שלי תעסוק בהתקדמות האחרונה בלמידת מכונה עם מודלים בסיסיים, עם דגש על בינה מלאכותית גנרטיבית חזותית."

"אתאר תהליך עבודה של בינה מלאכותית שהופך נפוץ מאוד, הכולל אופטימיזציה מהירה של מודל מאומן מראש עבור משימת הסקה ספציפית. זה מאפשר להשתמש מודלים מאומנים מראש בדרכים חדשות שלא היו ידועים במהלך האימון. זרימות עבודה אלה אינן בעיות היסק טהורות של "הזנה קדימה" המיושמות על מודל שהוכשר מראש, מכיוון שהן כרוכות באופטימיזציה לא טריוויאלית של זמן היסק מעבר למה שהמודל הוכשר אליו; הם גם לא בעיות אימון, כי הם מתמקדים בקלט ספציפי. זרימות עבודה אלה של הסקה כבדת מחשוב מעלות אתגרים טכנולוגיים חדשים ופותחות הזדמנויות לסוגים חדשים של חוויות משתמש ומקרי שימוש."

"ביתר פירוט, בהרצאתי אתאר שני טעמים עיקריים של תהליכי העבודה החדשים בהקשר של בינה מלאכותית גנרטיבית חזותית ומודלים גנרטיביים של טקסט לתמונה: כוונון עדין של מעט צילומים ואופטימיזציה של זמן הסקה. אתאר טכניקות להתאמה אישית של מודלים מאומנים מראש של שפת ראייה, כך שמודל יוכל ללמוד מושגים חדשים שהם ספציפיים למשתמש, מבלי לפגוע במה שהמודל כבר יודע. לאחר מכן, אסביר כיצד אנו יכולים ללמד מודלים ליצור תמונות מגוונות של מושגים נדירים שקשה ליצור באמצעות מודל סטנדרטי. אתאר גם טכניקות לשיפור היישור בין טקסט הנחיה לבין תמונות שנוצרו, במיוחד לאכיפת נוכחות של אובייקטים ותכונותיהם הנכונות. לבסוף, אתאר את ההתקדמות האחרונה ביצירת עולמות מדומים תלת-ממדיים, כולל לימוד אווטארים דמויי אדם לנוע בסימולטור פיזי."

לינק להרשמה לכנס ChipEx2024

הפוסט ChipEX2024: פרופ' גל צ'ציק, אנבידיה: כיצד מלמדים את הבינה המלאכותית להסיק מסקנות הופיע לראשונה ב-Chiportal.