״הוספה של פריט חדש לתמונות באמצעות פרומפט היא משימה מאתגרת שדורשת איזון עדין בין שמירה על הסצנה המקורית לבין שילוב של הפריט החדש בנראות מתאימה ובמקום המתאים״, מסביר פרופ׳ גל צ׳צ׳יק, מנהל מרכז מחקרי הבינה המלאכותית של NVIDIA בישראל, ומי שעומד מאחורי המחקר ביחד עם יועד תבל, רינון גל, דביר שמואל, יובל עצמון וליאור וולף – חוקרים מאנבידיה, אוניברסיטת תל אביב ואוניברסיטת בר אילן
חוקרים מ-NVIDIA, אוניברסיטת תל אביב ואוניברסיטת בר אילן הציגו בכנס הבינה המלאכותית ICLR 2025 בסינגפור את Add-it, שיטה חדשה להוספת פריטים לתמונות באמצעות פקודות טקסטואליות (פרומפטים), ללא צורך באימון נוסף או באופטימיזציה (Fine-tuning) של מחולל התמונות. Add-it מאפשר להוסיף לתמונות אמיתיות, או כאלה שנוצרו על ידי AI, פריטים ממגוון רחב של סוגים – מפריטי לבוש כמו נעליים וכובעים, דרך לוגואים של חברות מסחריות, ועד לבעלי חיים ובני אדם.
״הוספה של פריט חדש לתמונות באמצעות פרומפט היא משימה מאתגרת שדורשת איזון עדין בין שמירה על הסצנה המקורית לבין שילוב של הפריט החדש בנראות מתאימה ובמקום המתאים״, מסביר פרופ׳ גל צ׳צ׳יק, מנהל מרכז מחקרי הבינה המלאכותית של NVIDIA בישראל, ומי שעומד מאחורי המחקר ביחד עם יועד תבל, רינון גל, דביר שמואל, יובל עצמון וליאור וולף – חוקרים מאנבידיה, אוניברסיטת תל אביב ואוניברסיטת בר אילן. ״מודלים קיימים מתקשים למצוא את האיזון הזה. בשביל לפתור את הבעיה, הרחבנו את מנגנון ה-Attention של מודל הבינה המלאכותית כך שישלב מידע משלושה מקורות – התמונה המקורית, הפרומפט הטקסטואלי והתמונה הסופית. בבדיקות שערכנו, בני אדם העדיפו את התוצאות של Add-it על פני שיטות אחרות ב-80% מהמקרים״.
דוגמאות:
חוקרות וחוקרי NVIDIA הציגו בכנס ICLR 2025 יותר מ-70 מאמרים שבמרכזם חידושים מבוססי AI במגוון תחומים – רכבים אוטונומיים, בריאות, יצירת תוכן, רובוטיקה ועוד. אחד המחקרים הוא SRSA, מסגרת עבודה (Framework) להאצת תהליך הלימוד של רובוטים באמצעות ספריית מיומנויות, שבאמצעותן יכולים רובוטים ללמוד לבצע משימות חדשות. פיתוח נוסף, Proteina, הוא מודל מבוסס ארכיטקטורת Transformer ליצירת שלדי חלבון שמציג פי חמישה יותר פרמטרים בהשוואה למודלים קודמים.
״ICLR הוא אחד הכנסים המשפיעים ביותר בתחום הבינה המלאכותית, שבו חוקרים מציגים חידושים חשובים שמניעים כל תעשייה ותעשייה״, אמר בריאן קטנזרו, סגן נשיא למחקר בתחום הלמידה עמוקה ב-NVIDIA. ״המאפיין המשותף של המחקרים שהצגנו השנה היה ביכולתם להאיץ את כל השכבות של מערך המחשוב על מנת להגביר את האימפקט והשימושיות של בינה מלאכותית בתעשיות שונות״.
