פיתוח תוכנה לרכב אוטונומי מתבסס על גישה מודולרית, בה קיימים רכיבים נפרדים לזיהוי וניטור עצמים, חיזוי מסלול ותכנון וניהול נתיב. בגישת "מקצה לקצה" משתמשים במודל הוליסטי שקולט מידע מכלל החיישנים ומפיק מסלולי נסיעה לרכב על פי מדדים שונים, ובראשם הבטיחות. המודל של אנבידיה אומן לקלוט נתוני מצלמות, מכ"ם ולידאר, ולהתבסס על היסטוריית ה"נסיעה" של הרכב, כדי לייצר מסלול בטוח בחלוף חמש שניות מרגע קבלת נתוני החיישנים
NVIDIA קטפה את המקום הראשון בתחרות מובילה לפיתוח מערכת נהיגה אוטונומית מלאה, ה-Autonomous Grand Challenge, שהתקיימה במסגרת כנס CVPR (Computer Vision and Pattern Recognition) שנפתח היום בסיאטל. המודל שפיתחו חוקרי החברה, דורג ראשון מבין יותר מ-400 פרויקטים שהוגשו לתחרות, בקטגוריית End-to-End Driving at Scale, ואף זכו בפרס החדשנות של הכנס.
המשימה במסגרת ה-Autonomous Grand Challenge הייתה לייצר סימולציית ניווט בנסיעה, בכפוף לאלפי תרחישים ספציפיים שהמודלים שהתחרו טרם נתקלו בהם בעבר, כשביצועי המודלים נבחנים במדדים הקשורים לבטיחות, נוחות הנוסעים והסטייה מהמסלול המקורי. המודל הזוכה של אנבידיה, Hydra-MDP, אומן תחילה על מחשב על, כגון פלטפורמת הבינה המלאכותית NVIDIA DGX, נבחן בסיוע פלטפורמת הסימולציות NVIDIA Omniverse, ואז הופעל על פלטפורמת המחשוב לרכב NVIDIA DRIVE AGX המעבדת נתוני חיישנים בזמן אמת.
פיתוח תוכנה לרכב אוטונומי מתבסס על גישה מודולרית, בה קיימים רכיבים נפרדים לזיהוי וניטור עצמים, חיזוי מסלול ותכנון וניהול נתיב. בגישת "מקצה לקצה" משתמשים במודל הוליסטי שקולט מידע מכלל החיישנים ומפיק מסלולי נסיעה לרכב על פי מדדים שונים, ובראשם הבטיחות. המודל של אנבידיה אומן לקלוט נתוני מצלמות, מכ"ם ולידאר, ולהתבסס על היסטוריית ה"נסיעה" של הרכב, כדי לייצר מסלול בטוח בחלוף חמש שניות מרגע קבלת נתוני החיישנים.
בניית מערכת אוטונומית שתנווט בבטחה בעולם הפיזי היא אתגר עצום משום שהמערכת צריכה "לתפוס" ו"להבין" את הסביבה באופן כולל, לרבות תרחישים מסוכנים פוטנציאליים או נדירים, ולקבל החלטות נכונות ובטוחות תוך שבריר שנייה. הזכייה היא אבן דרך משמעותית המדגישה את החשיבות של בינה מלאכותית יוצרת בתהליך פיתוח יישומים המיועדים לשימוש בעולם הפיזי בסקטורים שונים – מנהיגה אוטונומית דרך רפואה, רובוטיקה תעשייתית ועוד.
סימולציה לפני ההפעלה בעולם הפיזי
הסימולציות ששימשו את המפתחים עבור הפרויקט שניצח בתחרות התבססו על ממשק חדש עליו הכריזה אנבידיה בכנס – NVIDIA Omniverse Cloud Sensor RTX API. מדובר במיקרו-שירותים (micro-services) המאפשרים בניית סימולציות חיישנים המבוססות על נתונים מהעולם האמיתי – מסרטונים, מצלמות, מכ"ם ולידאר – עם נתונים סינתטיים, במטרה להאיץ פיתוח של מכונות אוטונומיות מכל סוג. ניתן להשתמש במיקרו-שירותים הללו לדמות מגוון רחב של פעילויות, כמו האם זרוע רובוטית עובדת כמצופה, איך לנהוג כשענף עץ חוסם כביש או כשרובוט ובני אדם מתקרבים אלה לאלה, אך גם תרחישים שהיתכנותם בעולם האמיתי נמוכה יותר.
בעזרת ה-API החדש, מפתחים יכולים לבדוק את השילוב של נתוני חיישנים ובינה מלאכותית בסביבות סימולציה, לפני שמתקינים את המערכת כולה ברכב הניסוי ומסיעים אותו ברחובות. השימוש בסימולציה מגדיל את הבטיחות של ניסויי הרכב וגם תורם לחיסכון משמעותי במשאבים.
"פיתוח מכונות אוטונומיות בטוחות ואמינות המופעלות על ידי בינה מלאכותית יוצרת מצריך אימון ובדיקות בסימולציות המבוססות על המציאות הפיזית", אמר רב לברדיאן, סגן נשיא לטכנולוגיות Omniverse וסימולציה באנבידיה. "המיקרו-שירותים של NVIDIA Omniverse Cloud Sensor RTX יאפשרו למפתחים לבנות בקלות תאומים דיגיטליים בקנה מידה גדול של מפעלים, ערים ואפילו כדור הארץ כולו – ויסייעו להאיץ את הגל הבא של בינה מלאכותית".
במסגרת הכנס יציגו חוקרי אנבידיה כ-57 מאמרים מקצועיים ופרויקטים בתחומים שונים הקשורים לראייה ממוחשבת דו ותלת מימדית, יצירת מפות, דימויים ווידאו לנהיגה אוטונומית, ואימון מודלים של בינה מלאכותית. בין הפרויקטים גם מודל בסיס חדשני – FoundationPose, שבעזרתו ניתן להסיק בכמעט זמן אמת באיזה מנח יופיעו אובייקטים כאשר הסביבה בה הם מוצגים משתנה, ללא צורך באימון מחודש של המודל.
המודל החדש נעזר במספר קטן של תמונות, או בייצוג תלת-מימדי של אובייקט, כדי "להבין" את צורתו, ולעקוב אחר האופן בו הוא נע בסביבה תלת-מימדית, גם בתנאי תאורה לקויים או שדה ראיה עמוס ומוגבל. FoundationPose יוכל לשמש יישומים תעשייתיים כמו לסייע לרובוטים אוטונומיים לזהות אובייקטים ועובדים הנמצאים סביבם.
בכנס יוצג גם JeDi – שיטה שמאפשרת למשתמשים לבצע בשניות ספורות התאמה אישית בתוצרים של מודלי Diffusion באמצעות תמונות Reference, תוך שיפור ביצועים משמעותי בהשוואה למודלים הקיימים כיום. עוד בכנס, חוקרי אנבידיה הציגו את מערך הנתונים הסינתטי הגדול ביותר של מתחם מקורה (indoor) במסגרת אתגר שנקרא AI City Challenge שנועד לסייע לחוקרים ומפתחים לקדם פתרונות לערים חכמות ואוטומציה תעשייתית. באתגר הסימולציה מתבקשים החוקרים להציג שיפור בפעילות המתבצעת במפעל או מחסן שבו רובוטים ו-2500 ייצוגים דיגיטליים של בני אדם עובדים אלה לצד אלה במקום צפוף. הפתרון נדרש לאפשר ניטור, מדידה ושיפור של היעילות התפעולית, כשבטיחות העובדים נמצאת בתיעדוף העליון. קבוצות החוקרים ניסו את המודלים שלהם על מערך הנתונים, שנוצר באמצעות פלטפורמת הסימולציות NVIDIA Omniverse.
