שימוש בטכנולוגיית מציאות רבודה קוגניטיבית לתיקון מכשירים

בתחום המציאות הרבודה, הוצגו בכנס דוגמאות ראשונות לשילוב בין ווטסון (מערכת המחשוב הקוגניטיבית של IBM) ובין טכנולוגית המציאות הרבודה (Augmented/Mixed Reality) – אשר יכולות לסייע בתיקון מכשירים אלקטרוניים, ובפעולות רבות נוספות. חלק משמעותי של פעילות המחקר והפיתוח של IBM בתחום המשולב הזה מבוצע במעבדות המחקר של החברה בחיפה

קסדת מציאות מדומה HOLOLENS צילום: יחצ

IBM Israel קיימה בשבןע שעבר את הכנס השנתי "Watson TLV Summit", במסגרתו אירחה את מיטב המומחים מהארץ ומהעולם בתחומי המחשוב הקוגניטיבי, ענן, אנליטיקס, אבטחת המידע והסייבר. בתערוכת הכנס הוצגו פתרונות טכנולוגיים חדשניים שפותחו במעבדת המחקר בחיפה ומטה החברה בישראל. פתרונות אלו מבוססי מערכת הבינה המלאכותית ווטסון מבית IBM.

בין השאר, צפו באי הכנס במצב בו נתקלים משתמשים רבים – טיפול במחשב אישי תקול. שכבת מציאות רבודה המוצגת באמצעות מסך iPad על גבי תצוגת וידיאו בזמן אמת של המחשב התקול, מאפשרת לקבל מידע אודותיו. כמו כן, להנחות את המשתמש בתהליך תיקון והחלפה, מיקום חלקים, אפשרות להזמנת חלקים, ואף חיבוריות לחיישנים במקרה של אינטרנט של הדברים (IOT). טכנולוגיה זו מיועדת בשלב הראשון כסייען לטכנאי במטרה להפכו לטכנאי-על, אך גם משתמשי הקצה יוכלו בעתיד להיעזר בה ולתקן מכשירים ללא עזרה ראשונית של טכנאי. בין השאר, יכולת זו תקפה לתיקון כלי רכב שונים, מכשור אלקטרוני ותעשייתי, כדוגמת מנוע, מכונה, מחשב או מכשירי חשמל ביתיים.

מציאות רבודה קוגניטיבית משלבת ראיית מכונה, עקיבה מרחבית בזמן אמת, שיחה עם המחשב בדיבור חופשי, זיהוי ממוחשב של מחוות גוף, שילוב מחשוב לביש, ניתוח והבנה של הקשרי תוכן, התייחסות להיסטוריה של האינטראקציה עם משתמש מסוים, וטכנולוגיות למידה עמוקה (Deep Learning).

מעבר לראייה ממוחשבת ועקיבה מרחבית, התומכות בליבת היכולות של יישומי המציאות הרבודה, שמור מקום מרכזי בפתרונות אותם מפתחת IBM גם לניהול אינטראקציה בשפה טבעית. מערכות אלה יודעות לזהות לא רק את הטקסט המושמע על ידי המשתמש – אלא גם את ההקשר בו מתנהל הדו-שיח.

ד"ר איתן הדר, מנהל תחום ראיה קוגניטיבית ומציאות רבודה במעבדת המחקר של IBM בחיפה. צילום: מירי דוידוביץ', באדיבות IBM Israel.
ד"ר איתן הדר, מנהל תחום ראיה קוגניטיבית ומציאות רבודה במעבדת המחקר של IBM בחיפה. צילום: מירי דוידוביץ', באדיבות IBM Israel.

פתרונות קוגניטיביים מאפשרים למכונה להבין את משמעות התוכן – גם כאשר הדיבור אינו נערך כמשפט שלם ומסודר. המערכת מכירה את ההיסטוריה של האינטראקציה עם משתמש מסוים, מבינה את ההקשר בו מתבצעת האינטראקציה הנוכחית, מזהה אלמנטים ויזואליים, טקסטואליים ומחוות גוף – ומאפשרת רמה חדשה של יישום קוגניטיבי. לצורך זאת, יש לשלב בין ההיבט של המציאות הרבודה – יכולתו של משתמש קצה להצביע על נקודה במדיח כלים או במכונית ולשאול "מה זה?", ״איפה זה?״, או "איך מחליפים את זה?". על מנת לקבל תשובה מפורטת, ישנה מערכת קוגניטיבית הפועלת ברקע, ומשלבת את מכלול המידע. בחינת התוצאות מאפשרת לטכנולוגיות הלמידה העמוקה להמשיך ולהשתפר עם הזמן, בעקבות מידע הנצבר מכל אינטראקציה.

ד"ר איתן הדר, מנהל תחום ראיה קוגניטיבית ומציאות רבודה במעבדת המחקר של IBM בחיפה: "בעולם הטכני בתעשייה היצרנית או בתחום נותני השירותים, הטכנולוגיה חשובה במיוחד למי שאין בידו ניסיון בפועל או חלף זמן רב מתקופת הכשרתו. המערכת 'רואה וחשה' את אותה מציאות שרואה הטכנאי, מנתחת אותה, ומציגה מעליה שכבות מידע המעוגנות למציאות הסובבת את הטכנאי בכלל ובהקשר התיקון בפרט. במקביל, יכול המשתמש/ הטכנאי לנהל שיחה קולית עם המערכת או עם מנחה אנושי מרוחק, להציג שאלות ולקבל הדרכה קוגניטיבית בדיבור רגיל או באמצעות הנחיית ראייה של מציאות רבודה".

{loadposition content-related}