StarCoder2 – שנבנה בשיתוף קהילת המפתחים BigCode ותומך בסיוע בכתיבת קוד ביותר מ-600 שפות תכנות, יוכל להאיץ פיתוח יישומי בינה מלאכותית אחראיים ושקופים
ענקית האוטומציה הארגונית ServiceNow, מאגר הקוד הפתוח של קהילת מפתחי הבינה המלאכותית Hugging Face וחברת אנבידיה הכריזו על StarCoder2 – משפחה חדשה של מודלי שפה גדולים (LLMs) בגישה פתוחה וללא עלות (open access), המיועדים לשמש עבור כתיבת קוד, ומציבים רף חדש של ביצועים, שקיפות ותמורה לעלות.
StarCoder2 פותח בשיתוף עם קהילת BigCode, המנוהלת על ידי ServiceNow, ו-Hugging Face והוא מאומן על 619 שפות תכנות וניתן להמשיך ולאמן אותו לצורך עבודה עם יישומים ארגוניים לביצוע משימות ייחודיות כגון יצירת קוד מקור, שיפור ויצירת תהליכי עבודה, סיכום טקסט ועוד. הפיצ'רים של StarCoder2, בהם השלמת הקוד, סיכום הקוד, איחזור קטעי קוד ועוד, מאפשרים למפתחים להאיץ חדשנות ולשפר תהליכי עבודה.
StarCoder2 מציע מודלים בשלושה גדלים: מודל שאומן על 3 מיליארד פרמטרים שהוכשר על ידי ServiceNow; מודל שאומן על 7 מיליארד פרמטרים שהוכשר על ידי Hugging Face, ומודל שאומן על 15 מיליארד פרמטרים שנבנה על ידי אנבידיה בהתבסס על פלטפורמת NVIDIA NeMo ותשתית המחשוב המואץ של אנבידיה. הגרסאות הקטנות יותר מספקות ביצועים רבי עוצמה תוך חיסכון בעלויות מחשוב, שכן מספר פרמטרים נמוך יותר דורש עוצמת מחשוב נמוכה יותר בשלב ההסקה (inference). ביצועי המודל שאומן על 3 מיליארד פרמטרים תואמים את הביצועים של מודל StarCoder המקורי, שאומן על 15 מיליארד פרמטרים.
המודלים של StarCoder2 משתמשים בארכיטקטורה עדכנית ונתונים שנאספו בקפידה על ידי קהילת BigCode, שנותנים עדיפות לשקיפות בתהליכי האימון כדי להבטיח חדשנות הפועלת תחת אחראיות ופיקוח וניתנת להרחבה לצרכי הלקוחות. הם מאפשרים המשך האצת הפיתוח של יישומי בינה מלאכותית כגון המרת טקסט חופשי לקוד (test-to-code) או טקסט חופשי לתהליכי עבודה (text-to-workflow), וכן הבנת הקשרים של מאגר הנתונים כדי להבטיח יישומים המספקים תחזיות מדויקות ורלוונטיות. יכולות אלה משרתות מהנדסי פיתוח מנוסים וגם מפתחים אחרים במטרה להאיץ טרנספורמציה דיגיטלית ולהגדיל ערך של תהליכים עסקיים.
הבסיס של StarCoder2 הוא מערך קוד חדש בשם Stack v2 שגדול יותר מפי 7 לעומת Stack v1. בנוסף למערך הנתונים המתקדם, טכניקות הדרכה חדשות עוזרות למודל להבין שפות תכנות בעלות משאבים נמוכים (כגון COBOL), מתמטיקה ודיונים בקוד המקור של התוכניות.
משתמשים יכולים לבצע Fine-Tuning של המודלים ב-StarCoder2 עם נתונים ספציפיים לתעשייה או לארגון באמצעות כלי קוד פתוח כגון NVIDIA NeMo או Hugging Face TRL. הם יכולים ליצור צ'אטבוטים מתקדמים לטיפול במשימות סיכום או סיווג מורכבות יותר, לפתח עוזרי קידוד מותאמים אישית שיכולים לבצע במהירות ובקלות משימות תכנות, לאחזר קטעי קוד רלוונטיים ולאפשר יכולות המרת טקסט לתהליכי עבודה.
StarCoder2, כמו קודמו, יהיה זמין תחת רישיון BigCode Open RAIL-M, המאפשר גישה ושימוש ללא תמלוגים. בהמשך, על מנת לקדם שקיפות ושיתוף פעולה, הקוד התומך של המודל ימשיך להימצא בדף GitHub של פרויקט BigCode.
כל דגמי StarCoder2 יהיו זמינים גם ב-Hugging Face ודגם StarCoder2 של 15 מיליארד פרמטרים זמין גם בדגמי NVIDIA AI Foundation למפתחים שמאפשר להתנסות בהם ישירות מהדפדפן או דרך נקודת קצה של API.
