PaLM

PaLM‏ (Pathways Language Model) הוא מודל שפה גדול המבוסס על טרנספורמר של 540 מיליארד פרמטרים שפותח על ידי Google AI.

החוקרים הכשירו גם גרסאות קטנות יותר של PaLM, בהם 8 ו-62 מיליארד מודלים פרמטרים, כדי לבדוק את ההשפעות של קנה המידה של המודל.

PaLM מסוגל לבצע מגוון רחב של משימות, כולל חשיבה רגילה , חשיבה אריתמטית, הסבר בדיחות, יצירת קוד ותרגום. בשילוב עם הנחיה של פרומפטים, PaLM השיגה ביצועים טובים יותר באופן משמעותי על מערכי נתונים הדורשים חשיבה של מספר שלבים, כגון בעיות מילים ושאלות מבוססות לוגיקה.

הדגם הוכרז לראשונה באפריל 2022 ונשאר פרטי עד מרץ 2023, אז השיקה גוגל API עבור PaLM ועוד כמה טכנולוגיות. ה-API זמין תחילה למספר מצומצם של מפתחים שמצטרפים לרשימת המתנה לפני פתיחתו לציבור.

גוגל ו-DeepMind פיתחו גרסה של PaLM 540B בשם Med-PaLM המכווננת ומאומנת על נתונים רפואיים ועולה על דגמים קודמים במדדי תשובות לשאלות רפואיות.

Med-PaLM הייתה הראשונה שהשיגה ציון עובר בשאלות רישוי רפואי בארצות הברית, ובנוסף לענות בצורה מדויקת הן על שאלות מרובות והן על שאלות פתוחות, היא גם מספקת נימוקים ומסוגלת להעריך את התשובות שלה.

במאי 2023, גוגל הכריזה על PaLM 2 באירוע המרכזי השנתי של Google I/O. הדיווח העדכני הוא כי PaLM 2 הוא דגם של 340 מיליארד פרמטרים שאומן על 3.6 טריליון פריטי מידע.

אימון

PaLM מאומן מראש על מאגר מידע איכותי של 780 מיליארד פריטי מידע הכוללים משימות שונות של שפה טבעית ומקרי שימוש. מערך נתונים זה כולל דפי אינטרנט מסוננים, ספרים, מאמרי ויקיפדיה, מאמרי חדשות, קוד מקור המתקבל ממאגרי קוד פתוח ב-GitHub ושיחות מדיה חברתית. הוא מבוסס על מערך הנתונים המשמש לאימון מודל LaMDA של גוגל. החלק של השיחות מהמדיה החברתית במערך הנתונים מהווה 50% מהמאגר, מה שסייע למודל לשפר וללמוד יכולות שיחה טובות.

ראו גם

• מודל שפה גדול

קישורים חיצוניים

• אתר האינטרנט הרשמי של PaLM

מדיה וקבצים בנושא PaLM בוויקישיתוף