כשאתה שואל שאלה, מתרחשת שרשרת מהירה:
1. Tokenization — השאלה שלך נחתכת ל"טוקנים" (יחידות תת-מילה). "מחשב" הופך ל-["מח","שב"]. כל טוקן מקבל מספר.
2. Embedding — כל מספר מומר לווקטור בממד גבוה (4096 ממדים, 12288, וכו'). הווקטור מייצג את "משמעות" המילה במרחב מתמטי. מילים עם משמעות דומה מקבלות ווקטורים קרובים.
3. מעבר בשכבות ה-Transformer — הווקטורים עוברים דרך עשרות שכבות. בכל שכבה, מנגנון ה-Attention מחשב: "בהקשר הזה, איזו מילה קשורה למי ובכמה?" המידע מתעשר ומצטבר.
4. הסקת הטוקן הבא — בסוף, המודל מייצר הסתברות לכל טוקן אפשרי בוואקבולרי (עשרות אלפי אפשרויות). הטוקן עם ההסתברות הגבוהה ביותר נבחר — ומצורף לתשובה.
5. אוטו-רגרסיה — התהליך חוזר. עכשיו הקלט הוא השאלה + הטוקן שנוצר. כך נבנית התשובה מילה אחר מילה, כל פעם עם כל ההיסטוריה.
מזינים קלט חדש (למשל תמונה שלא נראתה מעולם).
האות עובר קדימה בשכבות, מוכפל במשקלים הקבועים.
במוצא – התפלגות הסתברויות (למשל 95% חתול). הידע נשלח על ידי החישוב – לא נשלף "מזיכרון" אלא מחושב מחדש בכל פעם.