זיכרון של סוכני AI: איך לבנות סוכני AI עם הקשר מתמשך

אם היית צריך ללוות עמית חדש למדפסת כל בוקר במשך שישה חודשים, היית מתחיל לדאוג. אם הוא היה יכול לדקלם כל הליכה קודמת בפירוט מושלם אבל עדיין היה צריך ליווי, הזיכרון שלו מצוין… אבל אתה עדיין היית קם מהשולחן.

לזיכרון של סוכני AI יש כיום גרסה משלו להליכה הנצחית הזו למדפסת. מנכ״ל Letta, Charles Packer, אומר באתר The New Stack שמבחני הביצועים לזיכרון הגיעו לרוויה כי הם מודדים יכולת שליפה, בעיה שלדעתו כבר נפתרה. הבעיה הפתוחה היא סוכן שמשתפר בעבודתו באמצעות ההקשר שהוא שומר, בלי שום אימון מחדש.

שותפתו להקמת החברה, Sarah Wooders, משווה זאת לתחילת עבודה במקום חדש — מבחני הביצועים מספקים לסוכן את כל ההקשר שהוא צריך — משימה אחר משימה שאינן קשורות זו לזו, וזה לא דומה בכלל לאופן שבו אנשים עובדים. ייתכן שעובד חדש יצטרך ליווי למדפסת. אבל אחרי שלוש שנים בתפקיד, היית מקווה למסור לו תדריך בן שורה אחת בלי לקום מהשולחן.

זה הסטנדרט שאליו צריך לשאוף, וזו המטרה מאחורי Brain, מערכת הזיכרון המשתפרת מעצמה שלנו עבור Perplexity Computer, שמארגנת עבודה קודמת ותיקונים בוויקי ידע מתפתח.

נסביר מה סוכן צריך לזכור ואיך לבדוק אם זה עוזר לו לעבוד טוב יותר.

מהו זיכרון של סוכן AI?

זיכרון של סוכן AI הוא המידע שסוכן שומר מאינטראקציות ומעבודה קודמות, יחד עם המנגנונים לעדכון המידע ולשימוש בו. הקשר הזיכרון המתמשך מעביר את המידע הזה בין הפעלות, כך שסגירת שיחה לא אומרת שהמשימה הבאה מתחילה מאפס.

רוב מה שמוצע תחת השם הזה זוכר את המשתמש. ההעדפות שלך, אנשי הקשר שלך, התפקיד שלך, העובדה שאתה רוצה קובצי PDF ולא PNG. זה החצי הקל.

כשבנינו את Brain, מערכת הזיכרון שמאחורי Perplexity Computer, התמקדנו בעבודה עצמה. איזו גישה הצליחה? איזה מקור בזבז עשרים דקות? מה נאלצת לתקן אחרי שהסוכן הודיע שסיים? ההיסטוריה הזו נותנת למשימה הבאה נקודת פתיחה טובה יותר.

Brain שומר את המידע הזה כקבצים בארגז החול של הסוכן, מאורגנים בשלוש שכבות:

• התיקייה sessions/ מכילה תמלילים גולמיים ואת הסיכומים שלהם.
• התיקייה notes/ מכילה מידע מזוקק המאורגן לפי נושאים.
• התיקייה knowledge/ מכילה את הוויקי עצמו: דפי Markdown מקושרים על אנשים, פרויקטים ומושגים.

שום דבר מזה לא משתפר מעצמו. במהלך הלילה, סוכני רקע שאנחנו מכנים "Dream" קוראים את ההפעלות של אותו יום, מסכמים אותן ומעדכנים את הוויקי בכל מקום שבו התמונה השתנתה. אנחנו מכינים ובודקים את העריכות האלה לפני שאנחנו מבצעים להן commit דרך Git, כך שיש diff לבדיקה כשמשהו נראה לא תקין.

האם זה משפר את עבודת הסוכן? בהערכה המזווגת שלנו לאורך 30 יום, הפעלות עם Brain שיפרו את הנכונות ב-9.3 נקודות אחוז ואת יכולת השליפה ב-8.9, תוך שימוש בכ-15% פחות טוקנים.

הגדלה

מקור: X

מהם סוגי הזיכרון של סוכני AI?

יש שני סוגים עיקריים, והחלוקה דומה מאוד לזו שהיית עושה אצל אדם: מה שאתה מחזיק בראש ברגע זה, ומה שעדיין תדע בחודש הבא.

זיכרון לטווח קצר

זיכרון לטווח קצר מחזיק את ההקשר של השיחה או המשימה הנוכחית. הבקשה שלך, ההודעות האחרונות, התוצאה של קריאה לכלי, המסמך שהסוכן פתח זה עתה. מספיק מידע כדי להבין מה לעשות הלאה.

תיתקל בזה גם תחת השם זיכרון עבודה. במודל שפה גדול (LLM), חלון ההקשר מחזיק את המידע הזמין במהלך קריאה מסוימת למודל. האפליקציה עשויה לנהל מצב משימה נוסף ולהחליט אילו חלקים ממנו לספק בכל שלב.

וטווח קצר לא בהכרח אומר חד־פעמי. מסגרת עבודה יכולה לשמור את מצב השיחה ולחדש אותה מחר — היא עדיין שייכת לאותו שרשור. אבל השאלה אם משימה אחרת יכולה להשתמש במידע היא החלטת תכנון נפרדת.

זיכרון לטווח ארוך

זיכרון לטווח ארוך הופך מידע לזמין בין הפעלות. מאמר CoALA שאל שלוש קטגוריות ממדעי הקוגניציה, וכך נתן לבוני סוכנים אוצר מילים לחוויות ולידע מעשי:

• זיכרון אפיזודי הוא מה שקרה: זה כולל הפעלות קודמות, הצעדים שסוכן ביצע והתוצאה שקיבל. ב-Brain, התיקייה sessions/ מספקת את ההיסטוריה הזו באמצעות תמלילים גולמיים והסיכומים שלהם.
• זיכרון סמנטי הוא מה שהסוכן מקבל כאמת: אלה יכולות להיות עובדות על המשתמש, על הפרויקטים שלו ועל עולמו, שזוקקו מהשיחות. הוויקי knowledge/ של Brain מחזיק מידע מהסוג הזה, עם קישורים חזרה לראיות.
• זיכרון פרוצדורלי הוא איך עושים דברים: אלה פרומפטים, תהליכי עבודה לשימוש חוזר, הכישורים ש-Perplexity בונה כדי לתת לסוכנים את ההוראות והכלים שעבודה מסוימת דורשת. ייתכן שכבר יש לך חלק מזה בלי שקראת לזה זיכרון.

העבודה המעניינת מתרחשת בין השכבות. הפעלה מתעדת שדחית קובץ PNG. ההוראה שלך להשתמש בקובצי PDF הופכת להעדפה שהסוכן יכול לשאת הלאה. תיקון לתהליך הייצוא הופך למשהו שהוא יכול לפעול לפיו בפעם הבאה.

ההמרה הזו, מ"זה קרה" ל"זה נכון" ול"ככה אנחנו עושים את זה", היא חלק מבעיית הלמידה שבה פתחנו, וזה המקום שבו ההרצות הליליות של סוכן Dream של Brain משקיעות את מאמציהן.

נניח שמישהו מחמם דג במיקרוגל במטבח משותף. יש תלונות, מישהו פותח חלון. בסופו של דבר מופיע שלט: אסור דגים.

שישה חודשים אחר כך, האשם כבר עזב, אבל השלט נשאר. זו התמדה. אפשר להסביר את סוגי הזיכרון דרך מה ששורד:

• זיכרון עבודה הוא מה שאתה עוקב אחריו בזמן שאתה מכין ארוחת צהריים, למשל שצריך לערבב את המרק.
• זיכרון אפיזודי הוא תקרית הדג; הריח שליווה את כולם אל המסדרון.
• זיכרון סמנטי הוא הידע שהפקת ממנה — חימום דג עלול להשאיר ריח מתמשך במטבח משותף.
• זיכרון פרוצדורלי הוא ההוראה שקובעת מה יקרה בהמשך. אין לחמם כאן דגים במיקרוגל. השלט מאפשר גם למי שפספס את כל התקרית לפעול לפי הכלל.

יש גם הבחנה נוספת, כי היא משנה את מה שאנחנו בונים. סקירה שפורסמה לראשונה בדצמבר 2025, Memory in the Age of AI Agents, טוענת שהחלוקה לטווח קצר מול טווח ארוך אינה מספיקה — היא ממיינת את הזיכרון גם לפי צורה:

• ברמת הטוקן: זה התוכן המפורש שהסוכן קורא. קבצים, רשומות שמורות, מקטעים מאוחזרים.
• פרמטרי: זה מידע שמקודד במשקלים נלמדים. עדכונו דורש אימון או שיטות לעריכת מודלים.
• סמוי: זה מידע שנשמר בייצוגים פנימיים בלי שייכתב כטקסט קריא.

כאן אנחנו מתמקדים בזיכרון ברמת הטוקן; כלומר, מידע שמאוחסן מחוץ למודל ונטען להקשר שלו בעת הצורך. ויקי ה-Markdown של Brain הוא דוגמה אחת.

הגדלה

כשאנחנו מעדכנים דף, אנחנו משנים את מה שהסוכן יכול לקרוא במשימה הבאה שלו, אבל המשקלים הבסיסיים שלו נשארים זהים. זו הנקודה של Packer מהמבוא: להשתפר באמצעות ההקשר שהסוכן שומר, בלי אימון מחדש.

איך סוגי הזיכרון של הסוכן עובדים יחד?

סוכן יכול לחזור לניסיון קודם, לראות איפה טעה ולטעון את ההוראות שנתת לו אחר כך. כמה סוגי זיכרון מעורבים באותה משימה, ואין צורך שכל אחד מהם יקבל תור משלו או מסד נתונים נפרד.

כאן, ההתמדה קובעת מה נשאר זמין אחרי שהשיחה מסתיימת, ואילו האחזור קובע אם הסוכן יראה את זה אי פעם שוב.

ב-Brain, אנחנו משמרים את הדרך הזו מהלקח חזרה אל הראיות. נניח שאתה מבקש מ-Computer להמשיך פרויקט מהשבוע שעבר:

• האינדקס של Brain אומר לו אילו דפי זיכרון קיימים והיכן למצוא אותם.
• Brain פותח את דף הפרויקט כדי לקרוא את ההחלטות וההוראות השמורות.
• אם בהערה כתוב שדחית גישה מסוימת, הסוכן יכול לעקוב אחרי הציטוט שלה חזרה לשיחה ולבדוק למה.

הקישורים לדפים קשורים מאפשרים לו לחפש את האנשים או הפרויקטים האחרים המעורבים. הסוכן עושה זאת באמצעות קריאה וחיפוש בקבצים. לדוגמה, grep מאפשר לו למצוא אזכורים של פרויקט לפי שמו.

בדקנו גם מה סוכנים מרוויחים מהיכולת לחקור קבצים. במבחן ביצועים פנימי של 150 שאלות על מסמכים פיננסיים, סוכן חקירה שהשתמש בכלי קבצים סטנדרטיים הגיע לציון תשובה של 0.627, לעומת כ-0.37 בחיפוש סמנטי על אותו מאגר.

הגדלה

מקור: X

איך משפרים את הזיכרון של סוכני AI?

מאמר ממאי 2026 מאת Orogat ו-Mansour מזהה ארבעה כשלים חוזרים בזיכרון של סוכנים: המאגר ממשיך לגדול, אמונות מיושנות לא מתעדכנות, מידע נשכח כשנגמר המקום, והאחזור קורא בלי ללמוד דבר מהביקור.

הפתרון שהם מציעים הוא להפסיק להתייחס לזיכרון של סוכנים כאל אחסון, ולהתייחס אליו כאל "מצב" שמתפתח באמצעות ארבע פעולות: קליטה, עדכון, שכחה ואחזור. זו רשימת הבדיקה שלנו לחלק הזה.

לבחור בקפידה מה לזכור

ברגע שזיכרון "גרוע" נכנס, כל שלב יורש אותו.

צוות Workday AI Research בדק גישה בררנית על כ-1,500 זיכרונות מועמדים ממבחן הביצועים LoCoMo, ושאל חמש שאלות לפני ששמר כל אחד מהם:

• האם זה שימושי? האם סביר שזה יעלה שוב?
• האם זה אמין? האם זה באמת נאמר בשיחה, או שהמודל השלים את זה בעצמו?
• האם זה חדש, או שכבר נשמר?
• האם זה עדכני?
• האם זו עובדה קבועה או מצב חולף?

רק השאלה הראשונה דרשה קריאה למודל. ארבע האחרות רצו ככללים בפחות מ-65 מילישניות במצטבר. השיטה השיגה דיוק גבוה ב-12% בהחלטות לשמור או להשמיט, תוך שמירה על 97% מהזיכרונות הרלוונטיים.

הגורם התורם ביותר היה השאלה האחרונה — כשהסירו את ההבחנה בין מידע קבוע למידע זמני, איכות ההחלטות ירדה בכ-18%.

לעדכן את התשובה בלי לאבד את ההיסטוריה

חשוב לתעד מתי עובדה הפכה לתקפה, איזה מקור תומך בה ומה היא החליפה. אם המקורות סותרים זה את זה, כדאי להשאיר את הסתירה גלויה עד שיש מספיק ראיות להכריע בה. גם המסמך החדש ביותר יכול לטעות.

Brain מעדכן את הוויקי באמצעות מסמכי מקור, תוצאות מחברים ותיקונים של משתמשים. כל רשומת זיכרון מקשרת חזרה למקור שלה. אנחנו צריכים שהסוכן ימצא את התשובה העדכנית, ושיהיה לו איפה לבדוק אם התשובה הזו נראית חשודה.

לשכוח בכוונה

המאמר מכנה אחד ממצבי הכשל "שכחה מונחית קיבולת": מידע מוסר כדי לעמוד במגבלת אחסון, ולא משום שהוא הפסיק להיות שימושי.

בחזרה למטבח המשותף. אחרי שישה חודשים, לאף אחד לא אכפת מי חימם את הדג במיקרוגל או כמה זמן החלון נשאר פתוח. אבל לשלט עדיין יש תפקיד.

כשהאדם הבא יכין ארוחת צהריים, הכלל יהיה זמין. את התלונות פשוט מעבירים לארכיון.

בדיקות העדכניות וסוג המידע של Workday מתחילות לפני האחסון, ומסננות מה ראוי להפוך לזיכרון. ב-Brain, אנחנו גם חוזרים לידע קיים כשמסמכי מקור משתנים ומשתמשים מבצעים תיקונים. בשני המקרים, התוכן הוא שמחייב התערבות.

לגרום לאחזור להזין את העדכון הבא

הסוכן מאחזר עובדה, משתמש בה ומשאיר את המאגר בדיוק כפי שמצא אותו. עכשיו, אלא אם המערכת מתעדת מה קרה אחר כך, שום דבר לא מתעד אם העובדה הזו עזרה או שלחה את הסוכן למבוי סתום נוסף.

חשוב לתעד את התוצאה, את המקור ואת כל תיקון. כשבנינו את Brain, הפכנו את היסטוריית העבודה הזו לחלק ממה שהוא זוכר: איזו גישה הצליחה, איזה מקור לא הוביל לשום מקום, ומה המשתמש תיקן אחרי שהסוכן הודיע שסיים. Brain משלב את הניסיון הזה בעדכוני הוויקי התקופתיים שלו, כך שמשימות מאוחרות יותר יוכלו להשתמש בו.

עם זאת, שום דבר מזה לא בא לידי ביטוי במבחן ביצועים של יכולת שליפה. הדרך לדעת אם הלולאה עובדת היא לתת לסוכן משימה שהוא יכול להשלים רק בעזרת זיכרון ולספור באיזו תדירות הוא משלים אותה, בצירוף העלות וזמן ההשהיה. זה בדיוק מה ש-DolphinBench עושה, וזו הסיבה שהציונים הגבוהים ביותר עדיין עומדים על 70 ומשהו.

איך לבנות סוכן עם זיכרון מתמשך באמצעות Perplexity

ה-Agent API של Perplexity לא מגיע עם מערכת זיכרון שמתחזקת את עצמה כמו Brain. אנחנו מעדיפים לומר את זה מראש. אבל מה שהוא כן נותן לך הם רכיבי הזיכרון שאתה צריך: מקום לשמור בו נהלים, דרך להעביר הקשר בין סבבי שיחה, וכלים לקריאה מתוך מאגר שבשליטתך ולכתיבה אליו.

מתחילים בזיכרון פרוצדורלי

כישור מותאם אישית אורז הוראות, נהלים וקבצים תומכים תחת מספר גרסה. צוות פלטפורמה יכול לכתוב פעם אחת את בדיקות הפריסה, את הקריטריונים להחזרה לאחור (rollback) ואת פורמט הדיווח שלו, ואז לאפשר לאפליקציות להפנות לאותו כישור. כשהנוהל משתנה, הצוות מעלה גרסה חדשה.

הגדלה

מקור: X

פרופיל נמצא רמה אחת מעל. פרופילים שומרים את המודל, ההוראות, הכלים, הכישורים, המחברים והגדרות ההרצה של הסוכן תחת מזהה יחיד עם ניהול גרסאות.

הוספנו את שניהם בספטמבר, יחד עם מחברים מנוהלים, כך שמנהל פרויקט יכול להגדיר פעם אחת חיבור מאושר ל-GitHub או ל-Slack ולאפשר לאפליקציות להפנות אליו במקום לשמור פרטי גישה נפרדים. כשהגישה משתנה, המנהל מעדכן את החיבור במקום אחד.

למה זה נחשב זיכרון? נחזור שוב למטבח עם הדג שחומם במיקרוגל. מי שמגיע אחר כך יכול לפעול לפי “NO FISH” בלי שהיה עד לתלונות.

כישור עושה את אותה עבודה עבור סוכן, עם מקום לשלבים, לחריגים ולבדיקות שלא ייכנסו על דלת של מיקרוגל. כישורים נכתבים, מנוהלים בגרסאות וזמינים בפעם הבאה שהמשימה עולה.

אנחנו משתמשים בכישורים גם כדי להנחות את עדכוני הזיכרון של Dream. אבל מה שכישור לא עושה הוא ללמוד בעצמו. ההוראות משתנות כשמועלית גרסה חדשה, בין אם על ידי אדם ובין אם על ידי תהליך אוטומטי.

אם אתם רוצים שהסוכן ישים לב שבדיקת ההחזרה לאחור נכשלת שוב ושוב בשירות אחד ויתאים את עצמו, זו הלולאה מההפעלות אל הוויקי שתיארנו קודם.

צריך לשמור את מה שקרה, להבין מה צריך להשתנות ולהנגיש את התיקון לפעם הבאה. לשם כך נדרשים שני הרכיבים הבאים.

מעבירים זיכרון עבודה בין סבבי שיחה

הסוכן מריץ בדיקת פריסה. אתם שואלים: “למה זה נכשל?” שאלת המשך סבירה, בתנאי שהסוכן עדיין רואה למה “זה” מתייחס.

ה-Agent API שלנו תומך בשתי דרכים להעביר את הקשר השיחה הלאה:

• שלחו את השיחה מחדש בעצמכם: כללו הודעות קודמות במערך ה-input של הבקשה הבאה. אתם מחליטים מה לשמור, לסכם, להסתיר או להשמיט לפני השליחה.
• המשיכו מתגובה שהושלמה: שמרו את המזהה שלה והעבירו אותו כ-previous_response_id עם ההודעה הבאה. אנחנו שומרים את מצב השיחה בצד השרת, כך שהאפליקציה שלכם לא צריכה לשלוח שוב את סבבי השיחה הקודמים. אפשר להמשיך מהתגובה האחרונה בשרשרת.

שליחה מחדש נותנת לכם שליטה במה שהסוכן רואה, והמשך לפי מזהה חוסך לכם את העבודה של הרכבת השיחה מחדש. בכל מקרה, ספקו את כל ההוראות, הכלים או הגדרות המודל החדשים שנדרשים לתגובה הבאה.

מביאים מאגר אפיזודי וסמנטי משלכם

זה החלק שה-Agent API משאיר לכם.

דרך אחת היא קריאה לפונקציות. אתם מגדירים את הכלים, הסוכן מבקש קריאה, והאפליקציה שלכם מבצעת אותה ומחזירה את התוצאה. בהקשר של זיכרון, נקודת התחלה פשוטה היא פעולת קריאת נתונים לפני שהסוכן פועל ופעולת כתיבה אחר כך.

אם תתעדו רק את העובדה שהסוכן אחזר, עדיין לא תדעו אם היא עזרה. תעדו את התוצאה, את המקור ואת כל מה שהמשתמש תיקן, ויש לכם התחלה של שכבה אפיזודית.

התמיכה שלנו ב-MCP נותנת לכם דרך נוספת. אם שרת MCP מרוחק תואם חושף את הפעולות שאתם צריכים, הסוכן יכול לקרוא להן בלי שתצטרכו לעטוף כל אחת מהן כפונקציה מותאמת אישית.

המחברים שלנו נותנים לסוכן גישה לראיות שמאחורי הזיכרונות. GitHub, Slack, Google Drive, Datadog, Linear ו-Notion נמצאים בקטלוג המנוהל שלנו, ואפשר להוסיף מחברים מותאמים אישית למערכות פנימיות.

לבסוף, החליטו מתי ההיסטוריה נבדקת ומתי התמונה העדכנית מתוקנת.

בודקים מה שורד הפעלה חדשה

עכשיו סגרו את השיחה. התחילו בקשה חדשה בלי לשלוח שוב את ההודעות הישנות ובלי להעביר previous_response_id, אבל תנו לסוכן גישה לאותו מאגר זיכרון. בקשו ממנו לבצע עבודה קשורה בלי לחזור על התיקון.

אם הוא צריך תזכורת, עדיין לא סיימתם.

עבור סוכן הפריסה, בנו כמה בדיקות סביב מה שאמור לעבור הלאה:

• התיקון שורד: הסוכן מאחזר את פקודת ההחזרה לאחור המאומתת עבור השירות המושפע ומשתמש בה.
• התיקון נשאר בהיקף שלו: הסוכן לא נוגע בנהלים של שירותים אחרים.
• מידע חדש מחליף הנחיות ישנות: כשהפקודה משתנה שוב, הסוכן משתמש בגרסה העדכנית ויכול לעקוב אחר השינוי עד למקורו.

ספר המתכונים לבדיקות רגרסיה שלנו מראה איך לשמור פלטים של סוכנים וראיות שאוחזרו, לבדוק אותם מול ההתנהגות הצפויה ולהשוות הרצות אחרי שינוי הוראות או מודלים.

שמרו על גרסאות המודל, הפרופיל והכישור קבועות בזמן שאתם משווים הרצות עם זיכרון ובלעדיו. התחילו כל השוואה מתמונת מצב ידועה של המאגר; אחרת, בדיקה אחת עלולה ללמד את הסוכן את התשובה לבדיקה הבאה.

כשמשהו נכשל, שמרו את המקרה. השינוי הבא יצטרך לעבור אותו.

או מוותרים על הבנייה: Brain ב-Computer

אם מה שאתם רוצים הוא הלולאה המוגמרת ולא החלקים, זה Computer. Brain פועל מתחתיו, ולומד מארבעה מקורות: ההפעלות שלכם, כלים מחוברים, הקבצים והתוצרים שאתם יוצרים, והתיקונים שלכם. העדכונים של Brain ברקע מחזקים את מה שעדיין תקף, מעדכנים את מה שהשתנה ומסמנים מידע לא עדכני.

אתם לא צריכים לבנות את הלולאה הזו בעצמכם. אתם פשוט עושים את העבודה.

הזיכרון שומר העדפות ופרטים ששיתפתם. Brain מקשר בין פרויקטים, אנשים, החלטות ועבודה שלא הושלמה לבין הראיות שמאחוריהם.

אפשר לבדוק מה הוא למד בתצוגת הזיכרון, לעקוב אחר רשומות עד למקורות שלהן, ולערוך או למחוק אותן. Brain משתמש בפעילות שלכם בלבד, אינו כולל הפעלות בגלישה בסתר ויש לו מתג משלו.

הגדלה

ב-Rho, למשל, ההחלטות בפרויקט חשבוניות היו מפוזרות בין Slack, Notion, Jira, Figma ו-Google Docs. הצוות הגדיר את Computer לסקור שינויים במהלך הלילה, לסמן חוסר עקביות ולפרסם תקציר בוקר ב-Slack.

מהנדס התוכנה שלהם, Oktawian Jurkiewicz, שם לב ש-Computer גם בונה זיכרון עבור הפרויקט. “לא הגדרנו את זה”, הוא אומר. “Computer הבין בעצמו אילו נקודות נתונים כדאי לשמור מכל מקור.”

הצוות מדווח על קיצור זמן הפגישות השבועי מ-2.5 שעות ל-15 דקות ומעריך שחסך 120 שעות עבודה במהלך הפרויקט, שנמשך 12 שבועות.

120 השעות מיוחסות לתהליך העבודה כולו: מחברים, הרצות לילה והתקציר ב-Slack. כמה מהזמן שנחסך נבע מהזיכרון לבדו? עדיין איננו יכולים לכמת זאת.

אבל מה שאנחנו כן יכולים להמליץ הוא שבבנייה שלכם תחזרו לבדיקה שתיארנו קודם – הריצו משימות שוות ערך כששכבת הזיכרון מופעלת וכשהיא כבויה, ואז השוו את שיעורי ההשלמה, העלות והזמן, כולל הזמן שמישהו מקדיש לתיקון התוצאה.

שאלות נפוצות על זיכרון של סוכני AI

האם לסוכני AI יכול להיות זיכרון?

כן. סוכני AI יכולים לשמור מידע בין הפעלות באמצעות שיחות, עובדות, העדפות ונהלים לשימוש חוזר שנשמרו. המערכת צריכה לאחזר את המידע הזה כשהוא רלוונטי ולעדכן אותו כשהנסיבות משתנות.

Brain ב-Perplexity Computer, לדוגמה, בונה הקשר עבודה מהפעלות, מכלים מחוברים, מקבצים ומתיקונים של המשתמש.

כמה זיכרון RAM סוכן AI צורך?

אין דרישה אחת. אם הסוכן שלכם קורא למודל מאוחסן דרך Perplexity Agent API, אין צורך לטעון את המודל הזה ל-RAM שלכם. האפליקציה והכלים המקומיים שלכם עדיין זקוקים לזיכרון.

הרצת מודל מקומי היא סיפור אחר. בארבעה ביטים לפרמטר, שמונה מיליארד פרמטרים מסתכמים בכ-4 GB של נתוני משקלים גולמיים. הזיכרון שנדרש בפועל גבוה יותר כשמביאים בחשבון את התקורה של הקוונטיזציה, את עיבוד ההקשר ואת התוכנה שמריצה את המודל.

מהו הזיכרון הטוב ביותר לסוכן AI?

התצורה הטובה ביותר תלויה במה שהסוכן צריך להעביר הלאה. מצב שיחה תומך בשאלות המשך; רשומות אפיזודיות משמרות את מה שקרה; זיכרון סמנטי מחזיק ידע עדכני; זיכרון פרוצדורלי מספק הוראות לשימוש חוזר.

רוב העבודה המתמשכת נהנית משילוב. עבור Brain אנחנו משתמשים בוויקי מקושר שמבוסס על מקורות. בבנייה שלכם, בדקו אם התצורה עוזרת לסוכן להשלים משימות, ליישם תיקונים ולהוציא משימוש הנחיות מיושנות.