Zhong et al. (2023) stellen mit MemoryBank eine Architektur vor, die große Sprachmodelle um ein Langzeitgedächtnis erweitert. 

Er untersuchen die Frage, wie große Sprachmodelle Informationen aus vergangenen Interaktionen über längere Zeiträume hinweg nutzen können. Ausgangspunkt ist die Beobachtung, dass Sprachmodelle aufgrund ihres begrenzten Kontextfensters frühere Informationen in späteren Gesprächen nicht zuverlässig berücksichtigen können.

Hierfür entwickeln die Autoren mit MemoryBank ein Langzeitgedächtnissystem, das relevante Informationen aus Interaktionen speichert und für spätere Gespräche wieder verfügbar macht. Das System kombiniert die Speicherung von Erinnerungen mit einem Mechanismus, der sich an psychologischen Modellen des Erinnerns und Vergessens orientiert. Erinnerungen werden dadurch nicht statisch abgelegt, sondern hinsichtlich ihrer Relevanz bewertet und verwaltet.

Zur Veranschaulichung des Ansatzes implementieren die Autoren den KI-Begleiter SiliconFriend, der Informationen über Nutzerinnen und Nutzer über mehrere Interaktionen hinweg berücksichtigen kann. Dadurch sollen Gespräche konsistenter und stärker personalisiert werden.

Die Arbeit zeigt, dass Langzeitgedächtnis eine wichtige Grundlage für KI-Systeme sein kann, die Nutzer über längere Zeiträume begleiten. MemoryBank liefert damit einen Beitrag zur Entwicklung personalisierter KI-Assistenten, die Informationen aus vergangenen Interaktionen systematisch in zukünftige Gespräche einbeziehen können.

Zentrale Beiträge der Studie

• Entwicklung einer Architektur für Langzeitgedächtnis in großen Sprachmodellen.
• Speicherung und Wiederverwendung relevanter Informationen aus früheren Interaktionen.
• Dynamische Verwaltung von Erinnerungen auf Grundlage eines an menschliches Erinnern angelehnten Modells.
• Demonstration des Ansatzes anhand des KI-Begleiters SiliconFriend.
• Beitrag zur Personalisierung und Kontinuität von KI-gestützten Interaktionen.