Các Large Language Models (LLMs) như GPT-4, Claude, và Gemini đã chứng minh sức mạnh vượt trội. Chúng có khả năng tạo ngôn ngữ tự nhiên. Tuy nhiên, một điểm yếu cố hữu vẫn tồn tại. Các LLM không có trí nhớ dài hạn thực sự. Khi vượt quá giới hạn cửa sổ ngữ cảnh (context window), chúng sẽ bị quá tải. Điều này dẫn đến suy giảm hiệu suất và tính mạch lạc. Mọi thông tin trước đó đều bị “reset”. Tình trạng này khiến các tác nhân AI trở nên đãng trí. Chúng không thể duy trì sự nhất quán trong các cuộc trò chuyện kéo dài nhiều ngày hoặc nhiều phiên. Hãy hình dung tình huống sau: Bạn đang trò chuyện với một người bạn mới. Bạn đã nói rằng mình ăn chay và không dùng sữa. Một lát sau, khi bạn hỏi về gợi ý bữa tối, người bạn đó lại đề xuất món gà rán. Điều này không chỉ gây khó chịu. Nó còn phá vỡ lòng tin. Đây chính xác là những gì xảy ra với các tác nhân AI hiện tại. Chúng thiếu bộ nhớ dài hạn, bền bỉ. Thông tin quan trọng về người dùng bị “quên”. Điều này xảy ra khi thông tin trôi ra khỏi cửa sổ ngữ cảnh.
Kết quả là trải nghiệm người dùng không nhất quán và thiếu tin cậy.
Để giải quyết vấn đề này, một giải pháp chỉ dùng cửa sổ ngữ cảnh lớn là không đủ. Giải pháp không chỉ đơn giản là một cửa sổ ngữ cảnh rộng hơn hay một hệ thống RAG tốt hơn. Nó đòi hỏi một sự suy nghĩ lại cơ bản. Cần thay đổi cách một tác nhân AI ghi nhớ, học hỏi và thích nghi.
Tại Sao “Cửa Sổ Ngữ Cảnh Dài Hơn” Không Phải Là Giải Pháp Ưu Tiên?
Nhiều người có thể nghĩ: “Hãy làm cho cửa sổ ngữ cảnh dài hơn!”. Đúng là các mô hình đã mở rộng đáng kể giới hạn này. Ví dụ, GPT-4 có 128K tokens. Claude 3.7 Sonnet có 200K tokens. Gemini có 10M tokens. Tuy nhiên, việc này chỉ làm chậm lại vấn đề. Nó không giải quyết được vấn đề cơ bản.
Có hai lý do chính giải thích điều này:
- Khả năng mở rộng: Trong thực tế, các cuộc trò chuyện ý nghĩa có thể kéo dài hàng tuần hoặc hàng tháng. Lịch sử trò chuyện này chắc chắn sẽ vượt quá ngay cả những giới hạn ngữ cảnh lớn nhất hiện có.
- Tính liên tục và chọn lọc: Ví dụ, một người dùng có thể đề cập sở thích ăn chay của mình. Sau đó, họ trò chuyện hàng giờ về các nhiệm vụ lập trình. Cuối cùng, họ mới quay lại câu hỏi về bữa tối. Trong tình huống này, thông tin quan trọng sẽ bị “chôn vùi” giữa hàng ngàn token không liên quan. Hơn nữa, việc chỉ đơn thuần trình bày ngữ cảnh dài hơn không đảm bảo rằng LLM sẽ truy xuất hoặc sử dụng thông tin cũ một cách hiệu quả. Cơ chế Attention của chúng có thể suy giảm đối với các token ở xa.
Để thực sự xây dựng các tác nhân AI đáng tin cậy, chúng ta cần các hệ thống bộ nhớ. Các hệ thống này phải có khả năng chọn lọc, lưu trữ, củng cố và truy xuất thông tin quan trọng một cách thông minh. Cách hoạt động này giống như bộ não con người. Đây chính là lý do khiến các memory framework ra đời.
Một Số Memory Framework Phổ Biến
Phần này sẽ giới thiệu một số memory framework phổ biến. Mục đích là để người đọc nắm được tư tưởng, ưu nhược điểm của từng framework.
Memp – Trí nhớ thủ tục (Procedural Memory)
Memp được phát triển bởi Đại học Chiết Giang và Alibaba. Memory được xây dựng từ “trajectories” (kịch bản hành vi). Chúng được lưu dưới dạng từng bước hoặc script. Khi gặp nhiệm vụ mới, agent sẽ truy xuất kinh nghiệm cũ để tham khảo. Cuối cùng, agent sẽ cập nhật memory dựa trên các thất bại. Nó học từ sai lầm, sửa chữa, và tránh phải làm lại từ đầu.
Ý tưởng:
- Procedural Memory xây dựng trên tư tưởng chính là “làm thế nào” để hoàn thành một tác vụ.
- Thay vì chỉ nhớ thông tin tĩnh, Memp cho agent khả năng học hỏi từ kinh nghiệm trước đó.
- Mỗi lần tác nhân thực hiện một nhiệm vụ, toàn bộ quá trình (trajectory) được lưu lại.
- Quá trình này có thể là từng bước hành động chi tiết. Hoặc nó được trừu tượng hóa thành một script cấp cao.
Điểm mạnh: Memp có cơ chế học từ thất bại. Agent sửa và cập nhật memory. Điều này giúp agent thích ứng nhanh hơn.
Cơ chế hoạt động:
- Build (Xây dựng): Tạo memory từ các hành động đã thực hiện.
- Retrieve (Truy xuất): Khi gặp nhiệm vụ mới, agent tìm lại trajectory phù hợp để tham khảo.
- Update (Cập nhật): Nếu thất bại, agent điều chỉnh memory để tránh lặp lại sai lầm.
Ưu điểm:
- Học từ sai lầm. Agent không cần “làm lại từ đầu” mỗi lần.
- Khả năng chuyển giao: Procedural memory có thể tạo bằng model mạnh. Sau đó, nó có thể được dùng lại cho model nhỏ hơn. Điều này giúp tiết kiệm chi phí.
Nhược điểm:
- Chỉ tập trung vào “cách làm”.
- Chưa mạnh trong việc lưu lại thông tin ngữ cảnh dài hạn (ai, cái gì, khi nào).
Mem0 – Trí nhớ khai báo (Declarative Memory)
Mem0 tập trung vào việc nhớ “điều gì đã xảy ra”. Mục tiêu của nó là duy trì sự nhất quán trong hội thoại. Nó cũng theo dõi trạng thái kiến thức của người dùng.
Mem0 hoạt động theo một pipeline gồm 2 giai đoạn:
- Extraction (Trích xuất): Trích xuất “candidate facts” (sự kiện ứng cử viên) từ hội thoại mới.
- Update (Cập nhật): So sánh các sự kiện ứng cử viên với memory hiện có. Sau đó, quyết định một trong các hành động: ADD (thêm), UPDATE (cập nhật), DELETE (xóa), hoặc NOOP (không làm gì).
Ưu điểm:
- Bộ nhớ có cấu trúc, dễ truy vấn.
- Hiệu quả chi phí: Giảm token cost so với việc sử dụng full-context.
- Nhanh: Độ trễ (latency) giảm.
Hạn chế:
- Phụ thuộc nhiều vào chất lượng LLM trong bước update. Nếu LLM đánh giá sai, memory sẽ bị lỗi.
- Mạnh về thông tin tĩnh. Tuy nhiên, nó chưa tối ưu cho procedural tasks (các tác vụ về cách làm).
A-MEM – Trí nhớ tự tổ chức (Self-Organizing Memory)
Ý tưởng:
- A-MEM đưa trí nhớ lên một cấp độ mới. Agent tự tổ chức kiến thức mà không cần quy tắc cứng nhắc.
- Nó giống như bộ não con người. A-MEM liên tục ghi chú, phân loại, và tìm ra mối liên hệ mới.
Cơ chế hoạt động:
- Tạo memory note: Mỗi tương tác sẽ sinh ra một “ghi chú”. Ghi chú này chứa thông tin và metadata (thời gian, từ khóa).
- Liên kết memory (2 bước):
- Embedding retrieval: Tìm các memory có liên quan.
- LLM reasoning: Phân tích nội dung để quyết định liên kết nào quan trọng. Việc này không chỉ dựa vào cosine similarity.
Kết quả: Memory tự động hình thành các knowledge graph (đồ thị tri thức).
Ưu điểm:
- Khả năng khám phá pattern (mẫu) cao cấp khi memory phình to.
- Tự động thích ứng mà không cần luật cố định.
- Kết hợp ưu điểm của cả procedural và declarative memory.
Hạn chế:
- Chi phí xử lý cao hơn. Điều này là do cần LLM reasoning mỗi khi liên kết memory.
- Độ phức tạp lớn. Khó triển khai ở quy mô lớn nếu chưa tối ưu.
Zep – Temporal Knowledge Graph Memory
Ý tưởng:
- Nếu Mem0 tập trung vào “chuyện gì đã xảy ra” và Memp tập trung vào “làm thế nào để làm”, thì Zep nhắm tới câu hỏi: “Điều này xảy ra khi nào và nó đã thay đổi ra sao theo thời gian?”.
- Nói cách khác, Zep là một kiến trúc trí nhớ dạng đồ thị tri thức có yếu tố thời gian (Temporal Knowledge Graph).
- Nó không chỉ lưu thông tin (facts). Nó còn gắn kèm mốc thời gian, trạng thái hiệu lực, và lịch sử thay đổi của những facts đó.
Cơ chế hoạt động:
- Graphiti Engine (trái tim của Zep):
- Khi agent thu thập dữ liệu (hội thoại, dữ liệu doanh nghiệp), Graphiti sẽ xây dựng một knowledge graph.
- Các entity (thực thể) như người, vật, sự kiện là các node (nút).
- Các quan hệ (sống ở, làm việc tại, thay đổi trạng thái) là các edge (cạnh).
- Mỗi quan hệ đều gắn thêm temporal tag (thẻ thời gian). Điều này giúp biết nó bắt đầu khi nào, kết thúc khi nào, và được thay thế bởi điều gì.
- Cập nhật theo thời gian thực:
- Zep không chạy theo lô (batch). Nó cập nhật ngay khi có thông tin mới. Ví dụ: “Lan sống ở Hà Nội từ 2018 đến 2022” sẽ được cập nhật thành “Lan sống ở TP.HCM từ 2022 đến nay”.
- Graph lưu cả lịch sử lẫn trạng thái hiện tại. Do đó, agent có thể trả lời được cả câu hỏi quá khứ và hiện tại.
- Truy xuất nhanh:
- Nhờ cấu trúc đồ thị, Zep có thể tìm thông tin theo ngữ cảnh dài hạn với độ trễ dưới 200 ms.
- Điều này phù hợp cho voice assistant hoặc agent thời gian thực.
Ưu điểm:
- Nhận thức thời gian (temporal awareness): Lưu giữ lịch sử. Nó không “ghi đè” làm mất dữ liệu cũ.
- Hỗ trợ reasoning phức tạp: Trả lời được các câu hỏi như “Ai giữ chức vụ này vào năm 2021?” hay “Quan hệ giữa A và B đã thay đổi thế nào trong 5 năm qua?”.
- Đa dạng nguồn dữ liệu: Kết hợp dữ liệu hội thoại (unstructured) và dữ liệu nghiệp vụ (structured).
- Hiệu suất cao: Benchmark cho thấy Zep vượt MemGPT và baseline trên cả DMR và LongMemEval. Nó giảm tới 90% độ trễ.
Hạn chế:
- Phức tạp triển khai hơn so với Mem0. Nó cần hạ tầng graph DB mạnh (như Graphiti).
- Chi phí lưu trữ và quản lý cao khi dữ liệu temporal lớn.
- Chưa tối ưu cho procedural tasks (tác vụ về cách làm). Memp làm tốt hơn ở điểm này.
Như vậy, Zep bổ sung một mảnh ghép rất quan trọng: temporal reasoning (suy luận thời gian). Nó biến agent từ chỗ chỉ “nhớ sự kiện” thành có khả năng theo dõi, phân tích và phản ứng dựa trên sự thay đổi của thế giới theo thời gian.
Zep được ứng dụng trong các hệ thống Customer Support, Enterprise Agent, và Reasoning theo thời gian. Ví dụ truy vấn multi-hop: “Ai phê duyệt ngân sách năm 2023, và ai thay thế họ trong 2024?”.
Tóm lại:
- Memp: Là trí nhớ thao tác động. Nó thích hợp cho tác vụ thao tác động (procedural tasks). Agent cần “biết cách làm” và học từ sai lầm.
- Mem0: Là trí nhớ khai báo. Agent nhớ “điều gì đã xảy ra”. Nó mạnh trong ghi nhớ dài hạn hội thoại. Mem0 giúp agent duy trì sự nhất quán qua thời gian dài.
- A-MEM: Là trí nhớ tự tổ chức. Agent tự động phát hiện mối liên hệ và pattern ẩn. Memory của agent có thể tự tổ chức và tiến hóa, gần giống cách bộ não con người.
- Zep: Là trí nhớ theo dòng thời gian. Agent không chỉ biết sự kiện. Nó còn biết sự kiện đó xảy ra khi nào, kéo dài bao lâu, và thay đổi ra sao theo thời gian.
Bài viết này tập trung vào Mem0. Do đó, các phần sau sẽ chỉ tập trung viết về kiến trúc cũng như cách hoạt động của Mem0.
Mem0: Kiến Trúc Bộ Nhớ Khai Báo
Gần đây, bài báo “Mem0: Building Production-Ready AI Agents with Scalable Long-Term Memory” đã đưa ra một giải pháp mới. Đó là Mem0 và Mem0g.
Đây là hai kiến trúc memory-centric. Chúng cho phép các tác nhân AI lưu giữ, tổ chức và truy xuất trí nhớ lâu dài một cách hiệu quả. Chúng cũng có thể triển khai thực tế.
Cơ chế hoạt động
Mem0 là một kiến trúc tập trung vào bộ nhớ. Nó có khả năng trích xuất, củng cố và truy xuất thông tin nổi bật một cách linh hoạt từ các cuộc trò chuyện đang diễn ra.
Mục tiêu của Mem0 là duy trì tính nhất quán trong các cuộc đối thoại kéo dài qua nhiều phiên.
Kiến trúc Mem0 hoạt động theo mô hình xử lý tăng dần. Nó tích hợp liền mạch vào các cuộc trò chuyện.
Mem0 được thiết kế như một pipeline gồm hai giai đoạn chính:
Giai đoạn Trích xuất (Extraction Phase)
- Đầu vào: Hệ thống bắt đầu từ một cặp tin nhắn mới. Cặp này gồm tin nhắn trước đó và tin nhắn hiện tại (ví dụ: người dùng hỏi và trợ lý trả lời). Đây được coi là một đơn vị hội thoại hoàn chỉnh.
- Ngữ cảnh: Để hiểu rõ tình huống, hệ thống không chỉ nhìn vào cặp tin nhắn mới. Nó còn tham chiếu thêm:
- Conversation summary (S): Được cập nhật định kỳ. Nó gói gọn nội dung chính của toàn bộ lịch sử trò chuyện.
- A sequence of recent messages: Một chuỗi các tin nhắn gần đây {mt−m, mt−m+1, …, mt−2} từ lịch sử cuộc trò chuyện. Ở đây, ‘m’ là một siêu tham số kiểm soát cửa sổ thời gian.
- Quá trình hoạt động: Hệ thống kết hợp cả ba nguồn thông tin này. Đó là tóm tắt, chuỗi tin nhắn gần đây, và cặp hội thoại mới. Chúng được kết hợp thành một prompt đầu vào toàn diện cho LLM.
- LLM sẽ phân tích và trích xuất những “facts” (sự kiện) quan trọng từ đoạn hội thoại này.
- Kết quả: Là một tập hợp “ký ức ứng cử viên” (candidate memories). Đây là những mảnh thông tin có tiềm năng được thêm vào kho trí nhớ lâu dài của agent.
Giai đoạn Cập nhật (Update Phase)
- Mục tiêu: Sau khi trích xuất được các “facts ứng cử viên”, hệ thống cần quyết định. Nó sẽ thêm mới, cập nhật, hay loại bỏ chúng trong bộ nhớ. Mục đích là để giữ cho cơ sở tri thức vừa nhất quán vừa gọn gàng.
- Quá trình hoạt động:
- Đánh giá và truy xuất: Với mỗi fact mới, hệ thống tìm trong kho memory hiện tại. Nó tìm những bộ nhớ gần nhất về mặt ngữ nghĩa (top-s, ở đây s = 10). Việc này dùng vector embedding để đảm bảo tìm kiếm nhanh và chính xác.
- Thao tác với LLM: Những memory tương tự cùng với fact mới được đưa vào LLM (GPT-4o-mini). LLM sẽ tự suy luận và chọn một trong bốn hành động:
- ADD (Thêm): Tạo một memory mới nếu chưa có gì tương tự.
- UPDATE (Cập nhật): Bổ sung hoặc chỉnh sửa memory cũ để thêm thông tin mới.
- DELETE (Xóa): Xóa memory cũ nếu nó bị thông tin mới phủ nhận.
- NOOP (Không làm gì): Không làm gì nếu fact mới không thật sự quan trọng.
- Thực thi: Kết quả quyết định của LLM được áp dụng vào cơ sở tri thức. Điều này đảm bảo memory luôn sạch, chính xác và cập nhật theo thời gian.
Mem0g: Bộ nhớ dạng đồ thị tri thức
Mem0g là một phiên bản nâng cao của Mem0. Trong đó, toàn bộ trí nhớ của agent được tổ chức dưới dạng đồ thị tri thức có nhãn (knowledge graph).
Cách tiếp cận này cho phép agent không chỉ lưu giữ sự kiện. Nó còn hiểu rõ mối quan hệ giữa các thực thể và cách chúng thay đổi theo thời gian.
1. Biểu diễn bộ nhớ
- Nút (Nodes): Đại diện cho các thực thể trong hội thoại (người, địa điểm, sự kiện…). Mỗi nút lưu loại thực thể (ví dụ: “Alice” – Con người, “San Francisco” – Thành phố). Nó cũng lưu vector embedding mô tả ý nghĩa ngữ nghĩa. Ngoài ra còn có metadata như timestamp.
- Cạnh (Edges): Đại diện cho các quan hệ giữa thực thể. Chúng được lưu dưới dạng bộ ba (source, relation, target). Ví dụ: (Alice – lives_in → San Francisco).
- Nhãn (Labels): Giúp phân loại và gắn ý nghĩa cho các nút. Điều này tăng tính rõ ràng trong truy vấn.
2. Quy trình trích xuất
Mem0g sử dụng LLM để chuyển hội thoại thành đồ thị có cấu trúc qua 2 bước:
- Bước 1: Trích xuất thực thể: Xác định các thực thể quan trọng (người, địa điểm, khái niệm, thuộc tính…).
- Bước 2: Tạo quan hệ: Xây dựng các mối liên kết giữa thực thể. Gán nhãn quan hệ phù hợp (ví dụ: “sống ở”, “thích”, “làm việc tại”). Quá trình này kết hợp cả thông tin trực tiếp lẫn ngụ ý từ ngữ cảnh.
3. Cập nhật và quản lý bộ nhớ
- Với mỗi quan hệ mới, hệ thống kiểm tra xem các nút tương ứng đã tồn tại chưa. Sau đó, nó cập nhật hoặc thêm mới.
- Mem0g có cơ chế phát hiện xung đột. Nếu thông tin mới phủ nhận thông tin cũ, LLM sẽ đánh dấu quan hệ cũ là “không còn hợp lệ”. Nó không xóa hẳn. Điều này giúp duy trì khả năng suy luận theo thời gian.
4. Truy xuất bộ nhớ
Mem0g triển khai hai cách tiếp cận để truy xuất thông tin:
- Entity-centric (Tập trung vào thực thể): Bắt đầu từ các thực thể trong truy vấn. Tìm các nút liên quan trong graph. Mở rộng thành subgraph chứa thông tin ngữ cảnh cần thiết.
- Semantic triplet (Bộ ba ngữ nghĩa): Mã hóa toàn bộ truy vấn thành embedding. So khớp với các quan hệ (triplet) trong graph. Trả về những quan hệ phù hợp nhất theo mức độ tương tự.
Vector Storage & Scalability
Ngoài pipeline trích xuất – cập nhật, Mem0 còn có 2 đặc điểm quan trọng. Chúng giúp nó phù hợp triển khai thực tế:
Vector-based Storage (Lưu trữ dựa trên Vector)
- Tất cả memories được lưu dưới dạng vector trong không gian ngữ nghĩa.
- Điều này cho phép Mem0 nhanh chóng tìm kiếm và truy xuất các thông tin liên quan. Việc này dựa trên mức độ tương tự.
- Nó không cần phải đọc lại toàn bộ lịch sử hội thoại.
Scalability & Selectivity (Khả năng mở rộng và Tính chọn lọc)
- Khả năng mở rộng: Mem0 chỉ lưu các sự kiện nổi bật (selective extraction). Nó cập nhật không đồng bộ để tránh làm chậm hội thoại. Nó sử dụng vector DB tối ưu cho dữ liệu lớn.
- Tính chọn lọc: Hệ thống liên tục lọc bỏ thông tin dư thừa. Nó hợp nhất những memory trùng lặp. Nó điều chỉnh động theo dòng hội thoại. Nhờ vậy, memory luôn gọn gàng, chính xác và cập nhật theo thời gian.
Nhờ những đặc tính này, Mem0 vừa nhanh, vừa tiết kiệm chi phí. Đồng thời, nó vẫn đảm bảo agent có trí nhớ dài hạn đáng tin cậy.
Bài viết liên quan: