Gần đây tôi đã tiếp xúc với một dự án ghi nhớ rất mang tính khám phá:Loại bỏ văn bản bên ngoài, lưu trữ ký ức vào tham số
Trước hết, tôi cho rằng:Ngữ cảnh là tất cảĐối với mô hình, ngữ cảnh có ba nguồn: do con người cung cấp, do Agent cung cấp, do mô hình nội hóa
PPT khi tôi trình bày tại Tân Hoa Xã trước đây
Hai nguồn đầu đều là văn bản: con người sao chép tài liệu, viết lời nhắc, truyền tệp; Agent tìm kiếm trên mạng, đọc cơ sở tri thức, gọi API. Cuối cùng tất cả đều được đưa vào cửa sổ ngữ cảnh, cuộc đối thoại này dùng xong là mất
Còn ký ức nội hóa của mô hình thì chỉ có một cách: huấn luyệnKhi huấn luyện, những gì đã đọc được sẽ được nén vào tham số
Khi chúng ta sử dụng Agent, thường sẽ viết càng ngày càng nhiều kỹ năng, càng ngày càng dài, hy vọng đưa tất cả ký ức và mọi thứ có thể dùng vào kỹ năng
Nhưng như vậy, nhiều khi sẽ khiến mô hình ngày càng không chính xác, không phù hợp với những điểm quan trọng này, ngược lại làm giảm hiệu quả của mô hình. Vì vậy chúng ta phải bắt đầu suy nghĩ:Liệu có thể đưa ký ức của mô hình vào trong các tham số không?
Dự án được đề cập lúc đầu chính là của nhóm Tensor Ký ức. MemT 1.0Báo cáo kỹ thuật của họ đưa ra một giải pháp hoàn chỉnh, ý tưởng chính là:Ghi nội dung ký ức vào một trạng thái ký ức có kích thước cố định, cụ thể do mô hình tự quyết định.
Ý tưởng này khác với cách làm phụ trợ trước đây, cố gắng để ký ức tồn tại bên trong mô hình, điều này rất RSIVí dụ trước đây chúng ta muốn mô hình làm một việc gì đó và hy vọng nó nhớ được. Cách làm trước đây là biến nó thành một kỹ năng, rồi sau đó tra cứu tài liệu; nhưng nếu ký ức nội hóa này có thể thực hiện hiệu quả, thì còn cần gì tài liệu nữa.
Về hiệu quả, sau khi ghi kinh nghiệm vào ký ức,SWEtrên benchmark Verified đã tăng từ 54.0% lên đến 61.6%
Cơ chế và dữ liệu dưới đây đều lấy từ báo cáo kỹ thuật này.
báo cáo: arxiv.org/abs/2610.26825
Bộ nhớ mô hình luôn dựa vào văn bản bên ngoài
Hiện nay, phương pháp được gọi là "bộ nhớ mô hình" hầu như đều là cho mô hình tải động văn bản bộ nhớ, bao gồm:
Các từ khóa bạn viết, các tệp bạn tải lên
Các đoạn kiến thức từ kho tri thức được Agent truy xuất, kết quả tìm kiếm
Hồ sơ người dùng, tóm tắt đối thoại, tệp bộ nhớ được Personal Agent tích lũy
Khi sử dụng, chương trình bên ngoài mô hình quyết định lấy những đoạn nào để đưa vào ngữ cảnh
Cách làm và tư duy này rất tự nhiên, nhưng cũng có một số vấn đề rõ ràng
Một, phương pháp ghi nhớ là cố địnhViệc lưu nội dung nào vào bộ nhớ thực ra dựa vào một số quy tắc được thiết lập trước. Khi mô hình nhìn thấy nội dung phù hợp quy tắc trong ngữ cảnh, nó sẽ lưu hoặc cập nhật bằng văn bản, còn nếu nội dung nào không kích hoạt quy tắc thì mô hình sẽ không ghi lại, với mô hình thì nội dung đó như không tồn tại
Hai, càng dùng càng tốn kémNhư đã đề cập lúc đầu bài viết, nếu bạn muốn bộ nhớ có đủ thông tin, bạn luôn phải cung cấp ngữ cảnh, khiến ngữ cảnh ngày càng dài và mỗi lần đối thoại càng tốn kém
Ba, không thể tái sử dụng thực sựGiả sử tôi muốn mô hình có thể thể hiện ngày càng tốt hơn trong một số tình huống, tôi cần phải tải và cập nhật động các kỹ năng hoặc tài liệu khác nhau. 100 Như vậy, dù là lần đầu trò chuyện hay lần tiếp theo, cảm giác cũng chỉ là mô hình tham khảo tài liệu công việc trước khi trả lời câu hỏi của tôi, điều này trông rất không tự nhiên.
Mỗi khi bắt đầu một cuộc trò chuyện mới
Tất nhiên, cũng có người thử đưa lịch sử trực tiếp vào tham số, ví dụ như Temp-LoRALấy đoạn lịch sử này, huấn luyện tại chỗ một lớp thích ứng nhỏ. Vấn đề là chậm,128Lịch sử K token, từ lúc chuẩn bị đến khi trả lời xong mất 700.82 giây, mang nguyên văn bản đầy đủ là 30.07 giây

Vì vậy, để hoàn toàn loại bỏ văn bản phụ trợ, khiến mô hình tự tạo ra ký ức, cần thỏa mãn hai điều kiện
Ký ức cần tồn tại trong tính toán của mô hình, chứ không phải trong văn bản
Ghi nhớ gì và ghi nhớ như thế nào cần do chính mô hình quyết định
Một con đường khác: khiến ký ức được nội hóa
Nếu không dựa vào văn bản bên ngoài, thì bộ nhớ được đặt ở đâu?
MemT Thí nghiệm được thực hiện với hai mô hình, một là Qwen3.6-35B-A3B, mô hình còn lại là phiên bản đã được huấn luyện sơ bộ DeepSeek-V4-Flash(288phiên bản B)
Phương pháp là thêm một khối bộ nhớ nguyên bản vào một phần lớp Transformer chính, chạy song song với cơ chế chú ý ban đầu, sau đó cộng hai đầu ra lại với nhau,36trạng thái bộ nhớ của phiên bản B là 10M,288phiên bản B là 336M. Trong quá trình này,trọng số của phần chính không bị thay đổi
Sơ đồ kiến trúc
Đối với khối bộ nhớ, chia làm hai phần:
Bộ nhớ cục bộ (local memory): mỗi tầng có một ma trận, chính là bộ nhớ, được cập nhật theo hội thoại
Siêu bộ nhớ (hyper memory): các tham số quyết định cách ghi và đọc, cố định sau khi triển khai
Ghi bộ nhớ
Vào cuối mỗi vòng hội thoại, sẽ kích hoạt thao tác ghi bộ nhớ. Lúc này, mô hình sẽ duyệt từng token của tất cả token đầu vào và đầu ra trong ngữ cảnh để quyết định ba việc:
Bộ nhớ được lưu ở vị trí nào
Mức độ xóa nội dung cũ ở vị trí đó
Mức độ ghi nội dung mới vào
Ví dụ: người dùng nói triển lãm diễn ra vào thứ bảy, sau đó nói đổi sang chủ nhật, khi đọc đến “chủ nhật”, “thứ bảy” ban đầu sẽ bị xóa. Trong quá trình này, toàn bộ bộ nhớ của mô hình cũng sẽ được làm mờ đồng đều (những gì ghi sớm hơn sẽ mờ nhiều hơn)
Ở đây có một mẹo nhỏ: khi hàng chục nghìn token liên tục thay đổi, giá trị trong bộ nhớ dễ tăng dần và cuối cùng làm hệ thống bộ nhớ sụp đổ. Vì vậy khi xóa, nó chỉ giảm giá trị chứ không tăng. Do đó dù hội thoại kéo dài bao lâu, bộ nhớ này vẫn chỉ có kích thước như vậy, sau khi ghi xong, văn bản gốc của vòng này cũng không cần mang xuống vòng tiếp theo
Đọc bộ nhớ
Khi mô hình trả lời các câu hỏi sau đó, nó sẽ tiến hành đọc bộ nhớ, kết hợp với trọng số mô hình gốc để liên tục suy luận
Trong quá trình này, kích thước bộ nhớ là cố định, chi phí đọc một lần cũng cố định, nhằm đảm bảo tốc độ của mô hình không bị ảnh hưởng sau thời gian dài sử dụng

Mô hình học cách ghi nhớ như thế nào
Đối với bộ nhớ văn bản bên ngoài, thường có một số quy tắc do con người viết, ví dụ như yêu cầu mô hình ghi nhớ ai đã nói gì vào lúc nào, sau đó mô hình sẽ theo quy tắc đó trích xuất nội dung trong cuộc đối thoại để tạo thành bộ nhớ hiệu quả
Khi mô hình tự ghi nhớ, sẽ không có quy tắc này, chỉ có thể để mô hình học từ kết quả:Những điều được ghi nhớ có giúp trả lời các câu hỏi tiếp theo hay khôngCách làm cụ thể là để mô hình mô phỏng tự chưng cất (emmmm... có vẻ cũng không hoàn toàn chính xác, đại khái là hiểu ý này), cho mô hình chuẩn bị hai bối cảnh:
Một bối cảnh có thể xem toàn bộ văn bản lịch sử, làm giáo viên trong quá trình chưng cất
Một bối cảnh là cuộc đối thoại hiện tại cộng với bộ nhớ, làm học sinh trong quá trình chưng cất
Mục tiêu của học sinh là trả lời giống giáo viên mà không được xem văn bản gốc

Hiệu quả của bộ nhớ
Đối với bộ nhớ được huấn luyện, ở một số khía cạnh nó vượt trội hơn bộ nhớ bên ngoài, ví dụ như chi phí; nhưng cũng có những điểm không bằng. Ở đây cũng làm một so sánh đơn giản
Một, chi phí bộ nhớ có lợi thế
Sau khi lưu trữ bộ nhớ thông qua phương pháp huấn luyện, biểu diễn bộ nhớ của nó là cố định. Bất kể lịch sử dài bao nhiêu, nội dung lưu trữ cũng chỉ có 40 MiB, đảm bảo tốc độ và chi phí

Tất nhiên, bạn cũng có thể chọn mở rộng dung lượng bộ nhớ này, lúc đó điểm số cũng sẽ tăng lên (Bộ nhớ cũng có thể mở rộng)

Hai, kinh nghiệm cũng có thể được ghi vào
báo cáo kỹ thuật từ 4 hơn mười nghìn dấu vết mã thành công, tổng kết ra 1,040 kinh nghiệm, khi làm việc ghi kinh nghiệm liên quan vào bộ nhớ của mô hình, trong đối thoại không thấy một chữ nào trong SWE-bench Verified, mỗi câu hỏi chạy ba lần, tỷ lệ làm đúng cả ba lần tăng từ 54.0% lên 61.6%và giống như việc nhét kinh nghiệm trực tiếp vào cuộc đối thoại

Kinh nghiệm tích lũy trước đây không chiếm dung lượng ngữ cảnh, cũng có thể dùng cho nhiệm vụ mới
Ba, độ chính xác kém hơn bản gốc
Mặc dù phương pháp này, trong 11 các bài kiểm tra trí nhớ đều đạt kết quả tối ưu, nhưng vẫn còn cách xa so với văn bản phụ trợ (50.6 đúng 68.6)
Rốt cuộc văn bản phụ trợ có thể trực tiếp tra cứu bản gốc, về lý thuyết có thể đạt được 100% khôi phục

Chìa khóa của trí nhớ nguyên bản
So với văn bản phụ trợ, điểm khác biệt thực sự của trí nhớ nguyên bản, tôi nghĩ có ba điểm
Một, có thể phát triển kinh nghiệm mới
Ghi lại kinh nghiệm bằng văn bản rõ ràng, 1、2、3 mục, thì sẽ luôn chỉ có ba mục này, nhưng khi kinh nghiệm được viết vào tham số, mô hình có thể kết hợp ba mục này lại với nhau và tự rút ra mục thứ 4 mục
Đây cũng là lý do cốt lõi khiến mô hình lớn mạnh hơn KB-QA (hỏi đáp dựa trên cơ sở tri thức): cơ sở tri thức chỉ có thể tra cứu những gì đã được lưu trữ, còn mô hình có thể kết hợp những gì đã học để sử dụng
Có thể ý tưởng này sẽ giúp tạo ra Memory Scaling trong tương lai cũng chưa chắc
Hai, càng dùng càng rẻ
Khi bộ nhớ và kinh nghiệm được đọc ghi thường xuyên được nội hóa vào mô hình, không cần phải nhét lại ngữ cảnh mỗi lần, càng dùng càng giảm chi phí (có thể trong tương lai mỗi tổ chức sẽ nội hóa bộ nhớ riêng của mình, sở hữu một nền tảng độc đáo)
Ba, đúng RSI Có thể hữu ích
RSI Ý tưởng phổ biến là để mô hình lấy câu trả lời đúng của chính mình rồi tự huấn luyện lại, nhằm nâng cao độ tin cậy: biến những câu hỏi đôi khi trả lời đúng thành trả lời đúng thường xuyên
Lấy DeepSeek-V4Khi huấn luyện lại với -Flash, có hai nhóm dữ liệu: những câu hỏi trước đây chưa từng trả lời đúng, sau khi luyện tập tỉ lệ đúng chỉ có 8 – 1.6; nhóm còn lại là những câu hỏi kiến thức rất khó, không luyện tập, chỉ đưa các sự kiện liên quan vào ngữ cảnh, tỉ lệ đúng đã từ4.0%tăng lên 27% đến 91%

Và bây giờ, những thành quả này đều được đặt dưới dạng văn bản phụ trợ bên ngoài mô hình, có thể thử đưa những thứ này vào bên trong mô hình
Cuối cùng
Bài báo, mô hình và mã nguồn đều đã công khai, nếu quan tâm có thể xem qua
github


