Chat AI dài có bị lú không? Đo thật 40 tin với Claude

Đo ngày 27/10/2026 bằng Claude Haiku 5.5 và Claude Sonnet 5.5 qua API của Anthropic, chạy từ một PC Windows 11 (WSL) ở Việt Nam. Dữ liệu là dữ liệu giả; script và toàn bộ câu trả lời thô lưu cùng file nguồn của bài.

Kết quả chính

• 40 tin vẫn không "lú". Bản tiếng Anh (2 model × 2 lượt) và bản chat hoàn toàn bằng tiếng Việt (Haiku, 1 lượt) đều trả lời đúng cả 5 câu. Cả 3 lần sửa (một con số, một luật "từ giờ bỏ rep Lan", một giá) đều được áp.
• Mở chat mới bằng bản tóm tắt cũng đúng 5/5. Mọi bản tóm tắt Claude viết đều giữ đủ 36 dòng dữ liệu và 3 lần sửa, kể cả khi xin bằng tiếng Việt.
• Chat mới nhẹ hơn 5–7 lần. Ở tin thứ 40, mỗi câu hỏi kéo theo khoảng 7.300–14.400 token lịch sử; chat mới từ bản tóm tắt chỉ 1.300–2.100 token.
• Chat tiếng Việt nặng hơn. Cùng kịch bản, chat 40 tin bằng tiếng Việt trên Haiku là 11.863 token, chat tiếng Anh 7.287–8.097 token: gấp khoảng 1,5 lần (một lượt đo, chỉ để tham khảo).
• Số kiểu Việt, số kiểu Anh lẫn lộn. Trong chat tiếng Việt, Claude trả doanh thu vùng South là "13.626,5" (dấu chấm hàng nghìn, dấu phẩy thập phân) nhưng trả giá trung bình là "20.35" (dấu chấm thập phân). Cả hai đều đúng, nhưng dán thẳng vào Excel thì một trong hai sẽ bị hiểu sai tuỳ cài đặt vùng của máy.

Cách đo

Ảnh minh hoạ tạo bằng AI

• Model: claude-haiku-5-5 và claude-sonnet-5-5, để mặc định.
• Dữ liệu: file CSV 36 dòng bán hàng giả (id, vùng, người bán, tháng, số lượng, giá), dán ở tin đầu.
• Chat ngắn: bảng, 3 lần sửa, rồi hỏi (5 tin).
• Chat dài: bảng, rồi 36 việc vặt văn phòng, 3 lần sửa nằm ở tin 8, 19 và 30.
• Chuyển sang chat mới: cuối chat dài xin bản tóm tắt để dán sang chat mới, mở cuộc chat mới chỉ với bản tóm tắt đó.
• 5 câu hỏi: tổng số lượng, doanh thu vùng South, người bán doanh thu cao nhất, số dòng trên 50 đơn vị, giá trung bình tháng 3. Mỗi câu hỏi riêng từ cùng một lịch sử, chấm bằng code so với đáp án tính từ bảng đã sửa.
• Bản tiếng Việt: cùng bảng, cùng đáp án, mọi lời chat viết bằng tiếng Việt (việc vặt kiểu soạn tin Zalo, viết email báo sếp).

Chat dài "lú" là thế nào

Chuyện chat dài hỏng không phải bịa. Drew Breunig, trong bài ghi lại buổi nói chuyện về context engineering, chia làm bốn kiểu: một dữ kiện sai lọt vào và model không vượt qua được; ngữ cảnh dài tới mức model dựa vào nó hơn là vào hiểu biết của mình; thông tin không liên quan làm lệch câu trả lời; và các phần trong ngữ cảnh bắt đầu mâu thuẫn nhau. Bài thử của Dunggi nhắm đúng kiểu văn phòng của chuyện đó: một con số sửa giữa chừng, một luật nói một lần, và cả chục việc không liên quan chen giữa.

Ở cỡ này thì không xảy ra. 40 tin chat văn phòng chưa tới 15.000 token, nhỏ so với sức chứa của model hiện nay.

Khi nào vẫn nên mở chat mới

Ảnh minh hoạ tạo bằng AI

Trong bài thử, lý do đổi chat không phải độ chính xác mà là độ nặng. API của Claude không tự nhớ cuộc chat: mỗi tin mới, cả cuộc trò chuyện được gửi lại từ đầu. Nên mở chat mới khi:

1. Đổi việc. Báo cáo mới thì chat mới, để số của báo cáo cũ không lẫn vào.
2. Chat đã dài mà còn làm tiếp nhiều. Mỗi tin mới phải đọc lại mọi thứ phía trên. Chuyển sang bản tóm tắt giảm từ khoảng 12.000 xuống 2.000 token mỗi câu với Sonnet. Viết tiếng Việt thì chat còn nặng nhanh hơn.
3. Đã tải file lớn mà không cần nữa. Bài thử không có file, nhưng file cũng nằm trong phần phải đọc lại.

Câu lệnh chuyển sang chat mới (bản tiếng Việt đã thử)

Dán nguyên câu này vào cuối cuộc chat cũ:

Mình sẽ mở chat mới. Viết bản tóm tắt để mình dán sang đó, đủ để bạn làm tiếp báo cáo này y như cũ: gồm dữ liệu và mọi lần sửa, mọi luật mình đã đưa.

Đọc lại bản tóm tắt trước khi dán: trong bài thử, nó có đủ bảng đã sửa và danh sách các lần sửa đánh số. Thiếu lần sửa nào thì chat mới sẽ không biết lần sửa đó.

Nếu sẽ dán số vào Excel, thêm một câu: "Viết số theo kiểu Việt Nam: dấu chấm hàng nghìn, dấu phẩy thập phân." (hoặc ngược lại, theo cài đặt máy bạn). Bài thử cho thấy không dặn thì Claude có lúc viết kiểu này, lúc viết kiểu kia.

Cái được

• Dặn luật bằng chữ "từ giờ". Cả hai model giữ luật "bỏ rep Lan" suốt hơn 20 tin sau đó.
• Xin bản tóm tắt "gồm dữ liệu và mọi lần sửa". Cả 5 bản tóm tắt đều giữ đủ 36 dòng.

Cái chưa được

• Lần chạy đầu, câu trả lời trống trơn: Dunggi đặt giới hạn độ dài câu trả lời quá nhỏ, model dùng hết vào phần suy nghĩ bên trong. Đây là cài đặt API, người dùng app không gặp.
• Bài thử không chỉ ra được chat dài tới đâu thì bắt đầu hỏng: 40 tin chưa đủ, và Dunggi không đẩy lên hàng trăm tin, không thử file PDF/ảnh, không thử trên app ChatGPT hay Claude (app có thể tự rút gọn tin cũ).

Kết luận

Một buổi làm việc vài chục tin thì chưa cần mở chat mới chỉ để Claude trả lời đúng: trong bài thử, nó giữ đủ các lần sửa và luật suốt 40 tin, cả khi chat bằng tiếng Việt. Mở chat mới khi đổi việc hoặc cuộc chat đã nặng, và mang sang bằng bản tóm tắt có đủ dữ liệu lẫn các lần sửa: đúng như cũ mà nhẹ hơn 5–7 lần. Làm số để dán vào Excel thì dặn luôn cách viết số.

Cách làm bài này: AI (Claude) hỗ trợ viết; biên tập Dunggi chạy script đo, đối chiếu từng con số với kết quả thô và kiểm dữ kiện theo nguồn đã dẫn.