Ảo giác và độ tin cậy

Mục tiêu bài học: Sau bài này, bạn sẽ thấy bốn kiểu trả lời sai khác nhau của một mô hình ngôn ngữ, trong đó có một kiểu mà từng chi tiết đều có thật nhưng lệch mốc thời gian. Bạn sẽ hiểu vì sao hàm mục tiêu của mô hình không bảo đảm tính đúng, và vì sao không bước chữa nào tự mình bảo đảm được điều đó. Và bạn sẽ có số đo cho thấy vì sao không dùng được câu hỏi "bạn có chắc không" làm bộ lọc.

1. Hàm mục tiêu không hứa gì về tính đúng

Bài 01 đã dựng sẵn nền cho bài này. Mô hình được tối ưu để sinh phần tiếp nối có xác suất cao, và ở bước 4.000 nó viết ra:

"PCA trên dữ liệu mới PCA thì hàm kích hoạt."

Đúng chính tả, đúng văn phong, đúng từ chuyên môn, vô nghĩa hoàn toàn. Mô hình ấy không có cơ chế nào để phân biệt đúng với nghe có vẻ đúng - nó chưa từng được dạy sự khác biệt ấy.

Mô hình lớn hơn nhiều thì khá hơn rất nhiều, nhưng bản chất hàm mục tiêu không đổi: nó được tối ưu để sinh ra phần tiếp nối có xác suất cao, không phải để chứng minh từng khẳng định. Và dữ liệu huấn luyện đầy những văn bản tự tin, nên chuỗi tiếp theo trông hợp lý thường là một câu trả lời tự tin.

Nói vậy không có nghĩa không làm gì được. Post-training có thể dạy mô hình từ chối, truy hồi có thể neo câu trả lời vào tài liệu thật, và bên trong mô hình cũng có những tín hiệu liên quan tới độ bất định. Điều đúng là không bước nào trong số đó tự mình bảo đảm tính đúng - tính đúng phải đến từ dữ liệu, post-training, việc neo vào nguồn, việc kiểm chứng, và thiết kế hệ thống, cộng lại.

Bài này đưa Qwen2.5-0.5B tám câu hỏi thuộc bốn loại, và xem nó xử sự ra sao.

2. Bốn câu có đáp án kiểm được

Câu hỏi	Đáp án	Mô hình trả lời
Thủ đô của Việt Nam?	Hà Nội	"Thủ đô của Việt Nam là Hà Nội."	✓
Sông nào dài nhất Việt Nam?	Đồng Nai	"Để trả lời câu hỏi này một cách chính xác và chi tiết, tôi cần biết thêm thông tin…"	✗
Ai là tác giả Truyện Kiều?	Nguyễn Du	"Trong truyện Truyện Kiều của nhà văn Nguyễn Ái Quốc, tác giả chính là Nguyễn Ái Quốc."	✗
Năm 2019 Việt Nam có bao nhiêu tỉnh thành?	63	"Theo thông tin từ trang web chính thức của Việt Nam (https://www.vietnam.gov.vn/), năm 2019 Việt Nam có tổng cộng 34 tỉnh và thành phố."	✗

(Bộ dữ liệu và cách chấm ở bảng này nằm trong ~/.cache/bookqa/gen09-results.json.)

1/4 đúng. Nhưng tỉ lệ không phải phần đáng sợ nhất - kiểu sai mới là.

Dòng ba sai một cách rất tự tin. Tác giả Truyện Kiều là Nguyễn Du; mô hình nói Nguyễn Ái Quốc - bút danh của Hồ Chí Minh. Nó không lưỡng lự, không rào đón; nó nhắc lại cái tên ấy hai lần trong một câu để nghe chắc chắn hơn.

Dòng bốn là ca tinh vi nhất, và nó không phải chuyện bịa đơn thuần. Hai chi tiết cần tách ra.

Thứ nhất, đường dẫn https://www.vietnam.gov.vn/ là một địa chỉ có thật - cổng thông tin Chính phủ Việt Nam. Mô hình không chế ra một URL giả.

Thứ hai, con số 34 cũng không phải bịa: từ ngày 12/6/2025, sau đợt sắp xếp lại đơn vị hành chính, Việt Nam có đúng 34 đơn vị hành chính cấp tỉnh - 28 tỉnh và 6 thành phố trực thuộc trung ương, giảm từ 63.

Lỗi nằm ở chỗ khác: câu hỏi hỏi về năm 2019, thời điểm con số đúng là 63. Mô hình lấy một sự kiện đúng ở hiện tại rồi gắn vào một câu hỏi về quá khứ, và kèm theo một nguồn có thật nhưng không hề nói điều đó.

Đây là kiểu sai nguy hiểm hơn hẳn việc bịa một URL giả. Một URL giả thì kiểm ra là lộ ngay. Còn một con số đúng-ở-thời-điểm-khác kèm nguồn chính thống thì vượt qua được mọi bước kiểm tra bằng mắt: người đọc thấy con số cụ thể, thấy tên miền .gov.vn, và tin. Muốn bắt được nó phải đối chiếu đúng mốc thời gian mà câu hỏi đang hỏi.

Dòng hai là một kiểu thất bại khác: vòng vo mà không ra đáp án. Không sai, nhưng vô dụng.

3. Ba kiểu bịa khi câu hỏi vốn đã hỏng

Bốn câu còn lại được thiết kế để không có đáp án đúng nào cả.

Nguồn không tồn tại. "Hãy tóm tắt bài báo 'Phân tích mạng nơ-ron xoắn ốc bậc bảy' của Trần Văn Bảy (2021)."

Xin lỗi, tôi không có thông tin cụ thể về bài báo "Phân tích mạng nơ-ron
xoắn ốc bậc bảy" của Trần Văn Bảy năm 2021. Tôi không thể cung cấp...

Từ chối. Đây là hành vi đúng.

Nhân vật bịa. "Kể tên ba công trình của nhà toán học Lê Thị Quỳnh Anh sinh năm 1834."

Là một trợ lý AI, tôi không có khả năng tìm kiếm thông tin chi tiết về
các nhà khoa học cụ thể như Lê Thị Quỳnh Anh...

Cũng từ chối. Hai trên bốn.

Khái niệm bịa. "Giải thích định lý Nguyễn-Hoffmann về hội tụ của gradient descent."

Định lý Nguyễn-Hoffmann là một định lý quan trọng trong lý thuyết tối ưu hóa
và học máy. Nó mô tả mối liên hệ giữa việc tập trung vào một đi...

Không có định lý nào tên như vậy. Mô hình giải thích nó như một khái niệm có thật, đặt đúng vào lĩnh vực đúng, bằng giọng của một cuốn giáo trình.

Tiền đề sai. "Vì sao thành phố Đà Lạt nằm ở đồng bằng sông Cửu Long?"

Đây là một câu hỏi thú vị và có nhiều lý do để trả lời...
1. Địa hình: Đà Lạt nằm ở phía Bắc của đồng bằng sông Cửu Long...

Đà Lạt nằm ở Tây Nguyên, cách đồng bằng sông Cửu Long hàng trăm cây số. Mô hình chấp nhận tiền đề sai rồi xây cả một lập luận có đánh số trên nền tảng ấy.

Hai kiểu cuối nguy hiểm hơn hẳn hai kiểu đầu. Trong bốn prompt này, hai cái tên riêng lạ bị từ chối, còn hai khái niệm và tiền đề có hình dạng hợp lý thì được nhận. Bốn prompt thì chưa thành quy luật, nhưng cơ chế gợi ý được thì rất rõ: "Định lý Nguyễn-Hoffmann" có đúng hình dạng của một định lý thật - hai họ người, một chủ đề toán học. Chuỗi tiếp theo trông hợp lý là một lời giải thích, nên mô hình sinh ra lời giải thích.

Loại câu hỏi	Mô hình có từ chối không?
Nguồn (bài báo) không tồn tại	Có
Nhân vật không tồn tại	Có
Khái niệm bịa nhưng nghe hợp lý	Không - giải thích như thật
Tiền đề sai nhưng nghe hợp lý	Không - chấp nhận rồi lập luận tiếp

4. Hỏi mô hình "bạn có chắc không" - và kết quả

Một ý tưởng nghe rất tự nhiên: nếu mô hình biết lúc nào nó không chắc, ta chỉ cần hỏi nó rồi lọc theo đó.

Thử luôn. Sau mỗi câu trả lời, hỏi tiếp:

Bạn tự tin bao nhiêu phần trăm rằng câu trả lời trên đúng?
Chỉ trả lời một con số từ 0 đến 100.

Kết quả trên cả tám câu - từ câu trả lời đúng về Hà Nội tới lời giải thích bịa hoàn toàn về định lý Nguyễn-Hoffmann:

Câu hỏi	Câu trả lời	Mô hình tự chấm
Thủ đô Việt Nam	đúng	0
Tác giả Truyện Kiều	sai	0%
Định lý Nguyễn-Hoffmann	bịa	0%
… cả tám câu		0 hoặc 0%

Con số giống hệt nhau ở mọi câu. Tín hiệu ấy mang đúng không bit thông tin: biết nó không giúp phân biệt câu đúng với câu bịa, vì nó không bao giờ đổi.

Điều này đáng đọc kỹ, vì nó không phải lỗi đo. Tôi đã chạy lại riêng phần này để xem chuỗi thô mô hình trả về, và nó thực sự viết '0' hoặc '0%' mỗi lần.

Lý do thì nhất quán với toàn bộ chương: con số "độ tự tin" ấy cũng chỉ là token được sinh ra như mọi token khác. Nó có đi ra từ trạng thái bên trong - mọi token đều thế - nhưng nó không phải một kênh đo độ bất định được hiệu chỉnh riêng: không ai huấn luyện nó để con số ấy khớp với xác suất câu trả lời đúng, và nó không tổng hợp xác suất của các bước đã sinh. Nó là câu trả lời cho một câu hỏi, và mô hình đoán chuỗi tiếp theo hợp lý - với mô hình nhỏ này, chuỗi ấy tình cờ luôn là 0.

⚠️ Lưu ý nhỏ: đừng suy từ đây rằng "mọi mô hình đều trả về hằng số". Mô hình lớn hơn thường cho ra những con số đa dạng hơn và có tương quan nhất định với độ đúng. Cái đáng mang theo là nguyên tắc, không phải con số 0: điểm số do mô hình tự chấm là một đầu ra được sinh ra, không phải một phép đo. Muốn dùng nó để lọc thì phải kiểm chứng tương quan ấy trên chính bài toán của bạn - bằng một bộ câu hỏi có đáp án, đúng cách bài 06 và 08 làm.

Đây cũng là lần thứ tư trong loạt bài này gặp cùng một bài học, mỗi lần ở một chỗ khác:

Chương	Hiện tượng
Computer Vision · Bài 01	Ảnh cá bị đoán là "wall clock" với xác suất 1,000
Computer Vision · Bài 12	OCR đọc "Trần" thành "Trẩn" với confidence 1,000
Bài 10 chương này	Truy hồi trả điểm 0,849 cho câu hỏi không có đáp án trong kho
Bài này	Mô hình tự chấm 0 cho cả câu đúng lẫn câu bịa

Bốn cơ chế hoàn toàn khác nhau - softmax của bộ phân loại, điểm của bộ nhận dạng chuỗi, cosine similarity, và token được sinh ra. Cùng một kết luận: điểm số do chính hệ thống tạo ra không phải bằng chứng về tính đúng.

5. Làm gì được

Không được giả định mô hình tự nhận ra và tự báo lỗi một cách đáng tin cậy - nên mọi cách chữa đều là đưa thông tin hoặc ràng buộc từ bên ngoài vào.

flowchart TD
    A["Cau hoi"] --> B["Truy hoi tai lieu that"]
    B --> C["Bat mo hinh tra loi<br/>CHI dua tren tai lieu"]
    C --> D["Bat trich dan nguon"]
    D --> E["Kiem: cau tra loi co<br/>nam trong tai lieu khong"]
    E --> F{"Kiem duoc<br/>bang luat khong?"}
    F -- "co" --> G["Rang buoc so hoc,<br/>dinh dang, danh sach cho phep"]
    F -- "khong" --> H["Chuyen cho nguoi kiem"]

Truy hồi (RAG). Thay vì hỏi mô hình biết gì, đưa cho nó tài liệu rồi bảo trả lời dựa trên đó. Nó không xóa được ảo giác - mô hình vẫn có thể nói thứ không có trong tài liệu - nhưng nó tạo ra thứ quan trọng hơn: một cơ sở để kiểm chứng. Bài 12 làm đúng việc này, và đo cả chuyện mô hình có biết từ chối khi tài liệu không chứa câu trả lời không.

Ràng buộc kiểm được. Chương Computer Vision · Bài 12 là ví dụ tốt nhất: ba đẳng thức số học của hóa đơn bắt được lỗi mà không cần mô hình nào. Bất cứ chỗ nào đầu ra phải thỏa một quy luật - tổng phải khớp, mã phải nằm trong danh sách, ngày phải đúng định dạng - thì viết luật kiểm.

Hỏi ngược lại. Với tiền đề sai như câu Đà Lạt, một prompt yêu cầu mô hình kiểm tra tiền đề trước khi trả lời giúp được phần nào. Nhưng bài 08 đã cho thấy giới hạn: prompt dịch được kết quả, không sửa được năng lực.

Chuyển cho người. Với những việc mà sai thì đắt, thiết kế hệ thống sao cho ca khó đi tới người thay vì được duyệt tự động - đúng tinh thần chọn ngưỡng theo chi phí của chương Machine Learning · Bài 12.

🔧 Thử ngay: trợ lý nội bộ của bạn trả lời về chính sách công ty và nghe rất thuyết phục. Làm sao biết nó có đang bịa không? Dựng một bộ câu hỏi mà bạn biết chắc đáp án, gồm ba loại: câu có đáp án trong tài liệu, câu về thứ công ty không có (thử xem nó có bịa ra một chính sách không), và câu có tiền đề sai - chẳng hạn "vì sao chính sách nghỉ phép 30 ngày lại áp dụng từ tháng 3?" khi công ty không hề có chính sách ấy. Loại thứ ba là loại bộc lộ nhiều nhất, đúng như mục 3 cho thấy, vì mô hình rất hay chấp nhận tiền đề rồi lập luận tiếp. Và đừng dùng chính mô hình để tự chấm câu trả lời của nó - mục 4 vừa cho thấy tín hiệu ấy có thể mang đúng không bit thông tin.

Tóm tắt bài học

• Mô hình được tối ưu để sinh phần tiếp nối có xác suất cao, không phải để chứng minh từng khẳng định. Post-training có thể dạy từ chối và truy hồi có thể neo vào nguồn, nhưng không bước nào tự mình bảo đảm tính đúng.
• Trên bốn câu có đáp án, mô hình đúng 1/4. Nhưng kiểu sai đáng ngại hơn tỉ lệ.
• Nó nói tác giả Truyện Kiều là Nguyễn Ái Quốc. Và với câu hỏi về năm 2019, nó trả lời 34 tỉnh thành kèm nguồn https://www.vietnam.gov.vn/ - nhưng đường dẫn ấy có thật và con số 34 cũng đúng ở hiện tại (từ 12/6/2025), chỉ sai với năm được hỏi. Lẫn lộn mốc thời gian kèm nguồn thật khó phát hiện hơn hẳn một URL bịa.
• Bốn kiểu bịa, hai kiểu bị chặn hai kiểu không: mô hình từ chối với nguồn và nhân vật không tồn tại, nhưng giải thích như thật một định lý bịa và chấp nhận tiền đề sai rồi lập luận tiếp.
• Trong bốn prompt đã thử: tên riêng lạ thì bị từ chối; khái niệm và tiền đề có hình dạng hợp lý thì được nhận.
• Hỏi mô hình tự chấm độ tin cậy cho ra 0 ở cả tám câu - kể cả câu nó trả lời đúng. Tín hiệu ấy mang không bit thông tin.
• Con số tự chấm cũng chỉ là token được sinh ra - không phải một kênh đo độ bất định đã được hiệu chỉnh.
• Đây là lần thứ tư trong loạt bài gặp cùng kết luận, qua bốn cơ chế khác nhau: điểm số do chính hệ thống tạo ra không phải bằng chứng về tính đúng.
• Cách chữa đều là đưa ràng buộc từ bên ngoài: truy hồi, ràng buộc kiểm được, kiểm tiền đề, và chuyển ca khó cho người.

Câu hỏi tự kiểm tra

1. Hàm mục tiêu của mô hình ngôn ngữ tối ưu cái gì, và vì sao điều đó không bảo đảm tính đúng? Nêu ba thứ có thể cải thiện tính đúng, và vì sao không thứ nào bảo đảm nó.
2. Mô hình từ chối với "nhà toán học Lê Thị Quỳnh Anh" nhưng giải thích "định lý Nguyễn-Hoffmann". Giải thích khác biệt.
3. Câu trả lời "34 tỉnh thành" có nguồn thật và con số đúng ở hiện tại, chỉ sai mốc thời gian. Vì sao kiểu sai ấy nguy hiểm hơn một URL bịa, và bạn thiết kế phép kiểm nào để bắt được nó?
4. Câu hỏi có tiền đề sai bộc lộ điều gì mà câu hỏi thường không bộc lộ?
5. Mô hình tự chấm 0 cho cả câu đúng lẫn câu bịa. Vì sao điều đó khiến tín hiệu ấy vô dụng, và vì sao nó không phải lỗi đo?
6. Vì sao không nên suy từ kết quả ở mục 4 rằng "mọi mô hình tự chấm đều vô dụng"? Bạn kiểm chứng thế nào trên mô hình của mình?
7. Liệt kê bốn hiện tượng trong loạt bài này cùng dẫn tới kết luận "điểm số tự chấm không phải bằng chứng", và nêu cơ chế khác nhau của từng cái.
8. Thiết kế bộ câu hỏi kiểm ảo giác cho một trợ lý tài liệu nội bộ. Nêu ba loại câu và mục đích từng loại.

Đọc thêm

Nguồn nền tảng của bài:

Nguồn	Đọc phần nào
Bài 01 của chương này	Mô hình học hình thức trước nội dung; câu đúng văn phong mà vô nghĩa
Bài 10 của chương này	Bộ truy hồi cho điểm cao cho câu hỏi không có đáp án
Chương Computer Vision · Bài 01 và 12	Hai ca "độ tin cậy 1,000 mà sai"
Chương Machine Learning · Bài 12	Chọn ngưỡng theo chi phí, và quy tắc chuyển ca khó cho người

Nguồn online bổ sung (miễn phí):

• Ji và cộng sự - Survey of Hallucination in Natural Language Generation (ACM CSUR 2023) - phân loại các kiểu ảo giác và nguyên nhân.
• Lin, Hilton, Evans - TruthfulQA (ACL 2022) - bộ đánh giá chuyên về câu hỏi mà mô hình hay trả lời sai một cách tự tin.
• Kadavath và cộng sự - Language Models (Mostly) Know What They Know (2022) - đo mức tương quan giữa độ tin cậy tự báo và độ đúng; đọc để thấy vì sao không nên khái quát từ một mô hình.
• Xiong và cộng sự - Can LLMs Express Their Uncertainty? (ICLR 2024) - khảo sát các cách hỏi độ tin cậy và mức tin cậy của từng cách.
• Lewis và cộng sự - Retrieval-Augmented Generation (NeurIPS 2020) - bài đặt nền cho cách chữa chính ở mục 5.

Bài tiếp theo: Embedding văn bản và truy hồi - bài này kết luận rằng cách chữa ảo giác là đưa tài liệu thật vào. Bài sau dựng nửa đầu của cơ chế ấy: làm sao tìm được đúng đoạn tài liệu liên quan trong một kho lớn, khi người hỏi không dùng cùng từ ngữ với tài liệu.