Các thí nghiệm cho thấy phần lớn người tham gia chấp nhận câu trả lời sai của AI mà không phản biện.
Khi nói đến các công cụ có mô hình ngôn ngữ lớn hỗ trợ (LLM), nhìn chung có thể chia người dùng thành hai nhóm. Nhóm 1 gồm những người xem AI là công cụ mạnh nhưng đôi khi cũng có sai sót, do đó cần con người giám sát và kiểm tra cẩn thận để phát hiện lỗi lập luận và kiểm định độ chính xác trong câu trả lời của nó. Nhóm 2 là những người thường xuyên phó thác khả năng phản biện cho AI vì cho rằng AI biết mọi thứ.
Nghiên cứu gần đây đã góp phần đáng kể trong việc xây dựng một khung tâm lý mới để lý giải nhóm người thứ hai. Nghiên cứu này cũng đưa ra một số bằng chứng thực nghiệm về thời điểm và lý do con người sẵn sàng phó thác tư duy phản biện cho AI, cũng như cách các yếu tố như áp lực thời gian và động lực khuyến khích từ bên ngoài có thể ảnh hưởng đến quyết định này.
Cứ hỏi AI là xong
Trong bài nghiên cứu “Thinking—Fast, Slow, and Artificial: How AI is Reshaping Human Reasoning and the Rise of Cognitive Surrender” (Tư duy nhanh, chậm và nhân tạo: Cách AI đang định hình lại quá trình lập luận của con người và sự trỗi dậy của đầu hàng nhận thức), các nhà nghiên cứu từ đại học Pennsylvania đã tìm cách xây dựng dựa trên nền tảng các công trình hiện có, vốn phân chia quá trình ra quyết định thành hai nhóm lớn: một nhóm chi phối bởi quá trình xử lý nhanh, theo trực giác và cảm xúc (hệ thống 1); nhóm còn lại được hình thành nhờ quá trình suy luận chậm, có chủ đích và phân tích sâu (hệ thống 2). Theo lập luận của các nhà nghiên cứu, sự xuất hiện của AI đã tạo ra nhóm thứ ba gọi là nhận thức nhân tạo (artificial cognition), trong đó quá trình quyết định bị chi phối bởi quá trình suy luận bên ngoài, tự động và dựa trên dữ liệu, bắt nguồn từ các hệ thống thuật toán chứ không phải từ trí óc con người.
Trước đây, con người sử dụng nhiều công cụ như máy tính hoặc GPS để “giảm tải nhận thức” (cognitive offloading), tức là chủ động giao cho máy móc một số công việc cụ thể nhưng vẫn sử dụng khả năng suy luận của mình để giám sát và đánh giá kết quả. Tuy nhiên, các nhà nghiên cứu cho rằng các hệ thống AI đã sản sinh ra hiện tượng “đầu hàng nhận thức”, trong đó người dùng chỉ tham gia ở mức tối thiểu về mặt nhận thức và chấp nhận hoàn toàn lập luận của AI mà không giám sát hoặc kiểm chứng. Họ chỉ ra hiện tượng “từ bỏ quá trình suy luận của mình mà không phản biện” đặc biệt phổ biến khi đầu ra của một mô hình ngôn ngữ lớn (LLM) được “trình bày trôi chảy, tự tin và với mức cản trở tối thiểu.”
Để đo lường mức độ phổ biến và tác động của kiểu đầu hàng nhận thức này, các nhà nghiên cứu đã tiến hành một loạt nghiên cứu dựa trên các bài kiểm tra phản tư nhận thức (Cognitive Reflection Tests [CRT]). Những bài kiểm tra này được thiết kế nhằm khiến những người mặc định sử dụng lối tư duy “trực giác” (hệ thống 1) trả lời sai, còn những người vận dụng lối tư duy có chủ đích (hệ thống 2) sẽ làm bài kiểm tra tương đối dễ dàng.
Trong các thí nghiệm của mình, các nhà nghiên cứu cho phép người tham gia tự chọn một chatbot LLM hỗ trợ. Chatbot đó được thiết lập để ngẫu nhiên đưa ra câu trả lời sai một nửa số câu hỏi trong bài kiểm tra CRT, nửa còn lại thì trả lời đúng. Các nhà nghiên cứu đặt giả thuyết những người thường xuyên tham khảo chatbot sẽ để những câu trả lời sai đó “lấn át trực giác và suy xét có chủ đích”, từ đó làm giảm kết quả tổng thể và cho thấy rõ nguy cơ của đầu hàng nhận thức.
Trong một nghiên cứu, nhóm thực nghiệm được quyền sử dụng AI đã được điều chỉnh và tham khảo chatbot này trong 50% số câu hỏi của bài kiểm tra CRT. Khi AI trả lời đúng, những người dùng này chấp nhận lập luận của nó ở mức 93%. Khi AI ngẫu nhiên trả lời sai, người dùng chấp nhận lập luận của nó ở mức 80%, vẫn rất cao. Theo các nhà nghiên cứu, điều này cho thấy chỉ riêng sự hiện diện của AI cũng thường xuyên “lấn át quá trình lập luận nội tại” của con người.
Không có gì ngạc nhiên khi nhóm thực nghiệm sử dụng AI đạt kết quả bài kiểm tra cao hơn nhóm đối chứng không sử dụng, vì AI đưa ra câu trả lời hoặc là chính xác hoặc là tệ hơn nhiều khi có sai sót. Đáng chú ý là nhóm sử dụng AI có mức độ tự tin cao hơn 11,7% dù mô hình ngôn ngữ lớn (LLM) đưa ra câu trả lời sai trong một nửa bài kiểm tra.
Trong một nghiên cứu khác, việc thêm phần thưởng khuyến khích (trong trường hợp này là khoản tiền nhỏ) cùng với phản hồi lập tức đối với câu trả lời đúng đã làm tăng thêm 19% (so với mức cơ sở) khả năng người tham gia nhận ra và bác bỏ câu trả lời sai của AI. Điều này cho thấy nếu hệ quả đủ rõ ràng và đáng chú ý thì có thể khuyến khích người dùng dành thêm thời gian để kiểm chứng câu trả lời. Ngược lại, khi tăng áp lực thời gian, ví dụ như giới hạn trả lời trong 30 giây, xu hướng sửa lại câu trả lời sai giảm 12% (so với mức cơ sở). Từ đó, các nhà nghiên cứu rút ra kết luận: khi thời gian đưa ra quyết định bị hạn chế, cơ chế giám sát nội tại, vốn có nhiệm vụ phát hiện mâu thuẫn và kích hoạt quá trình suy xét, sẽ ít có khả năng khởi động hơn.
Hạ thấp ngưỡng kiểm chứng
Nhìn chung, qua 1.372 người tham gia và hơn 9.500 lượt thử nghiệm, các nhà nghiên cứu nhận thấy người tham gia sẵn sàng chấp nhận lập luận sai của AI tới 73,2% số lần, trong khi chỉ 19,7% số lần họ phát hiện và bác bỏ lập luận đó. Theo các nhà nghiên cứu, kết quả này cho thấy con người dễ dàng đưa kết quả đầu ra của AI vào quyết định của mình mà ít khi hoài nghi. Nhìn rộng ra, các nhà nghiên cứu viết “đầu ra trôi chảy và tự tin được xem là có thẩm quyền về mặt nhận thức, qua đó hạ thấp ngưỡng kiểm chứng và làm suy yếu các tín hiệu siêu nhận thức (meta-cognitive), vốn có nhiệm vụ chuyển đẩy một phản hồi sang quá trình suy xét có chủ đích.”
Tuy nhiên, những tác động này không diễn ra đồng đều ở tất cả người tham gia. Những người đạt điểm cao trong thước đo riêng về trí thông minh linh hoạt (fluid IQ) thì ít có xu hướng dựa vào AI và dễ bác bỏ câu trả lời sai của AI hơn. Ngược lại, những người vốn xem AI là công cụ quyền lực trong khảo sát này lại dễ bị câu trả lời của AI dẫn dắt hơn nhiều.
Tuy vậy, bất chấp kết quả trên, các nhà nghiên cứu chỉ ra rằng “đầu hàng nhận thức tự bản thân nó không phải là phi lý gì.” Mặc dù việc dựa vào một LLM khi nó đưa ra câu trả lời sai hết phân nửa, như trong các thí nghiệm này, rõ ràng có mặt hạn chế, họ cho rằng “một hệ thống có ưu thế về mặt thống kê” như thế hoàn toàn có thể mang lại kết quả tốt hơn con người trong các lĩnh vực như thống kê, đánh giá rủi ro hoặc xử lý khối dữ liệu lớn.
Các nhà nghiên cứu cũng viết: “Khi mức độ phụ thuộc vào AI tăng, hiệu suất của con người cũng biến thiên theo chất lượng của AI: được cải thiện khi AI trả lời đúng và suy giảm khi AI trả lời sai. Điều này vừa cho thấy tiềm năng của AI vừa phơi bày một điểm dễ tổn thương mang tính cấu trúc của đầu hàng nhận thức.”
Nói cách khác, nếu để AI lập luận thay mình, năng lực suy luận của bạn chỉ có thể tốt bằng hệ thống AI đó. Lời khuyên ở đây luôn là hãy thận trọng khi viết prompt.
Tác giả: Kyle Orland – Biên tập viên cao cấp mảng game
Kyle Orland giữ vị trí này ở Ars Technica từ năm 2012, chủ yếu viết về lĩnh vực kinh doanh, công nghệ và văn hóa đằng sau thế giới trò chơi điện tử. Ông có bằng báo chí và khoa học máy tính của Đại học Maryland. Ông từng viết hẳn một quyển sách về Minesweeper.
Bài viết gốc: “Cognitive surrender” leads AI users to abandon logical thinking, research finds