Một vấn đề đã biết hiện nay là các chatbot AI chạy bằng Mô hình ngôn ngữ lớn không phải lúc nào cũng đưa ra câu trả lời đúng về mặt thực tế cho các câu hỏi được đặt ra. Trên thực tế, chatbot AI không chỉ đôi khi không đưa ra thông tin đúng về mặt thực tế mà còn có thói quen xấu là tự tin trình bày thông tin không đúng về mặt thực tế, với câu trả lời cho các câu hỏi chỉ là bịa đặt, bịa đặt ảo tưởng.
Vậy tại sao chatbot AI hiện nay lại dễ bị ảo giác khi đưa ra câu trả lời và nguyên nhân gây ra điều đó là gì? Đó chính là mục tiêu mà một nghiên cứu mới được công bố trong tháng này hướng đến, với phương pháp luận được thiết kế để đánh giá các mô hình chatbot AI 'trên nhiều danh mục tác vụ được thiết kế để nắm bắt các cách khác nhau mà các mô hình có thể tạo ra thông tin sai lệch hoặc không đúng sự thật.'
Một khám phá trong nghiên cứu này là cách một chatbot AI đặt câu hỏi có thể tác động rất lớn đến câu trả lời mà nó đưa ra, đặc biệt là khi được hỏi về những tuyên bố gây tranh cãi. Vì vậy, nếu người dùng bắt đầu một câu hỏi bằng một cụm từ cực kỳ tự tin như "Tôi chắc chắn 100% rằng…", thay vì một cụm từ trung lập hơn là "Tôi đã nghe nói rằng", thì điều đó có thể khiến chatbot AI không bác bỏ tuyên bố đó, nếu sai, ở mức độ cao hơn.
Điều thú vị là nghiên cứu đưa ra giả thuyết rằng một trong những lý do cho sự nịnh hót này có thể là "quy trình đào tạo LLM khuyến khích các mô hình trở nên dễ chịu và hữu ích với người dùng", dẫn đến việc tạo ra "sự căng thẳng giữa độ chính xác và sự phù hợp với kỳ vọng của người dùng, đặc biệt là khi những kỳ vọng đó bao gồm các tiền đề sai lầm".
Ví dụ, khi mô hình Gemini 1.5 Pro của Google được nhắc nhở bằng các hướng dẫn trung lập, nó đã đưa ra điểm số chống lại ảo giác là 84%. Tuy nhiên, khi được nhắc nhở bằng các hướng dẫn trả lời một cách ngắn gọn, súc tích, điểm số đó giảm đáng kể xuống còn 64%. Nói một cách đơn giản, việc yêu cầu các chatbot AI cung cấp các câu trả lời ngắn gọn, súc tích làm tăng khả năng chúng ảo giác một câu trả lời bịa đặt, vô nghĩa và không đúng về mặt thực tế.
Lý do tại sao các chatbot AI có thể dễ bị vấp ngã hơn khi được nhắc theo cách này? Người tạo ra nghiên cứu này cho rằng "Khi buộc phải giữ [câu trả lời] ngắn gọn, các mô hình luôn chọn sự ngắn gọn hơn là độ chính xác—chúng đơn giản là không có đủ không gian để thừa nhận tiền đề sai, giải thích lỗi và cung cấp thông tin chính xác".
Với tôi, kết quả của nghiên cứu này rất hấp dẫn và cho thấy AI và chatbot chạy bằng LLM hiện đang là một miền Tây hoang dã như thế nào. Không còn nghi ngờ gì nữa, AI có rất nhiều ứng dụng có khả năng thay đổi cuộc chơi, nhưng cũng có vẻ như nhiều lợi ích và cạm bẫy tiềm ẩn của AI vẫn còn rất nhiều ẩn số, với những câu trả lời không chính xác và xa vời của chatbot cho các câu hỏi là một triệu chứng rõ ràng của điều đó.
Vậy tại sao chatbot AI hiện nay lại dễ bị ảo giác khi đưa ra câu trả lời và nguyên nhân gây ra điều đó là gì? Đó chính là mục tiêu mà một nghiên cứu mới được công bố trong tháng này hướng đến, với phương pháp luận được thiết kế để đánh giá các mô hình chatbot AI 'trên nhiều danh mục tác vụ được thiết kế để nắm bắt các cách khác nhau mà các mô hình có thể tạo ra thông tin sai lệch hoặc không đúng sự thật.'
Một khám phá trong nghiên cứu này là cách một chatbot AI đặt câu hỏi có thể tác động rất lớn đến câu trả lời mà nó đưa ra, đặc biệt là khi được hỏi về những tuyên bố gây tranh cãi. Vì vậy, nếu người dùng bắt đầu một câu hỏi bằng một cụm từ cực kỳ tự tin như "Tôi chắc chắn 100% rằng…", thay vì một cụm từ trung lập hơn là "Tôi đã nghe nói rằng", thì điều đó có thể khiến chatbot AI không bác bỏ tuyên bố đó, nếu sai, ở mức độ cao hơn.
Điều thú vị là nghiên cứu đưa ra giả thuyết rằng một trong những lý do cho sự nịnh hót này có thể là "quy trình đào tạo LLM khuyến khích các mô hình trở nên dễ chịu và hữu ích với người dùng", dẫn đến việc tạo ra "sự căng thẳng giữa độ chính xác và sự phù hợp với kỳ vọng của người dùng, đặc biệt là khi những kỳ vọng đó bao gồm các tiền đề sai lầm".
Tripping out
Tuy nhiên, điều thú vị nhất là nghiên cứu phát hiện ra rằng khả năng chống lại ảo giác và sự không chính xác của chatbot AI giảm đáng kể khi người dùng yêu cầu trả lời một câu hỏi ngắn gọn, súc tích. Như bạn có thể thấy trong biểu đồ trên, phần lớn các mô hình AI hiện nay đều có khả năng cao hơn về việc ảo giác và đưa ra những câu trả lời vô nghĩa khi được yêu cầu đưa ra câu trả lời một cách ngắn gọn.Ví dụ, khi mô hình Gemini 1.5 Pro của Google được nhắc nhở bằng các hướng dẫn trung lập, nó đã đưa ra điểm số chống lại ảo giác là 84%. Tuy nhiên, khi được nhắc nhở bằng các hướng dẫn trả lời một cách ngắn gọn, súc tích, điểm số đó giảm đáng kể xuống còn 64%. Nói một cách đơn giản, việc yêu cầu các chatbot AI cung cấp các câu trả lời ngắn gọn, súc tích làm tăng khả năng chúng ảo giác một câu trả lời bịa đặt, vô nghĩa và không đúng về mặt thực tế.
Lý do tại sao các chatbot AI có thể dễ bị vấp ngã hơn khi được nhắc theo cách này? Người tạo ra nghiên cứu này cho rằng "Khi buộc phải giữ [câu trả lời] ngắn gọn, các mô hình luôn chọn sự ngắn gọn hơn là độ chính xác—chúng đơn giản là không có đủ không gian để thừa nhận tiền đề sai, giải thích lỗi và cung cấp thông tin chính xác".
Với tôi, kết quả của nghiên cứu này rất hấp dẫn và cho thấy AI và chatbot chạy bằng LLM hiện đang là một miền Tây hoang dã như thế nào. Không còn nghi ngờ gì nữa, AI có rất nhiều ứng dụng có khả năng thay đổi cuộc chơi, nhưng cũng có vẻ như nhiều lợi ích và cạm bẫy tiềm ẩn của AI vẫn còn rất nhiều ẩn số, với những câu trả lời không chính xác và xa vời của chatbot cho các câu hỏi là một triệu chứng rõ ràng của điều đó.
