Trong thời đại công nghệ số phát triển mạnh mẽ, ChatGPT nổi lên như một công cụ hữu ích trong nhiều lĩnh vực, từ chăm sóc khách hàng, giáo dục, cho tới lập trình. Tuy nhiên, không phải mọi thứ đều hoàn hảo. Theo nghiên cứu gần đây của Đại học Purdue (Mỹ), ChatGPT đang gặp vấn đề lớn khi trả lời các câu hỏi liên quan đến lập trình, với tỷ lệ các câu trả lời không chính xác lên đến 52%.

Nghiên cứu cho thấy ChatGPT trả lời sai 52% các câu hỏi về lập trình

Theo một nghiên cứu mới đây đến từ Đại học Purdue trình bày tại hội nghị Tương Tác Máy Tính-Con Người, 52% các phản hồi liên quan đến lập trình do ChatGPT tạo ra là không chính xác. Để thực hiện nghiên cứu này, các nhà nghiên cứu đã xem xét 517 câu hỏi trên Stack Overflow và kiểm tra các phản hồi. Kết quả cho thấy không chỉ có tỷ lệ thông tin sai lệch cao, mà các câu trả lời của nó còn dài dòng và phức tạp hơn so với câu trả lời của con người. Samia Kabir và các cộng sự từ Đại học Purdue (Mỹ) cho biết:

Để thu hẹp khoảng cách, chúng tôi đã thực hiện phân tích chuyên sâu đầu tiên về các câu trả lời của ChatGPT đối với 517 câu hỏi lập trình trên Stack Overflow và kiểm tra tính chính xác, tính nhất quán, tính toàn diện và tính súc tích của các câu trả lời. Phân tích của chúng tôi cho thấy 52% các câu trả lời của ChatGPT chứa thông tin không chính xác và 77% là dài dòng. 

Kết quả này đặc biệt đáng lo ngại khi công cụ AI này đang được kỳ vọng sẽ sử dụng rộng rãi trong các lĩnh vực khác nhau, bao gồm cả lập trình, nơi mà sự chính xác và độ tin cậy là vô cùng quan trọng.

Kết quả của nghiên cứu cũng chỉ ra 4 loại sai sót trong các câu trả lời của chatbot AI này bao gồm hiểu lầm về các khái niệm (conceptual) chiếm 54%, thông tin không chính xác (factual) chiếm 36%, sai sót về code chiếm 28% và sai sót về thuật ngữ (terminology) chiếm 12%. Một số câu trả lời có nhiều hơn một loại sai sót này. Trong đó, thông tin không chính xác (factual errors) xảy ra khi ChatGPT cung cấp thông tin bịa đặt hoặc không đúng sự thật về kiến thức hiện có.

Kết quả nghiên cứu trên chính là một lời nhắc nhở đầy ý nghĩa về sự cần thiết của việc đánh giá kỹ lưỡng và cải thiện liên tục trong công nghệ trí tuệ nhân tạo.

Thực trạng trong ngành lập trình: Người dùng vẫn thích các phản hồi từ ChatGPT

Một điều đặc biệt đáng lo ngại hiện nay là nhiều lập trình viên dường như vẫn rất ưa thích các câu trả lời từ ChatGPT. Sau khi tiến hành một cuộc khảo sát nhỏ với 12 lập trình viên, các nhà nghiên cứu từ Đại học Purdue cũng chỉ ra rằng 35% trong số họ ưa thích các câu trả lời từ ChatGPT và 39% trong số họ không phát hiện ra các lỗi do trí tuệ nhân tạo tạo ra (AI-generated errors).

Điều này đến từ việc người dùng thường bỏ qua thông tin sai lệch và đánh giá thấp mức độ không chính xác trong các câu trả lời khi không dễ dàng kiểm chứng được. Bên cạnh đó, mặc dù ChatGPT thường đưa ra những câu trả lời dài dòng nhưng cách trình bày rõ ràng và phong cách giống như sách giáo khoa, kết hợp với độ đầy đủ của thông tin, là những yếu tố làm cho các câu trả lời từ ChatGPT trở nên hấp dẫn và thuyết phục hơn. Điều này đã khiến cho các lập trình viên tham gia khảo sát không tập trung vào các sai sót trong câu trả lời của AI.

Lời kết

Cuộc khảo sát dù đã gây thất vọng cho người dùng ChatGPT toàn cầu về tiềm năng của ChatGPT, đặc biệt là người dùng trong lĩnh vực lập trình. Song, đây cũng chính là thách thức mà OpenAI cần phải giải quyết để biến ChatGPT thành “một cuộc cách mạng” thực sự trong lĩnh vực công nghệ. Với nhiều thiếu sót mà Chatbot AI “toàn năng” này đang mắc phải, người dùng cần thẩn trọng hơn khi sử dụng ChatGPT trong những công việc quan trọng, và tốt hơn hết là chỉ nên xem nó như một công cụ tham khảo, hỗ trợ thay vì đặt niềm tin tuyệt đối vào nó.

Hotline:(028) 8884 1818

Zalo: 0338 841 835

Email: contact@kidleaderhub.com

Địa chỉ 1: 18A Lê Thị Chợ, P.Phú Thuận, Q7, Tp.HCM

Địa chỉ 2: 236/29/18 Đ. Điện Biên Phủ, Phường 17, Bình Thạnh