Đối tác Google thừa nhận ‘đoán mò’ khi đánh giá độ chính xác phản hồi chatbot AI

Google đã phát hành chatbot Bard dưới dạng giới hạn vào tháng 3 vừa qua, trong nỗ lực đáp trả ChatGPT của OpenAI.

Để đánh giá chất lượng các phản hồi của chatbot AI này, công ty đã thuê một lực lượng lớn các lao động từ bên thứ ba. Tuy nhiên, các đối tác thừa nhận rằng, họ thường không có đủ thời gian để đánh giá độ chính xác của những phản hồi truy vấn này.

Appen là một nhà thầu đang giúp cải thiện chatbot Google. Các nhân viên của công ty này không được thông báo rằng nhiệm vụ của họ liên quan đến Bard, nhưng các cuộc thảo luận nội bộ về nhiệm vụ mới bắt đầu từ ngày 7/2, khoảng thời gian gã khổng lồ tìm kiếm lần đầu tiên công bố chatbot AI của hãng.

Những đối tác, được gọi là “người đánh giá”, thường xem xét thuật toán tìm kiếm của Google và mức độ liên quan của quảng cáo đặt trong kết quả tìm kiếm, cũng như gắn cờ các website độc hại để chúng không xuất hiện trên trang kết quả.

Nguồn tin của Insider cho hay, kể từ tháng 1, phần lớn công việc những người đánh giá đã chuyển sang xem xét các lời nhắc của AI. Họ nói rằng không có đủ thời gian để chấm điểm độ chính xác các phản hồi con bot đưa ra, do đó đôi khi họ chỉ có thể đưa ra “dự đoán tốt nhất”.

Bard đã nhận chỉ trích sau khi mọi người phát hiện ra chatbot đưa ra câu trả lời sai ngay trong sự kiện ra mắt. Google nói rằng, chatbot sẽ trở nên tốt hơn theo thời gian và không nên coi ứng dụng này là sự thay thế cho công cụ tìm kiếm.

Trước khi ra mắt, vào tháng 2, Google cũng yêu cầu các nhân viên dành từ 2 đến 4 giờ để kiểm tra con bot, đặt câu hỏi cho nó và gắn cờ những câu trả lời không đáp ứng tiêu chuẩn của công ty.

Các nhà thầu cho biết, họ có một khoảng thời gian nhất định để hoàn thành từng nhiệm vụ, từ ít nhất là 60 giây cho đến hơn vài phút. Tuy nhiên, những người đánh giá nói rằng rất khó để đánh giá phản hồi khi họ không hiểu về chủ đề chatbot đang nói đến, trong đó có các chủ đề kỹ thuật, chẳng hạn như blockchain.

Mỗi nhiệm vụ được giao thể hiện thời gian đều tính phí, do đó các nhân viên sẽ tìm cách hoàn thành nhiệm vụ ngay cả khi họ không thể đánh giá chính xác các phản hồi chatbot đưa ra.

Những nhân viên này nói rằng, họ muốn tìm hiểu đúng sự thật và cung cấp trải nghiệm chatbot chất lượng tốt nhất có thể, nhưng đơn giản là không có đủ thời gian nghiên cứu vấn đề trước khi đưa ra xếp loại.

“Bạn cần 3 giờ nghiên cứu để hoàn thành một nhiệm vụ 60 giây, đó là vấn đề chúng tôi đang gặp phải hiện nay”, một trong những người đánh giá chia sẻ.