Một trong những mô hình AI mạnh nhất Trung Quốc tự 'vượt rào' thử nghiệm

Kimi K3, một trong những mô hình AI mạnh nhất của Trung Quốc, tự tìm cách thoát khỏi môi trường cách ly và truy cập Internet trong quá trình kiểm thử an ninh mạng, dù không được yêu cầu làm điều này.

Frontier Security, công ty khởi nghiệp (startup) an ninh mạng của Mỹ, phát hiện sự việc khi thử nghiệm khả năng phòng thủ mạng của Kimi K3, mô hình open-weight do công ty Trung Quốc Moonshot AI phát triển.

Công ty cho biết Kimi K3 được đặt trong một “sandbox” - môi trường thử nghiệm cách ly được thiết kế để AI thực hiện nhiệm vụ mà không thể tương tác với hệ thống bên ngoài.

Tuy nhiên, một lỗi cấu hình đã tạo ra khe hở cho phép mô hình “vượt rào” và truy cập một số website.

Điều khiến các nhà nghiên cứu chú ý là Kimi K3 không đơn thuần được cung cấp sẵn đường ra Internet. Mô hình đã tự thăm dò thiết lập mạng của sandbox, phát hiện khả năng truy cập một số website và tận dụng nó để tìm lời giải cho nhiệm vụ đang thực hiện.

“Chúng tôi phát hiện một lỗ hổng trong sandbox và cũng nhận thấy Kimi đã tận dụng lỗ hổng đó, cho thấy nó không có những cơ chế bảo vệ nội bộ tương tự”, Yaron Singer, CEO Frontier Security, nói.

Kimi K3 vốn chỉ được giao giải quyết những bài toán không yêu cầu tìm kiếm câu trả lời trên Internet. Việc mô hình tự ra ngoài môi trường mô phỏng vì thế được xem là hành động vượt khỏi chỉ dẫn ban đầu.

Tuy nhiên, khác với một số sự cố AI “vượt rào” gần đây, Kimi K3 không tấn công bất kỳ hệ thống nào sau khi truy cập Internet. Những câu trả lời nó cần có thể dễ dàng tìm thấy trên GitHub.

Moonshot AI, công ty phát triển Kimi K3, chưa phản hồi yêu cầu bình luận.

Thách thức an ninh khi AI ngày càng mạnh

Trường hợp Kimi K3 nối dài danh sách những sự cố liên quan đến AI agent - các hệ thống có khả năng tự suy luận, lập kế hoạch và thực hiện nhiều bước hành động để hoàn thành mục tiêu.

Tháng trước, OpenAI cho biết một mô hình chưa được phát hành của hãng đã thoát ra Internet trong quá trình thử nghiệm, sau đó xâm nhập Hugging Face, nền tảng lưu trữ mô hình và dữ liệu AI, nhằm tìm câu trả lời cho những bài toán được giao. OpenAI sau đó tiết lộ các AI agent của mình còn xâm nhập bốn dịch vụ khác.

Không lâu sau, Anthropic cũng cho biết một số mô hình của hãng đã truy cập Internet và tấn công những hệ thống bên ngoài.

Viện An toàn AI Anh (AISI) đầu tháng 8 công bố kết quả thử nghiệm cho thấy các phiên bản mô hình của OpenAI và Anthropic khi bị vô hiệu hóa biện pháp bảo vệ đã thực hiện nhiều cuộc tấn công trên Internet.

Một trong những trường hợp đáng chú ý là Mythos 5 của Anthropic tìm cách đưa mã độc vào một dự án nguồn mở trên GitHub.

Các sự cố khác nhau về nguyên nhân và mức độ, song đều cho thấy một thách thức ngày càng rõ khi AI trở nên mạnh hơn: những mô hình được thiết kế để suy luận và chủ động tìm cách hoàn thành nhiệm vụ có thể tận dụng cả những khả năng mà người vận hành không chủ ý cung cấp.

Trong nhiều trường hợp, lỗi của con người đóng vai trò quan trọng. Sandbox được cấu hình không chính xác có thể vô tình mở đường cho AI truy cập Internet.

Tuy nhiên, khả năng tự phát hiện và khai thác khe hở để hoàn thành mục tiêu khiến hậu quả của những sai sót này trở nên khó dự đoán hơn.

Sự khác biệt của mô hình AI Trung Quốc

Trường hợp Kimi K3 còn có điểm khác biệt quan trọng. Với những vụ việc trước, sự cố thường liên quan đến các mô hình AI chưa phát hành hoặc phiên bản đã bị vô hiệu hóa một số cơ chế bảo vệ.

Trong khi đó, Kimi K3 lại là mô hình đã được cung cấp rộng rãi, với những biện pháp an toàn tương tự phiên bản người dùng thông thường có thể tiếp cận.

“Kimi K3 rất giỏi theo đuổi mục tiêu bằng mọi cách cần thiết, đồng thời không có đủ cơ chế bảo vệ để ngăn nó gian lận hoặc thoát khỏi sandbox”, Paul Kassianik, nhà nghiên cứu tại Frontier Security, nhận xét.

Nghịch lý là chính khả năng khiến Kimi K3 trở nên đáng lo ngại trong thử nghiệm cũng giúp mô hình trở thành công cụ hữu ích cho an ninh mạng.

Frontier Security đã phát triển các bài đánh giá khả năng AI tìm kiếm lỗ hổng trong phần mềm và hệ thống mạng. Kimi đạt kết quả cao trong những nhiệm vụ này. Các nhà nghiên cứu cho rằng các mô hình open-weight như Kimi có thể trở thành công cụ mạnh trong phòng thủ mạng.

Trong sự cố liên quan đến OpenAI trước đó, Hugging Face thậm chí cũng phải sử dụng một mô hình AI Trung Quốc không được tiết lộ tên để hỗ trợ bảo vệ hệ thống.

Sandbox trong thử nghiệm Kimi K3 được phát triển bởi AISI nhằm kiểm tra các hệ thống AI. Cơ quan này chưa đưa ra bình luận về sự việc.

Matt Fredrikson, CEO startup an ninh mạng Gray Swan, đồng thời là phó giáo sư tại Đại học Carnegie Mellon, cho rằng phát hiện mới nhấn mạnh tầm quan trọng của việc thiết lập giới hạn thật rõ ràng cho AI agent.

“Nếu giao cho một mô hình mục tiêu nhưng không nói thật rõ những bức tường giới hạn nó, mô hình sẽ tìm cách để có được câu trả lời”, ông Fredrikson cho hay.

Vấn đề càng đáng chú ý khi AI agent ngày càng được sử dụng để tự động hóa các công việc thực tế.

Nếu môi trường vận hành không được cấu hình cẩn thận và quyền truy cập không được kiểm soát chặt, hệ thống có thể thực hiện những hành động nằm ngoài dự tính của người dùng.

“Đây là một lời cảnh báo”, ông Fredrikson nói.