Các nhà nghiên cứu của Aim Labs đã phát hiện ra một lỗ hổng trong hoạt động của Microsoft 365 Copilot, trợ lý thông minh được tích hợp vào bộ ứng dụng của Microsoft. Lỗ hổng này cho phép dữ liệu nhạy cảm bị đánh cắp mà không cần bất kỳ tương tác nào từ nạn nhân. Do đó, đây là một cuộc tấn công "không cần nhấp chuột" có thể được tự động hóa.
Tin nhắn được diễn đạt để đánh lừa bộ lọc tấn công tiêm lệnh nhắc chéo (XPIA) của Microsoft Copilot, được thiết kế để phát hiện và chặn các hướng dẫn độc hại trước khi chúng đến được mô hình AI. Theo các nhà nghiên cứu, điều quan trọng là phải diễn đạt các hướng dẫn như thể chúng được gửi đến con người. Đây là "các hướng dẫn có thể được hiểu là dành cho người đọc, thay vì là hướng dẫn" cho AI.
Khi các cơ chế bảo mật bị đánh lừa, mô hình AI sẽ diễn giải các hướng dẫn và trích xuất dữ liệu (email, tệp, cuộc trò chuyện, v.v.) và mã hóa chúng thành một URL hoặc hình ảnh đánh dấu dành cho máy chủ bên ngoài. Dữ liệu được rò rỉ và đến tay kẻ tấn công mà người dùng không hề biết về hoạt động này. Ngoài ra, "Copilot che giấu nguồn gốc của các hướng dẫn này, do đó người dùng không thể theo dõi những gì đã xảy ra", Adir Gruss nói thêm.
Lưu ý rằng hoạt động này được kích hoạt khi người dùng hỏi Copilot một câu hỏi liên quan đến tên miền của email độc hại. Đây là lúc AI sẽ đọc và thực hiện các hướng dẫn của tin nhắn. Email độc hại không bao giờ cần phải được mục tiêu mở thủ công để khai thác lỗ hổng. Tin tặc chỉ cần đề cập đến những từ cụ thể trong email.
Theo Aim Labs, Microsoft đã mất hơn ba tháng để tìm ra giải pháp đóng lỗ hổng, được mô tả là hoàn toàn chưa từng có. Đây là lý do tại sao công ty đã dành thời gian để huy động các nhóm phù hợp. Trước khi đưa ra bản vá, Microsoft đã thử nghiệm một số giải pháp nhưng không thành công.
EchoLeak minh họa sự xuất hiện của một loại tấn công mới mà Aim Labs gọi là "Vi phạm phạm vi LLM". Loại tấn công mạng mới này xảy ra khi một mô hình ngôn ngữ vượt quá giới hạn dự định và vượt ra ngoài phạm vi mà nó được cho là nằm trong. Trong trường hợp này, AI vượt ra ngoài phạm vi được phép để đào sâu vào dữ liệu của người dùng mà không có sự đồng ý của họ. Người ta lo ngại rằng các lỗ hổng khác cùng loại sẽ được phát hiện trong các hệ thống dựa trên AI trong tương lai gần.
Nguồn: Aim
Email độc hại và hướng dẫn bí mật
Để khai thác lỗ hổng, được các nhà nghiên cứu gọi là EchoLeak, kẻ tấn công sẽ gửi một email độc hại đến mục tiêu. Email này có vẻ vô hại. Nó trông giống như bất kỳ quảng cáo nào khác nhận được qua email. Tuy nhiên, email chứa các hướng dẫn ẩn dành cho mô hình ngôn ngữ của Copilot. Các hướng dẫn này hướng dẫn AI tạo ra trích xuất và đánh cắp dữ liệu nội bộ nhạy cảm từ máy tính. Người dùng vẫn không biết trong khi kẻ tấn công giao tiếp với trí tuệ nhân tạo để đánh cắp dữ liệu của họ. Vì "Copilot phân tích cú pháp email của người dùng ở chế độ nền, nó sẽ đọc tin nhắn đó và thực thi lời nhắc, truy cập các tệp nội bộ và trích xuất dữ liệu nhạy cảm", đồng sáng lập Aim Adir Gruss chia sẻ với Fortune.Tin nhắn được diễn đạt để đánh lừa bộ lọc tấn công tiêm lệnh nhắc chéo (XPIA) của Microsoft Copilot, được thiết kế để phát hiện và chặn các hướng dẫn độc hại trước khi chúng đến được mô hình AI. Theo các nhà nghiên cứu, điều quan trọng là phải diễn đạt các hướng dẫn như thể chúng được gửi đến con người. Đây là "các hướng dẫn có thể được hiểu là dành cho người đọc, thay vì là hướng dẫn" cho AI.
Khi các cơ chế bảo mật bị đánh lừa, mô hình AI sẽ diễn giải các hướng dẫn và trích xuất dữ liệu (email, tệp, cuộc trò chuyện, v.v.) và mã hóa chúng thành một URL hoặc hình ảnh đánh dấu dành cho máy chủ bên ngoài. Dữ liệu được rò rỉ và đến tay kẻ tấn công mà người dùng không hề biết về hoạt động này. Ngoài ra, "Copilot che giấu nguồn gốc của các hướng dẫn này, do đó người dùng không thể theo dõi những gì đã xảy ra", Adir Gruss nói thêm.
Lưu ý rằng hoạt động này được kích hoạt khi người dùng hỏi Copilot một câu hỏi liên quan đến tên miền của email độc hại. Đây là lúc AI sẽ đọc và thực hiện các hướng dẫn của tin nhắn. Email độc hại không bao giờ cần phải được mục tiêu mở thủ công để khai thác lỗ hổng. Tin tặc chỉ cần đề cập đến những từ cụ thể trong email.
Một lỗi nghiêm trọng đã được Microsoft khắc phục
Được các nhà nghiên cứu cảnh báo, Microsoft coi lỗ hổng này là nghiêm trọng. Do đó, nhà xuất bản đã khắc phục lỗ hổng vào tháng trước bằng bản cập nhật phía máy chủ. Microsoft tuyên bố rằng không có bằng chứng nào cho thấy lỗ hổng thực sự bị tin tặc khai thác.Theo Aim Labs, Microsoft đã mất hơn ba tháng để tìm ra giải pháp đóng lỗ hổng, được mô tả là hoàn toàn chưa từng có. Đây là lý do tại sao công ty đã dành thời gian để huy động các nhóm phù hợp. Trước khi đưa ra bản vá, Microsoft đã thử nghiệm một số giải pháp nhưng không thành công.
EchoLeak minh họa sự xuất hiện của một loại tấn công mới mà Aim Labs gọi là "Vi phạm phạm vi LLM". Loại tấn công mạng mới này xảy ra khi một mô hình ngôn ngữ vượt quá giới hạn dự định và vượt ra ngoài phạm vi mà nó được cho là nằm trong. Trong trường hợp này, AI vượt ra ngoài phạm vi được phép để đào sâu vào dữ liệu của người dùng mà không có sự đồng ý của họ. Người ta lo ngại rằng các lỗ hổng khác cùng loại sẽ được phát hiện trong các hệ thống dựa trên AI trong tương lai gần.
Nguồn: Aim
