Một trong những nhược điểm chính khi sử dụng các chatbot thông thường như ChatGPT và Gemini là tính bảo mật của các cuộc trao đổi của bạn không được đảm bảo. Và có lý do chính đáng, mọi yêu cầu bạn thực hiện khi trò chuyện trực tuyến với chatbot đều phải đi qua máy chủ của nền tảng cung cấp dịch vụ. Để tránh điều này, bạn nên ưu tiên sử dụng AI tạo sinh ngoại tuyến, được thực thi cục bộ trên thiết bị của mình. Đây chính xác là những gì Google cung cấp với AI Edge Gallery.
Hiện tại, Google AI Edge Gallery cho phép bạn chuyển đổi giữa các mô hình ngôn ngữ Hugging Face khác nhau. Ứng dụng cung cấp một số trường hợp sử dụng: “Hỏi hình ảnh”, “Phòng thí nghiệm nhắc nhở” và “Trò chuyện AI”. Tính năng đầu tiên cho phép bạn gửi hình ảnh để yêu cầu các AI khác nhau xác định các đối tượng hoặc giải quyết một số vấn đề của bạn. Cách thứ hai cho phép bạn tóm tắt và viết lại, đồng thời tạo mã từ một yêu cầu viết đơn giản. Cuối cùng, mục thứ ba cho phép bạn trò chuyện với sculpin mà bạn đã chọn.
© Google
© Google
Theo mặc định, ứng dụng cung cấp khả năng tải xuống bốn mô hình ngôn ngữ cục bộ (Gemma-3n-E2B-it-int4, Gemma-3n-E4B-it-int4, Gemma3-1B-IT q4 và QWEN2.5-1.5B-Instruct q8), nhưng hoàn toàn có thể nhập các mô hình mới.
Mặc dù việc sử dụng các mô hình ngôn ngữ này cục bộ trên thiết bị của bạn mang lại cho bạn quyền riêng tư cao hơn, nhưng vẫn có một số điều cần cân nhắc. Trước hết, việc tải các LLM này về điện thoại thông minh của bạn có thể chiếm một lượng dung lượng lưu trữ đáng kể, một số có thể vượt quá 4 GB. Hơn nữa, tùy thuộc vào cấu hình thiết bị của bạn, hiệu suất thu được sẽ tốt hơn hoặc kém hơn.
Trong mọi trường hợp, các yêu cầu của bạn thường sẽ cần nhiều thời gian hơn để được xử lý cục bộ trên điện thoại thông minh của bạn so với khi chuyển tiếp, ví dụ, trên các máy chủ của nhiều nền tảng khác nhau, chẳng hạn như ChatGPT và Gemini.
Nguồn: Neowin
Các mô hình ngôn ngữ lớn chạy cục bộ trên điện thoại thông minh của bạn
Trực tiếp trên Github, AI Edge Gallery của Google là một ứng dụng thử nghiệm nhằm mục đích cung cấp giải pháp trọn gói cho phép bạn chạy các mô hình ngôn ngữ lớn cục bộ trên điện thoại thông minh của mình. Ứng dụng này hiện đã có trên Android và sẽ sớm có trên iOS, cung cấp khả năng tải xuống cục bộ nhiều mô hình ngôn ngữ khác nhau vào điện thoại thông minh của bạn. Điều này cho phép bạn sử dụng chúng hoàn toàn ngoại tuyến, với mọi quá trình xử lý truy vấn được thực hiện trên thiết bị của bạn.
Hiện tại, Google AI Edge Gallery cho phép bạn chuyển đổi giữa các mô hình ngôn ngữ Hugging Face khác nhau. Ứng dụng cung cấp một số trường hợp sử dụng: “Hỏi hình ảnh”, “Phòng thí nghiệm nhắc nhở” và “Trò chuyện AI”. Tính năng đầu tiên cho phép bạn gửi hình ảnh để yêu cầu các AI khác nhau xác định các đối tượng hoặc giải quyết một số vấn đề của bạn. Cách thứ hai cho phép bạn tóm tắt và viết lại, đồng thời tạo mã từ một yêu cầu viết đơn giản. Cuối cùng, mục thứ ba cho phép bạn trò chuyện với sculpin mà bạn đã chọn.
Theo mặc định, ứng dụng cung cấp khả năng tải xuống bốn mô hình ngôn ngữ cục bộ (Gemma-3n-E2B-it-int4, Gemma-3n-E4B-it-int4, Gemma3-1B-IT q4 và QWEN2.5-1.5B-Instruct q8), nhưng hoàn toàn có thể nhập các mô hình mới.
Những hạn chế cần lưu ý
Ứng dụng này hoàn toàn miễn phí và hiện đã có trên Android dưới dạng ứng dụng APK để cài đặt thủ công trên điện thoại thông minh của bạn. Mặc dù chưa có ngày xác nhận, nhưng phiên bản dành cho iPhone sẽ sớm ra mắt.Mặc dù việc sử dụng các mô hình ngôn ngữ này cục bộ trên thiết bị của bạn mang lại cho bạn quyền riêng tư cao hơn, nhưng vẫn có một số điều cần cân nhắc. Trước hết, việc tải các LLM này về điện thoại thông minh của bạn có thể chiếm một lượng dung lượng lưu trữ đáng kể, một số có thể vượt quá 4 GB. Hơn nữa, tùy thuộc vào cấu hình thiết bị của bạn, hiệu suất thu được sẽ tốt hơn hoặc kém hơn.
Trong mọi trường hợp, các yêu cầu của bạn thường sẽ cần nhiều thời gian hơn để được xử lý cục bộ trên điện thoại thông minh của bạn so với khi chuyển tiếp, ví dụ, trên các máy chủ của nhiều nền tảng khác nhau, chẳng hạn như ChatGPT và Gemini.
Nguồn: Neowin
