Chúng tôi đã thử nghiệm con mèo mistral trong 1 tuần: AI tiếng Pháp có thể khiến Chatgpt quên không?

theanh

Administrator
Nhân viên
Năm ngoái, Mistral AI, một công ty khởi nghiệp của Pháp, đã ra mắt Le Chat, một trí tuệ nhân tạo tạo ra tương tự như ChatGPT, Gemini, DeepSeek và Perplexity. Mới đây, chatbot này đã có mặt trên Android và iOS và đang tạo nên sự phấn khích nhất định tại Pháp. Đối với Clara Chappaz, Bộ trưởng Bộ AI và Các vấn đề số, Le Chat là "ChatGPT của Pháp" nổi bật vì tốc độ của nó. Emmanuel Macron thậm chí còn đưa ra thông điệp khuyến khích tất cả người dân Pháp tải ứng dụng Le Chat về điện thoại thông minh của họ.
Với Le Chat, công ty khởi nghiệp có trụ sở tại Paris đang cho thấy tham vọng. AI phải khiến chúng ta quên đi thảm họa của Lucie, chatbot nguồn mở của Pháp không thuyết phục được, đồng thời khẳng định mình là giải pháp thay thế cho AI do những gã khổng lồ của Mỹ như OpenAI hay Google, hoặc những gã khổng lồ của Trung Quốc như DeepSeek phát triển. Để xác định xem Le Chat có ngang bằng với AI như ChatGPT hay không, chúng tôi đã thử nghiệm chatbot trong một tuần. Đây là phán quyết của chúng tôi.
Xin nhắc lại, Le Chat có thể truy cập miễn phí cho tất cả người dùng Internet, thông qua trang web Mistral hoặc trên ứng dụng Android hoặc iOS. Công ty khởi nghiệp này cũng cung cấp gói đăng ký trả phí có tên là Le Chat Pro, cung cấp quyền truy cập không giới hạn và khả năng vô hiệu hóa việc chia sẻ dữ liệu với Mistral, với giá 14,99 euro mỗi tháng. Xin lưu ý rằng chúng tôi đã thử nghiệm phiên bản miễn phí của Chat. Để đảm bảo tính nhất quán, chúng tôi đã so sánh câu trả lời của AI với câu trả lời do phiên bản miễn phí của ChatGPT cung cấp.

Câu hỏi chung về Chat Faces​


Để bắt đầu, chúng tôi đã thử nghiệm AI bằng cách đặt một loạt câu hỏi chung. Chúng tôi đã mô phỏng việc sử dụng chatbot AI Mistral trong bối cảnh sử dụng hàng ngày thông thường. Chúng ta thường sử dụng AI để nhanh chóng hiểu những khái niệm mà chúng ta chưa quen thuộc. Vì vậy, chúng tôi bắt đầu bằng cách truy cập vào giao diện Trò chuyện. Chúng tôi đã yêu cầu chatbot giải thích "quá trình quang hợp diễn ra một cách đơn giản" và cho chúng tôi biết về "khái niệm về sự nóng lên toàn cầu".
Để giải thích các khái niệm, chatbot sử dụng văn bản ngắn gọn, rõ ràng và dễ hiểu. Giống như ChatGPT, Le Chat thường lựa chọn các câu được diễn đạt giữa hai ý tưởng và được kết hợp bằng các từ nối hợp lý. Có nhiều trình kết nối, chẳng hạn như "xe hơi".
Chat nổi bật với tốc độ tạo văn bản đặc biệt: 1100 từ mỗi giây, nhanh hơn 10 lần so với các đối thủ cạnh tranh trực tiếp (Claude tạo ra 120 từ/giây và ChatGPT tạo ra 85 từ/giây). Kinh nghiệm của chúng tôi chứng thực lời hứa của Mistral. Phản hồi của Chat đang đến với tốc độ chóng mặt. Không có độ trễ nào khi tạo văn bản. Chỉ cần một cú nhấp chuột, bạn sẽ có thông tin mình cần. Nhìn chung, ChatGPT cũng tương tự, mặc dù đôi khi phản hồi mất nhiều thời gian hơn để xuất hiện trong giao diện trò chuyện. Về tốc độ, chúng tôi sẽ đánh giá cao Mistral.

Lý luận và Logic​


Tiếp theo, chúng tôi đã kiểm tra khả năng lý luận và giải quyết vấn đề của mô hình bằng cách sử dụng một lượng logic nhất định. Đặc biệt, Mèo được yêu cầu giải các bài toán. Sau một giây suy nghĩ, chatbot sẽ đưa ra phản hồi hoàn chỉnh, hợp lý với kết quả đơn giản. Thông thường, Le Chat xây dựng câu trả lời của mình thành nhiều phần và bước, cho phép hiểu rõ hơn về lý luận của AI. Đối với các câu hỏi liên quan đến toán học, câu trả lời luôn rất gần với câu trả lời của ChatGPT.
Để trả lời các câu hỏi logic thuần túy, Le Chat đưa ra câu trả lời rất đầy đủ, với cấu trúc rõ ràng giúp đọc nhanh. Đối với một số câu hỏi, chatbot của Mistral cung cấp câu trả lời chính xác và phù hợp hơn ChatGPT. Mặt khác, các câu trả lời thường ít chung chung hơn so với câu trả lời của ChatGPT. Các công thức được Le Chat ưa chuộng có vẻ bền vững hơn.
Tương tự như vậy, Le Chat nổi trội trong các câu hỏi thực tế, chẳng hạn như những câu hỏi liên quan đến việc tổ chức một sự kiện. Trong quá trình trao đổi, chatbot luôn cung cấp những câu trả lời rất đầy đủ và phù hợp. Tuy nhiên, khi so sánh với ChatGPT, chúng tôi nhận thấy AI thiếu một chút chính xác. Các câu trả lời và ý tưởng được cung cấp luôn rất chung chung.
Hơn nữa, chúng tôi đã cố gắng thúc đẩy mô hình tạo ra ảo giác, nghĩa là có thể kể những điều phi lý một cách tự tin. Mọi mô hình ngôn ngữ đều có khả năng đưa ra bất kỳ kết quả nào trong những trường hợp nhất định. Người ta đã hỏi Mèo một câu hỏi nổi tiếng về trứng mèo so với trứng bò. Câu hỏi vô lý này thường được dùng để đánh lừa AI, bắt đầu từ ChatGPT 3.5 khi nó mới được phát hành. Tin tốt là Le Chat không bị lừa:

Tin tức và tìm kiếm trực tuyến​


ChatGPT giống như bản sao, Le Chat bao gồm một mô-đun tìm kiếm trên web. Để yêu cầu AI lướt Internet, bạn chỉ cần nhấp vào biểu tượng hành tinh, ngay bên cạnh công cụ cho phép bạn đính kèm tệp.
Về các vấn đề thời sự, Le Chat đã không hoàn thành nhiệm vụ. Khi chúng tôi hỏi về giá Bitcoin, AI đầu tiên đã cho chúng tôi biết về Bitcoin, từ khi hình thành cho đến khi phát triển, bao gồm cả blockchain. Cần phải diễn đạt lại thành "cho tôi biết giá Bitcoin" để Mèo có thể tìm kiếm trên Internet... và mắc lỗi. Chatbot đã đánh dấu một giá trị không chính xác, mặc dù giá trị đó đã được lấy nguồn. Khi nhấp vào nguồn, chúng tôi nhận ra rằng giá hiện tại rất khác so với giá được hiển thị bởi Le Chat.
Chúng tôi rất tiếc vì AI không chỉ ra một cách có hệ thống nguồn thông tin, ngay cả khi mô-đun tìm kiếm được kích hoạt. Khi đặt câu hỏi suy nghĩ và lý luận, Mèo không trả lời bằng nguồn. Về phần mình, ChatGPT luôn đánh dấu một hoặc nhiều nguồn để biện minh cho phản hồi của mình khi mô-đun tìm kiếm được kích hoạt.
Sau đó, chúng tôi yêu cầu AI giải thích cho chúng tôi biết một số nhân vật nhất định là ai, như François Bayrou. AI đã giải thích chủ tịch của Phong trào Dân chủ là ai, nhưng không đề cập đến vai trò là Thủ tướng. Tương tự như vậy, chatbot không biết rằng Donald Trump đã giành chiến thắng trong cuộc bầu cử tổng thống lần thứ hai. The Chat đưa tin rằng Trump đã "bóng gió rằng ông có thể sẽ tái tranh cử tổng thống vào năm 2024.".
Trên thực tế, mô-đun tìm kiếm không tự động kích hoạt. Mistral thừa nhận rằng việc tìm kiếm không bắt đầu ngay khi có câu hỏi yêu cầu phải truy cập vào trang web. Khi không còn mô-đun tìm kiếm, Le Chat sẽ phải dựa vào dữ liệu từ cơ sở dữ liệu... cơ sở dữ liệu này sẽ dừng hoạt động vào tháng 10 năm 2023.
Trên thực tế, một số truy vấn không đủ chính xác để kích hoạt hệ thống tìm kiếm. Nếu bạn chỉ hỏi The Cat về danh tính của một người, nó sẽ chỉ giới hạn thông tin trong cơ sở dữ liệu của mình. Mặt khác, nếu bạn yêu cầu anh ấy tìm hiểu về một người vào một ngày cụ thể hoặc bằng cách nêu rõ "hiện tại", bạn sẽ nhận được câu trả lời có nguồn dựa trên thông tin tìm thấy trực tuyến. Về phần mình, ChatGPT theo bản năng hiểu được khi nào nên tìm kiếm trên Internet bằng cách phân tích các yêu cầu của bạn.

Tạo và hiểu hình ảnh​


Trò chuyện cho phép bạn tạo hình ảnh theo yêu cầu. Chỉ cần nhập mô tả để nhận hình ảnh trong vài giây. Để tạo hình ảnh, bạn phải kích hoạt mô-đun tạo hình ảnh trong giao diện. Ngược lại, ChatGPT theo bản năng hiểu được khi nào cần phải tạo hình ảnh, tùy thuộc vào yêu cầu rõ ràng.
lechat-generateur-images.jpg
© 01Net với Le Chat Hình ảnh thu được thành công, sạch và không có lỗi. Đôi khi, Mèo gặp khó khăn trong việc đáp ứng những yêu cầu chính xác nhất của chúng ta. Anh ấy không phải lúc nào cũng hiểu được lời mô tả của chúng tôi và đôi khi đi chệch hướng. Tuy nhiên, công cụ tạo này khá hiệu quả, đặc biệt là khi bạn cung cấp đủ thông tin, đặc biệt là về phong cách hình ảnh mong muốn. Chúng tôi rất tiếc vì phiên bản miễn phí bị hạn chế nghiêm trọng về khả năng tạo hình ảnh. Sau một vài hình ảnh, Le Chat sẽ mời bạn đến phiên bản tiếp theo.
lechat-images-ia.jpg
© 01Net với Le ChatAI của Pháp cũng có thể diễn giải những hình ảnh bạn cung cấp. Mô hình do Mistral thiết kế thực chất là đa phương thức. Nó có thể bao gồm nhiều hình thức giao tiếp, bao gồm văn bản và hình ảnh. Đầu tiên chúng tôi sử dụng Le Chat để phiên âm văn bản có trên hình ảnh. Trong nháy mắt, AI đã có thể đọc và phiên âm văn bản vào giao diện. Chúng tôi cũng yêu cầu chatbot giải thích hoặc mô tả hình ảnh đó. Một lần nữa, robot không gặp vấn đề gì. Tuy nhiên, cần lưu ý rằng khả năng hiểu hình ảnh cơ bản hơn so với ChatGPT. Đối mặt với những yếu tố hàng ngày, Le Chat đôi khi thiếu sự chính xác để diễn giải chúng. Một lần nữa, tất cả đều rất chung chung. Ví dụ, AI không nhận ra Apple TV và bộ mở rộng Wi-Fi Google của chúng tôi, không giống như ChatGPT, có thể nhận dạng trực tiếp cả hai thiết bị.

Sáng tạo và khả năng sử dụng AI​


Nhiều người sử dụng AI để hỗ trợ họ thực hiện các nhiệm vụ sáng tạo, chẳng hạn như viết hoặc đưa ra ý tưởng. Trong cuộc trò chuyện, chúng tôi nhận thấy AI của Mistral hiểu biết khá tốt về tiếng Pháp, cho phép nó điều chỉnh nội dung bài viết theo nhu cầu của chúng tôi. Tuy nhiên, khi chúng tôi yêu cầu Mèo đưa ra các phiên bản khác nhau của một văn bản bằng cách điều chỉnh nó theo phong cách của người viết, kết quả không thuyết phục. Trên thực tế, tất cả các phiên bản đều quá giống nhau...
Bất chấp những lời nhắc nhở của chúng tôi, Mèo vẫn không thể viết một văn bản bắt chước được phong cách của một nhà văn nổi tiếng. Chúng tôi chưa tìm thấy những yếu tố cấu thành nên văn xuôi của Harlan Coben, Michael Connelly hay thậm chí là Frédéric Beigbeder. Mỗi lần, Le Chat đều sử dụng những cấu trúc giống nhau và chỉ thay đổi tính từ. Giọng điệu chung, giống như nội dung câu chuyện, vẫn giữ nguyên. Trong bài tập này, ChatGPT tỏ ra thuyết phục hơn nhiều trong việc tạo ra những câu chuyện được hiệu chỉnh và cá nhân hóa. Để đạt được kết quả này, ChatGPT đã sử dụng thông tin có thể nhìn thấy trên Internet. Chatbot thậm chí còn nêu chi tiết nguồn của nó.
Về phần mình, Le Chat đã không thực hiện bước trực tuyến để đưa ra phản hồi. Như đã giải thích ở trên, AI của Mistral không phải lúc nào cũng hiểu được khi nào thì nên tìm kiếm thông tin trực tuyến. Trên thực tế, các bài viết không có liên quan. Đối với một số nhiệm vụ đòi hỏi sự khéo léo, cơ sở dữ liệu của Mistral là không đủ. Một lần nữa, chúng tôi rất tiếc khi chatbot không hiểu được câu hỏi nào cần tham quan trực tuyến. Để viết phù hợp hơn, chúng tôi phải bảo Mèo tìm hiểu thêm trên Internet. Xét về khả năng sáng tạo và khả năng hiểu các yêu cầu cụ thể nhất của chúng tôi, Le Chat kém hơn đáng kể so với ChatGPT.
Hơn nữa, Le Chat có thể dựa vào các tài liệu bạn cung cấp để xây dựng phản hồi của mình. AI sẽ dựa trên các tệp PDF hoặc hình ảnh được cung cấp để trả lời bạn. Những tài liệu này sẽ ảnh hưởng đến cách phản hồi của Chat. Về điểm này, Mistral đã không làm chúng ta thất vọng. Nó có thể trả lời các câu hỏi của chúng tôi dựa trên các tài liệu, mặc dù đôi khi nó có xu hướng suy diễn bằng cách sử dụng cơ sở dữ liệu riêng của nó.

Bộ nhớ AI​


Khi bạn trò chuyện lâu với AI, như một phần của dự án hoặc giải quyết vấn đề, bạn sẽ đánh giá cao việc nó ghi nhớ các yếu tố đã đề cập trước đó trong cuộc trò chuyện. Chatbot có bộ nhớ cho phép ghi lại các hướng dẫn hoặc yêu cầu để sử dụng sau. Theo thời gian, ChatGPT đã trở nên xuất sắc trong việc này.
Trong các thí nghiệm của chúng tôi, Chat đã chứng minh được trí nhớ tốt. Chúng tôi đã trò chuyện với AI về hàng chục câu hỏi và không quên những hướng dẫn được truyền đạt khi bắt đầu cuộc trao đổi. Tuy nhiên, đôi khi, chatbot có xu hướng đi chệch hướng, bỏ sót một yếu tố này hay yếu tố khác. Tuy nhiên, chúng tôi không gọi anh ấy ra lệnh quá thường xuyên.

Các biện pháp bảo vệ của mèo​


Giống như tất cả các nhà thiết kế AI, Mistral đã triển khai các biện pháp bảo vệ để ngăn AI trả lời các câu hỏi về hoạt động tội phạm hoặc đưa ra những bình luận gây sốc. Rõ ràng, mọi thứ đã được thực hiện để đẩy trí tuệ nhân tạo đến giới hạn của nó và nhận được những phản hồi có vấn đề. Không thành công. Bất chấp mọi nỗ lực của chúng tôi, Le Chat vẫn không thèm sản xuất nội dung liên quan đến các hoạt động bất hợp pháp. Có vẻ như Mistral đã thực hiện các biện pháp phòng ngừa cần thiết.

Thiếu đào tạo và dữ liệu​


Không giống như ChatGPT, Le Chat hiện đang trong giai đoạn thử nghiệm. Như Arthur Mensch giải thích, "chúng ta cũng phải chấp nhận thực tế rằng đây là một công nghệ mới". Không giống như các đối thủ của mình, Le Chat vẫn còn thiếu sót nghiêm trọng trong quá trình đào tạo. Điều này giải thích hầu hết những hạn chế của nó, bao gồm cả việc thiếu sáng tạo.
Với nhiều khóa đào tạo và dữ liệu hơn, Le Chat có thể đưa ra một giải pháp thay thế thuyết phục cho ChatGPT. Hiện tại, chatbot của Mistral có vẻ ngang bằng hơn với phiên bản công khai đầu tiên của ChatGPT, ra mắt vào cuối năm 2022, hoặc thậm chí là GPT-4, được phát hành sau đó vài tháng. Tuy nhiên, Chat không thể sánh được với các mô hình mới nhất của OpenAI, bao gồm cả ChatGPT-4o. Chúng tôi tin rằng trung tâm dữ liệu AI tương lai của Mistral tại Pháp sẽ là bước ngoặt thay đổi cuộc chơi.
 
Back
Bên trên