Hệ thống mới này không chỉ thiết kế các mô hình Lego khớp với mô tả văn bản (lời nhắc) mà còn đảm bảo rằng chúng có thể được xây dựng từng viên gạch một trong thế giới thực, dù bằng tay hay với sự hỗ trợ của rô-bốt, như đã được Ars Technica đưa tin.
Thành tựu thực sự của LegoGPT nằm ở sự tôn trọng các định luật vật lý nhờ vào một phương pháp gọi là "hoàn nguyên có nhận thức về vật lý". Nếu hệ thống phát hiện một bộ phận nào đó có thể làm giảm độ ổn định của kết cấu, hệ thống sẽ xác định viên gạch không ổn định, loại bỏ viên gạch đó và tất cả những viên gạch sau đó, sau đó tìm ra phương pháp tiếp cận mới. Phương pháp này cho phép mô hình AI tự hào có tỷ lệ ổn định trên 98%.
Bên cạnh độ bền, LegoGPT còn tính đến tính thẩm mỹ, cung cấp các tùy chọn về kết cấu và màu sắc. Để xác thực những sáng tạo ảo của mình, các nhà nghiên cứu đã thử nghiệm LegoGPT ngoài đời thực bằng cách sử dụng robot hai tay được trang bị cảm biến lực. Họ lắp ráp các mô hình theo hướng dẫn của AI và những người thử nghiệm cũng tự tay xây dựng một số thiết kế. Do đó, họ có thể xác nhận rằng các mô hình không chỉ ổn định mà còn giống con người.
Tin tốt cho tất cả những người đam mê gạch là LegoGPT hoàn toàn miễn phí. Các nhà nghiên cứu (Ava Pun, Kangle Deng, Ruixuan Liu, Deva Ramanan, Changliu Liu và Jun-Yan Zhu) đã chia sẻ tập dữ liệu, mã và mô hình của họ trên trang web dự án và trên GitHub.
LegoGPT hoạt động như thế nào?
Công cụ này dựa trên công nghệ mô hình ngôn ngữ lớn (LLM), tương tự như công nghệ được các chatbot như ChatGPT sử dụng. Tương tự như giải pháp AI của OpenAI có khả năng dự đoán từ tiếp theo, LegoGPT dự đoán viên gạch tiếp theo sẽ được lắp ráp để tạo ra kế hoạch lắp ráp từng bước. Nhóm nghiên cứu đã sử dụng mô hình Llama-3.2-1B-Instruct của Meta để đạt được kết quả này, đào tạo LegoGPT trên một tập dữ liệu gồm hơn 47.000 cấu trúc Lego, bao gồm 28.000 thành phần 3D riêng biệt.Thành tựu thực sự của LegoGPT nằm ở sự tôn trọng các định luật vật lý nhờ vào một phương pháp gọi là "hoàn nguyên có nhận thức về vật lý". Nếu hệ thống phát hiện một bộ phận nào đó có thể làm giảm độ ổn định của kết cấu, hệ thống sẽ xác định viên gạch không ổn định, loại bỏ viên gạch đó và tất cả những viên gạch sau đó, sau đó tìm ra phương pháp tiếp cận mới. Phương pháp này cho phép mô hình AI tự hào có tỷ lệ ổn định trên 98%.
Bên cạnh độ bền, LegoGPT còn tính đến tính thẩm mỹ, cung cấp các tùy chọn về kết cấu và màu sắc. Để xác thực những sáng tạo ảo của mình, các nhà nghiên cứu đã thử nghiệm LegoGPT ngoài đời thực bằng cách sử dụng robot hai tay được trang bị cảm biến lực. Họ lắp ráp các mô hình theo hướng dẫn của AI và những người thử nghiệm cũng tự tay xây dựng một số thiết kế. Do đó, họ có thể xác nhận rằng các mô hình không chỉ ổn định mà còn giống con người.
LegoGPT vẫn còn một số hạn chế
Mặc dù đầy hứa hẹn, phiên bản LegoGPT hiện tại bị giới hạn trong không gian xây dựng 20x20x20 và chỉ sử dụng tám loại gạch tiêu chuẩn trong số 21 danh mục đối tượng mà nó đã được đào tạo. Tuy nhiên, nhóm Carnegie Mellon có kế hoạch mở rộng thư viện gạch (bao gồm cả độ dốc và ô gạch) và làm phong phú thêm cơ sở dữ liệu đào tạo của mình.Tin tốt cho tất cả những người đam mê gạch là LegoGPT hoàn toàn miễn phí. Các nhà nghiên cứu (Ava Pun, Kangle Deng, Ruixuan Liu, Deva Ramanan, Changliu Liu và Jun-Yan Zhu) đã chia sẻ tập dữ liệu, mã và mô hình của họ trên trang web dự án và trên GitHub.
