Unitree Robotics Công Bố Mã Nguồn Mở Mô Hình Thị Giác-Ngôn Ngữ-Hành Động Đa Phương Thức: UnifoLM-VLA-0

Unitree Robotics ra mắt mã nguồn mở UnifoLM-VLA-0

Ngày 29 tháng 1, Unitree Robotics thông báo phát hành mã nguồn mở cho mô hình lớn Vision-Language-Action (VLA) của họ mang tên UnifoLM-VLA-0. Mô hình này được thiết kế để khắc phục những hạn chế của các mô hình thị giác-ngôn ngữ truyền thống (VLM) trong các tương tác vật lý. Qua quá trình huấn luyện tiền định hướng, mô hình tiến hóa từ khả năng hiểu hình ảnh-kèm văn bản thành một "bộ não" hiện hữu có khả năng suy luận kiến thức vật lý cơ bản.

Mô hình dành riêng cho robot hình người đa năng

Theo Unitree, UnifoLM-VLA-0 nằm trong gia đình mô hình UnifoLM và được phát triển nhằm mục đích thao tác đa năng cho robot hình người. Mô hình dựa trên phiên bản mã nguồn mở Qwen2.5-VL-7B và được huấn luyện liên tục trên bộ dữ liệu đa nhiệm bao gồm các tình huống tổng quát lẫn chuyên biệt cho robot, từ đó nâng cao sự phù hợp giữa nhận thức không gian hình học và suy luận ngữ nghĩa.

Đột phá kỹ thuật trong tích hợp đa chiều

Điểm nổi bật kỹ thuật của mô hình là tích hợp sâu sắc các chỉ dẫn văn bản với chi tiết không gian 2D và 3D để đáp ứng yêu cầu cao của các nhiệm vụ thao tác. Mô hình tích hợp dữ liệu dự đoán động lực học đầu-cuối nhằm tăng khả năng tổng quát hóa. Đặc biệt, Unitree đã bổ sung một đầu dự đoán hành động vào kiến trúc và làm sạch hệ thống các bộ dữ liệu mã nguồn mở một cách có hệ thống.

Chỉ với khoảng 340 giờ dữ liệu từ robot thực tế, kết hợp kỹ thuật phân đoạn dự đoán hành động và ràng buộc động lực học, mô hình đạt được khả năng mô hình hóa thống nhất các chuỗi hành động phức tạp và kế hoạch dài hạn.

Hiệu suất vượt trội trong thử nghiệm

Kết quả đánh giá cho thấy UnifoLM-VLA-0 vượt trội đáng kể so với các mô hình cơ bản trên nhiều chuẩn nhận thức không gian khác nhau. Trong chế độ "không suy nghĩ", hiệu năng của nó tương đương với Gemini-Robotics-ER 1.5. Trên chuẩn mô phỏng LIBERO, mô hình đa nhiệm đạt gần mức tối ưu hiện nay.

Ứng dụng thực tế trên robot hình người Unitree G1

Trong các thử nghiệm robot thực tế, UnifoLM-VLA-0 thể hiện khả năng mạnh mẽ trên robot hình người Unitree G1, hoàn thành 12 nhóm tác vụ thao tác phức tạp — bao gồm mở đóng ngăn kéo, cắm rút đầu nối và các thao tác lấy đặt — chỉ với một mạng lưới chính sách duy nhất. Unitree cho biết mô hình duy trì độ ổn định và khả năng chống nhiễu mạnh, ngay cả khi chịu tác động từ môi trường bên ngoài.

Mã nguồn và thông tin dự án

Trang dự án và mã nguồn mở hiện có sẵn trên GitHub để các nhà phát triển và nhà nghiên cứu tiếp cận.

• Trang dự án: https://unigen-x.github.io/unifolm-vla.github.io/
• GitHub: https://github.com/unitreerobotics/unifolm-vla

Nguồn: iFeng Tech