Ant Group và Đại học Tsinghua Ra Mắt AReaL v1.0: Khung Học Tăng Cường Tích Hợp Một Chạm Cho AI Agent

Ant Group và Đại học Tsinghua Công Bố AReaL v1.0 - Khung Học Tăng Cường Một Chạm

Ant Group cùng Đại học Tsinghua đã chính thức phát hành mã nguồn mở AReaL v1.0, một khung học tăng cường (reinforcement learning - RL) được thiết kế để giúp các AI agent tích hợp dễ dàng chỉ qua một cú nhấp chuột.

Khả Năng Kết Nối Đa Dạng và Tiện Lợi

Bản phát hành ổn định này cho phép các nhà phát triển kết nối nhiều khung agent khác nhau vào hệ thống đào tạo RL mà không cần chỉnh sửa mã nguồn hiện có. Điều này giúp mô hình học tăng cường dựa trên agent trở thành giải pháp plug and play thực thụ.

Công Nghệ Tiên Tiến: Hệ Thống Đào Tạo RL Mô Hình Lớn Bất Đồng Bộ Toàn Phần

AReaL được đánh giá là hệ thống đầu tiên hoàn toàn bất đồng bộ dành cho việc đào tạo RL với các mô hình lớn, nhờ tách rời quá trình suy diễn (inference) và đào tạo. Bằng việc đưa vào lớp Proxy Worker giữa agent và hệ thống đào tạo, nhà phát triển chỉ cần thay đổi một điểm cuối yêu cầu để kích hoạt đào tạo.

Tối Ưu Hiệu Suất GPU và Nâng Cao Trình Độ Lý Luận

Trong khi các mô hình ngôn ngữ lớn đang phát triển theo hướng kiến trúc tập trung vào suy luận logic, học tăng cường trở nên vô cùng quan trọng. Phần lớn các hệ thống RL hiện nay vẫn dựa vào cơ chế đồng bộ, khiến tài nguyên GPU bị lãng phí khi phải chờ đợi. AReaL khắc phục điểm yếu này bằng cách tách hoàn toàn quá trình sinh dữ liệu và đào tạo, loại bỏ hoàn toàn thời gian chờ đồng bộ.

Kết quả thực nghiệm cho thấy, với cùng cấu hình GPU, AReaL tăng tốc độ đào tạo lên đến 2,77 lần so với các hệ thống đồng bộ hàng đầu, đồng thời cải thiện hiệu suất giải quyết vấn đề trong một số tác vụ nhất định.

Giới Thiệu Archon: Động Cơ Đào Tạo Nội Tại Đa Chiều Hiệu Quả

Bản phát hành còn kèm theo Archon, một động cơ đào tạo nội tại xây dựng trên nền tảng PyTorch với khả năng song song hóa 5 chiều đầy đủ, hỗ trợ đào tạo phân tán cho các mô hình Mixture-of-Experts với quy mô hàng trăm tỷ tham số.

Mã nguồn và tài liệu chi tiết hiện đã có sẵn tại cộng đồng mã nguồn mở inclusionAI.

Nguồn: CLS AIdaily