Shanghai AI Lab Công Bố Mô Hình Khoa Học Intern-S1-Pro Với Hơn 1 Nghìn Tỷ Tham Số Mở Nguồn

Shanghai AI Lab Ra Mắt Mô Hình AI Khoa Học Mở Nguồn Intern-S1-Pro

Ngày 4 tháng 2 — Phòng thí nghiệm AI Thượng Hải (Shanghai AI Laboratory) đã công bố phát hành mã nguồn mở của Intern-S1-Pro, một mô hình nền tảng đa phương thức khoa học được cho là lớn nhất trong cộng đồng mã nguồn mở toàn cầu.

Cấu trúc và Đặc điểm Nổi bật của Intern-S1-Pro

Mô hình được xây dựng trên kiến trúc "hợp nhất chuyên dụng tổng quát" SAGE của phòng thí nghiệm, sử dụng thiết kế Mixture-of-Experts (MoE) với tổng cộng 1 nghìn tỷ tham số. Trong mỗi lượt suy luận, chỉ có tám chuyên gia được kích hoạt, tương đương khoảng 22 tỷ tham số.

Shanghai AI Lab khẳng định mô hình này mang lại tiến bộ vượt bậc trong các năng lực khoa học cốt lõi:

• Đứng trong nhóm dẫn đầu toàn cầu về điểm số benchmark AI-for-Science
• Đạt mức suy luận toán học tương đương huy chương vàng Olympic
• Bên cạnh đó, mô hình còn thuộc hàng đầu trong các mô hình mã nguồn mở cho các quy trình dựa trên tác nhân trong nghiên cứu khoa học thực tế

Hai Đột Phá Kiến Trúc Cơ Bản

Intern-S1-Pro giới thiệu hai bước tiến quan trọng về mặt kiến trúc:

• Áp dụng mã hóa vị trí Fourier và bộ mã hóa thời gian được thiết kế lại để nhất quán trong việc hiểu các tín hiệu từ quy mô vi mô đến vĩ mô
• Sử dụng cơ chế định tuyến hiệu quả để cải thiện tính ổn định và hiệu suất tính toán trong huấn luyện các mô hình MoE với quy mô nghìn tỷ tham số

Khẳng Định Công Nghệ Tự Chủ Toàn Diện

Phòng thí nghiệm AI Thượng Hải cho biết, Intern-S1-Pro xác thực một chuỗi công nghệ hoàn toàn tự chủ, từ kiến trúc mô hình nguyên bản đến cơ sở hạ tầng tính toán phát triển trong nước.

Nguồn: IT home