Tencent Hunyuan Mở Mã Nguồn HPC-Ops, Tăng 30% Hiệu Suất Dự Đoán AI

Tencent Hunyuan Công Bố Mã Nguồn Mở HPC-Ops

Ngày 4 tháng 2 — Nhóm Hunyuan AI Infrastructure của Tencent đã chính thức phát hành mã nguồn mở HPC-Ops, một thư viện operator hiệu suất cao chuẩn sản xuất được thiết kế dành cho việc dự đoán các mô hình ngôn ngữ lớn.

HPC-Ops Giải Quyết Các Nút Thắt Trong Thực Tiễn

Được xây dựng từ đầu nhằm xử lý các nút thắt trong môi trường sản xuất thực tế, HPC-Ops tận dụng trừu tượng kiến trúc, điều chỉnh vi kiến trúc sâu và tối ưu hóa theo từng lệnh để đưa các operator cốt lõi tiến gần hơn tới giới hạn hiệu năng phần cứng.

Qua các bài kiểm tra thực tế, Tencent cho biết HPC-Ops đã tăng giá trị QPM (quá trình dự đoán) của các mô hình Hunyuan lên 30%, đồng thời cải thiện QPM của mô hình DeepSeek thêm 17%.

Hiệu Suất Đáng Kể Theo Các Bài Kiểm Tra

Các tiêu chuẩn đánh giá do Tencent công bố cho thấy mức tăng hiệu suất ấn tượng đối với từng operator cụ thể:

• Operator attention đạt hiệu suất lên tới 2,22 lần so với FlashInfer/FlashAttention;
• GroupGEMM đạt hiệu suất tối đa 1,88 lần so với DeepGEMM;
• FusedMoE đạt tới 1,49 lần hiệu suất của TensorRT-LLM.

Định Hướng Phát Triển Tương Lai

Về kế hoạch tiếp theo, Tencent sẽ tập trung phát triển các operator Attention thưa để giải quyết nút thắt bối cảnh dài, mở rộng các chiến lược lượng tử hóa, và phát triển các kernel tối ưu đồng bộ tính toán - truyền thông nhằm giảm thiểu chi phí giao tiếp trong mô hình dự đoán phân tán.

Nguồn: IT Home