OpenMOSS và MOSI Ra Mắt MOVA: Mô Hình Âm Thanh - Hình Ảnh Mở Nguồn Đạt Chuẩn Phim Điện Ảnh Với Tính Năng Đồng Bộ Hóa Tuyệt Đỉnh

OpenMOSS và MOSI chính thức giới thiệu MOVA - Mô hình tạo sinh âm thanh hình ảnh mã nguồn mở

Ngày 29 tháng 1 — Nhóm OpenMOSS, phối hợp cùng startup MOSI, đã công bố phát hành MOVA (MOSS-Video-and-Audio), một mô hình tạo sinh âm thanh và hình ảnh đầu-cuối (end-to-end).

MOVA - Mô hình âm thanh hình ảnh hiệu suất cao mở đầu tiên tại Trung Quốc

Là mô hình âm thanh - hình ảnh mã nguồn mở hiệu suất cao đầu tiên của Trung Quốc, MOVA đạt được khả năng tạo sinh đồng bộ thực sự giữa âm thanh và hình ảnh, tạo ra âm thanh cùng lúc với hình ảnh thay vì ghép nối sau khi hoàn tất.

Mô hình có thể tạo ra các đoạn clip âm thanh - hình ảnh dài lên đến 8 giây với độ phân giải tối đa 720p, đồng thời thể hiện hiệu suất cấp độ ngành trong việc đồng bộ môi đa ngôn ngữ và tính phù hợp của âm thanh môi trường.

Ý nghĩa lớn trong ngành và bước đi mở nguồn toàn diện

Điểm khác biệt của MOVA nằm ở tầm ảnh hưởng rộng lớn hơn trong ngành. Khi các hệ thống tiên tiến như Sora 2 và Veo 3 dần chuyển sang đóng nguồn, MOVA áp dụng cách tiếp cận mở nguồn đầy đủ, công khai trọng số mô hình, mã nguồn huấn luyện, mã nguồn suy luận và các công thức điều chỉnh tinh chỉnh, thách thức sự thống trị ngày càng tăng của các công nghệ tạo sinh âm thanh - hình ảnh độc quyền.

Hiệu suất đỉnh cao của MOVA

MOVA thiết lập tiêu chuẩn mới cho các mô hình mã nguồn mở với khả năng mô phỏng âm thanh vật lý xuất sắc, tái hiện chính xác các tình huống như tiếng động cơ SUV gầm rú trên sa mạc hay sự vang vọng của tiếng súng trong chiến đấu đô thị, đạt được sự đồng bộ sâu sắc giữa âm thanh và hình ảnh.

Chất lượng đồng bộ môi đa ngôn ngữ của MOVA đạt chuẩn phim điện ảnh với chuyển động môi, biểu cảm khuôn mặt và ngữ điệu được căn chỉnh sát sao trong các cảnh đối thoại bằng tiếng Trung và tiếng Anh. Khả năng tạo video từ văn bản của MOVA cũng vượt trội so với một số mô hình đóng nguồn hiện đại.

Cấu trúc kỹ thuật và chiến lược đào tạo

MOVA được xây dựng dựa trên kiến trúc Mixture-of-Experts (MoE) với 32 tỷ tham số, tích hợp thiết kế tháp đôi dị thể, các module kết nối hai chiều và cơ chế Aligned RoPE nhằm giải quyết vấn đề đồng bộ hóa đa phương thức âm thanh - hình ảnh.

Chiến lược đào tạo ba giai đoạn kết hợp quy trình làm việc dựa trên tác nhân giúp cải thiện độ ổn định trong quá trình tạo sinh và khả năng tuân theo hướng dẫn.

Kết quả đánh giá và khả năng áp dụng

Trong các bài kiểm tra chuẩn, MOVA vượt trội hơn các đối thủ như LTX-2 và OVI trên các chỉ số quan trọng như đồng bộ môi và độ chính xác phát âm.

MOVA đạt điểm ELO 1113.8 trong các bài đánh giá đối kháng, với tỷ lệ chiến thắng vượt 70% so với nhiều mô hình khác. Việc phát hành mở toàn bộ giúp giảm đáng kể rào cản áp dụng trong ngành công nghiệp.

Tham khảo và liên kết dự án

• GitHub MOVA
• Trang dự án MOSI

Nguồn: Synced