Mô hình này được công bố trên HF papers vào ngày 2020-06-24 và được đóng góp cho Hugging Face Transformers vào ngày 2023-06-20.

XLSR-Wav2Vec2

Tổng quan

Mô hình XLSR-Wav2Vec2 được đề xuất trong Unsupervised Cross-Lingual Representation Learning For Speech Recognition bởi Alexis Conneau, Alexei Baevski, Ronan Collobert, Abdelrahman Mohamed, Michael Auli.

Tóm tắt từ bài báo như sau:

Bài báo này giới thiệu XLSR, mô hình học các biểu diễn giọng nói đa ngôn ngữ bằng cách tiền huấn luyện một mô hình duy nhất từ dạng sóng thô của giọng nói trong nhiều ngôn ngữ. Chúng tôi xây dựng dựa trên wav2vec 2.0, được huấn luyện bằng cách giải quyết một tác vụ tương phản trên các biểu diễn giọng nói tiềm ẩn đã che mặt nạ, đồng thời học một lượng tử hóa của các biến tiềm ẩn được chia sẻ giữa các ngôn ngữ. Mô hình thu được sau đó được tinh chỉnh trên dữ liệu có nhãn và các thí nghiệm cho thấy tiền huấn luyện đa ngôn ngữ vượt trội đáng kể so với tiền huấn luyện đơn ngôn ngữ. Trên bộ đánh giá CommonVoice, XLSR cho thấy tỷ lệ lỗi âm vị tương đối giảm 72% so với các kết quả tốt nhất đã biết. Trên BABEL, phương pháp của chúng tôi cải thiện tỷ lệ lỗi từ 16% tương đối so với một hệ thống tương đương. Phương pháp của chúng tôi cho phép một mô hình nhận dạng giọng nói đa ngôn ngữ duy nhất có khả năng cạnh tranh với các mô hình đơn lẻ mạnh. Phân tích cho thấy các biểu diễn giọng nói rời rạc tiềm ẩn được chia sẻ giữa các ngôn ngữ, với mức độ chia sẻ tăng lên đối với các ngôn ngữ có quan hệ gần gũi. Chúng tôi hy vọng thúc đẩy nghiên cứu trong lĩnh vực hiểu giọng nói ít tài nguyên bằng cách phát hành XLSR-53, một mô hình lớn được tiền huấn luyện trên 53 ngôn ngữ.

Mã nguồn gốc có thể được tìm thấy tại đây.

Lưu ý: Meta (FAIR) đã phát hành một phiên bản mới của Wav2Vec2-BERT 2.0 - nó được huấn luyện trước trên 4,5 triệu giờ âm thanh. Chúng tôi đặc biệt khuyến nghị sử dụng nó cho các tác vụ tinh chỉnh, ví dụ như theo hướng dẫn này.

Mẹo sử dụng

• XLSR-Wav2Vec2 là một mô hình giọng nói nhận vào một mảng float tương ứng với dạng sóng thô của tín hiệu giọng nói.
• Mô hình XLSR-Wav2Vec2 được huấn luyện bằng phân loại thời gian liên kết (CTC) nên đầu ra của mô hình phải được giải mã bằng Wav2Vec2CTCTokenizer.

Kiến trúc của XLSR-Wav2Vec2 dựa trên mô hình Wav2Vec2, do đó bạn có thể tham khảo trang tài liệu của Wav2Vec2.