XLSR-Wav2Vec2

概述

XLSR-Wav2Vec2 模型由 Alexis Conneau、Alexei Baevski、Ronan Collobert、Abdelrahman Mohamed 和 Michael Auli 在 Unsupervised Cross-Lingual Representation Learning For Speech Recognition 中提出。

该论文的摘要如下：

本文提出了 XLSR，它通过从多种语言的原始语音波形中预训练单一模型来学习跨语言语音表示。我们基于 wav2vec 2.0，该模型通过解决针对掩码潜在语音表示的对比任务进行训练，并联合学习一种跨语言共享的潜在表示量化。所得模型在标注数据上进行微调，实验表明跨语言预训练显著优于单语言预训练。在 CommonVoice 基准测试中，与已知最佳结果相比，XLSR 的音素错误率相对降低了 72%。在 BABEL 上，与可比的系统相比，我们的方法使词错误率相对降低了 16%。我们的方法实现了一个单一的多语言语音识别模型，其性能可与强大的单语言模型相媲美。分析表明，潜在的离散语音表示在语言间是共享的，且相关语言之间的共享程度更高。我们希望通过发布 XLSR-53——一个在 53 种语言上预训练的大模型——来推动低资源语音理解领域的研究。

原始代码可以在此处找到。

注意：Meta（FAIR）发布了 Wav2Vec2-BERT 2.0 的新版本——它在 450 万小时的音频上进行了预训练。我们特别推荐将其用于微调任务，例如按照此指南进行操作。

使用技巧

XLSR-Wav2Vec2 是一个语音模型，它接受一个浮点数数组，该数组对应于语音信号的原始波形。
XLSR-Wav2Vec2 模型是使用连接时序分类（CTC）进行训练的，因此模型输出必须使用 Wav2Vec2CTCTokenizer 进行解码。

XLSR-Wav2Vec2 的架构基于 Wav2Vec2 模型，因此可以参考 Wav2Vec2 的文档页面。

Update on GitHub