Hugging Face's logo

Transformers documentation

Wav2Vec2

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

このモデルは2020年6月20日にHF papersで公開され、2021年2月2日にHugging Face Transformersに貢献されました。

Wav2Vec2

FlashAttention SDPA

概要

Wav2Vec2モデルは、Alexei Baevski、Henry Zhou、Abdelrahman Mohamed、Michael Auli によって提案された wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations に記載されています。

論文の抄録は以下の通りです。

本研究では、音声オーディオのみから強力な表現を学習し、その後、転写された音声でファインチューニングを行うことで、概念上はより単純でありながら、最良の半教師あり手法を上回ることを初めて示しました。wav2vec 2.0 は潜在空間において音声入力をマスクし、潜在表現の量子化に対して定義された対照学习任务を解決します。この潜在表現は共同で学習されます。Librispeech のすべてのラベル付きデータを用いた実験では、clean/other テストセットでそれぞれ 1.8/3.3 WER を達成しました。ラベル付きデータの量を 1 時間に削減した場合、wav2vec 2.0 は 100 時間サブセットにおいて、ラベル付きデータを 100 分の 1 の量で済ませながら、従来の最良の結果を上回りました。ラベル付きデータをわずか 10 分間にし、53k 時間のラベルなしデータで事前学習を行っても、依然として 4.8/8.2 WER を達成します。これは、限られた量のラベル付きデータでの音声認識の実現可能性を示しています。

このモデルは patrickvonplaten によって提供されました。

注: Meta (FAIR) は Wav2Vec2-BERT 2.0 の新しいバージョンをリリースしました。450万時間の音声で事前学習されています。ファインチューニングタスク、例えば このガイド に従った場合などでの使用を特に推奨します。

use_kernels=True を from_pretrained() に設定すると、対応するレイヤーが Hub からの最適化されたカーネルに置き換えられます。詳細は カーネルの読み込み を参照してください。

使用のコツ

  • Wav2Vec2は、音声信号の生波形に対応するfloat配列を受け取る音声モデルです。
  • Wav2Vec2 モデルは connectionist temporal classification (CTC) を用いて学習されているため、モデルの出力は Wav2Vec2CTCTokenizer を使用してデコードする必要があります。

Flash Attention 2 の使用

Flash Attention 2 は、モデルのより高速で最適化されたバージョンです。

インストール

まず、お使いのハードウェアが Flash Attention 2 と互換性があるかどうかを確認してください。互換性のあるハードウェアの最新リストは、公式ドキュメントで確認できます。

次に、Flash Attention 2 の最新バージョンをインストールします:

pip install -U flash-attn --no-build-isolation

使用方法

Flash Attention 2 を使用してモデルを読み込むには、from_pretrained() に引数 attn_implementation="flash_attention_2" を渡します。また、音声品質への劣化はほぼないものの、メモリ使用量が大幅に削減され、推論が高速になるため、モデルは半精度（例: torch.float16）で読み込みます。

from transformers import Wav2Vec2Model


model = Wav2Vec2Model.from_pretrained("facebook/wav2vec2-large-960h-lv60-self", attn_implementation="flash_attention_2", device_map="auto")
...

期待される高速化

以下は、facebook/wav2vec2-large-960h-lv60-self モデルの純粋な推論時間を比較する期待される高速化の図です。比較対象は、transformers のネイティブ実装と、flash-attention-2 および sdpa (scale-dot-product-attention) バージョンです。librispeech_asr の clean 検証スプリットで得られた平均高速化率を示しています。

リソース

Wav2Vec2の入門を支援するための、Hugging Face公式およびコミュニティ（🌎で示されます）のリソースのリストです。ここにリソースを掲載していただくことを希望される場合は、Pull Requestをオープンしてください。レビューいたします。リソースは、既存のリソースと重複するのではなく、新しいことを示すものであることが望ましいです。

Audio Classification
Automatic Speech Recognition

🚀 デプロイ

  • Hugging FaceのTransformersとAmazon SageMakerを使用してWav2Vec2を自動音声認識にデプロイする方法に関するブログ記事。

Wav2Vec2Config

クラス transformers.Wav2Vec2Config

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int | None = 32hidden_size: int = 768num_hidden_layers: int = 12num_attention_heads: int = 12intermediate_size: int = 3072hidden_act: str = 'gelu'hidden_dropout: float | int = 0.1activation_dropout: float | int = 0.1attention_dropout: float | int = 0.1feat_proj_dropout: float | int = 0.0feat_quantizer_dropout: float | int = 0.0final_dropout: float | int = 0.1layerdrop: float | int = 0.1initializer_range: float = 0.02layer_norm_eps: float = 1e-05feat_extract_norm: str = 'group'feat_extract_activation: str = 'gelu'conv_dim: list[int] | tuple[int, ...] = (512, 512, 512, 512, 512, 512, 512)conv_stride: list[int] | tuple[int, ...] = (5, 2, 2, 2, 2, 2, 2)conv_kernel: list[int] | tuple[int, ...] = (10, 3, 3, 3, 3, 2, 2)conv_bias: bool = Falsenum_conv_pos_embeddings: int = 128num_conv_pos_embedding_groups: int = 16do_stable_layer_norm: bool = Falseapply_spec_augment: bool = Truemask_time_prob: float | int = 0.05mask_time_length: int = 10mask_time_min_masks: int = 2mask_feature_prob: float | int = 0.0mask_feature_length: int = 10mask_feature_min_masks: int = 0num_codevectors_per_group: int = 320num_codevector_groups: int = 2contrastive_logits_temperature: float = 0.1num_negatives: int = 100codevector_dim: int = 256proj_codevector_dim: int = 256diversity_loss_weight: float = 0.1ctc_loss_reduction: str = 'sum'ctc_zero_infinity: bool = Falseuse_weighted_layer_sum: bool = Falseclassifier_proj_size: int = 256tdnn_dim: list[int] | tuple[int, ...] = (512, 512, 512, 512, 1500)tdnn_kernel: list[int] | tuple[int, ...] = (5, 3, 3, 1, 1)tdnn_dilation: list[int] | tuple[int, ...] = (1, 2, 3, 1, 1)xvector_output_dim: int = 512pad_token_id: int | None = 0bos_token_id: int | None = 1eos_token_id: int | list[int] | None = 2add_adapter: bool = Falseadapter_kernel_size: int = 3adapter_stride: int = 2num_adapter_layers: int = 3output_hidden_size: int | None = Noneadapter_attn_dim: int | None = None )

パラメータ

  • vocab_size (int、任意、デフォルトは 32) — モデルの語彙サイズ。input_ids で表現できるトークンの種類数を定義します。
  • hidden_size (int、任意、デフォルトは 768) — 隠れ表現の次元数。
  • num_hidden_layers (int、任意、デフォルトは 12) — Transformer デコーダーの隠れ層の数。
  • num_attention_heads (int、任意、デフォルトは12) — Transformerデコーダーの各アテンション層におけるアテンションヘッドの数。
  • intermediate_size (int、任意、デフォルトは3072) — MLP 表現の次元数。
  • hidden_act (str、任意、デフォルトは gelu) — デコーダーで使用する非線形活性化関数（関数または文字列）。例えば、"gelu"、 "relu"、"silu" など。
  • hidden_dropout (Union[float, int]、省略可、デフォルトは 0.1) — embeddings、encoder、pooler 内のすべての全結合層における dropout 確率です。
  • activation_dropout (Union[float, int]、任意、デフォルトは 0.1) — 全結合層内の活性化の dropout 率です。
  • attention_dropout (Union[float, int]、任意、デフォルトは 0.1) — アテンション確率のドロップアウト率です。
  • feat_proj_dropout (float、任意、デフォルト値は 0.0) — 特徴量エンコーダーの出力に対する dropout 確率です。
  • feat_quantizer_dropout (float、任意、デフォルト値は 0.0) — 量子化器によって使用される特徴量エンコーダーの出力に対する dropout 確率です。
  • final_dropout (float、任意、デフォルト値は 0.1) — Wav2Vec2ForCTC の最終的な投影層における dropout の確率です。
  • layerdrop (Union[float, int]、任意、デフォルトは 0.1) — LayerDrop の確率です。詳細は [LayerDrop の論文](https://huggingface.co/papers/1909.11556 を参照)をご覧ください。
  • initializer_range (float、任意、デフォルトは 0.02) — すべての重み行列を初期化するための truncated_normal_initializer の標準偏差です。
  • layer_norm_eps (float、任意、デフォルトは 1e-05) — レイヤーノーマル層で使用する epsilon です。
  • feat_extract_norm (str、任意、デフォルトは "group") — 特徴量エンコーダー内の1次元畳み込み層に適用される正規化の種類。"group" は最初の1次元畳み込み層のみに対する group normalization、"layer" はすべての1次元畳み込み層に対する layer normalization を指定します。
  • feat_extract_activation (str, optional, defaults to “gelu”) -- The non-linear activation function (function or string) in the 1D convolutional layers of the feature extractor. If string, “gelu”, “relu”, “selu”and“gelu_new”` are supported.
  • conv_dim (tuple[int] または list[int]、省略可能、デフォルトは (512, 512, 512, 512, 512, 512, 512)) — 特徴量エンコーダー内の各 1 次元畳み込み層の入力および出力チャネル数を定義する整数のタプルです。conv_dim の長さが、1 次元畳み込み層の数を定義します。
  • conv_stride (tuple[int] または list[int]、省略可能、デフォルトは (5, 2, 2, 2, 2, 2, 2)) — 特徴量エンコーダー内の各1次元畳み込み層のストライドを定義する整数のタプルです。conv_stride の長さが畳み込み層の数を定義し、conv_dim の長さと一致する必要があります。
  • conv_kernel (tuple[int] または list[int]、省略可能、デフォルトは (10, 3, 3, 3, 3, 3, 3)) — 特徴量エンコーダー内の各1次元畳み込み層のカーネルサイズを定義する整数のタプルです。conv_kernel の長さが畳み込み層の数を定義し、conv_dim の長さと一致する必要があります。
  • conv_bias (bool、任意、デフォルトはFalse) — 1次元畳み込み層にバイアスがあるかどうか。
  • num_conv_pos_embeddings (int、任意、デフォルト値は 128) — 畳み込み位置埋め込みの数。1 次元畳み込み位置埋め込みレイヤーのカーネルサイズを定義します。
  • num_conv_pos_embedding_groups (int、任意、デフォルト値は 16) — 1 次元畳み込み位置埋め込み層のグループ数。
  • do_stable_layer_norm (bool、省略可能、デフォルトはFalse) — Transformerエンコーダーにstableレイヤーノームアーキテクチャを適用するかどうか。do_stable_layer_norm is Trueはアテンション層の前にレイヤーノームを適用する場合に対応し、do_stable_layer_norm is Falseはアテンション層の後にレイヤーノームを適用する場合に対応します。
  • apply_spec_augment (bool、任意、デフォルトは True) — 特徴量エンコーダーの出力に SpecAugment データ拡張を適用するかどうか。参考として、SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition を参照してください。
  • mask_time_prob (float, optional, defaults to 0.05) — Percentage (between 0 and 1) of all feature vectors along the time axis which will be masked. The masking procedure generates ”mask_time_problen(time_axis)/mask_time_length” independent masks over the axis. If reasoning from the probability of each feature vector to be chosen as the start of the vector span to be masked, mask_time_prob should be `prob_vector_startmask_time_length. Note that overlap may decrease the actual percentage of masked vectors. This is only relevant if apply_spec_augment is True`.
  • mask_time_length (int、任意、デフォルトは 10) — 時間軸に沿ったベクトル範囲の長さ。
  • mask_time_min_masks (int, 任意、デフォルトは 2)、— 時間軸に沿って生成される、長さ mask_feature_length のマスクの最小数です。各タイムステップについて、mask_feature_prob を無視して適用されます。”mask_time_prob*len(time_axis)/mask_time_length < mask_time_min_masks” の場合のみ関連します。
  • mask_feature_prob (float, optional, defaults to 0.0) — Percentage (between 0 and 1) of all feature vectors along the feature axis which will be masked. The masking procedure generates ”mask_feature_problen(feature_axis)/mask_time_length” independent masks over the axis. If reasoning from the probability of each feature vector to be chosen as the start of the vector span to be masked, mask_feature_prob should be `prob_vector_startmask_feature_length. Note that overlap may decrease the actual percentage of masked vectors. This is only relevant if apply_spec_augment is True`.
  • mask_feature_prob (Union[float, int]、任意、デフォルト値は 0.0) — 特徴軸に沿った全特徴ベクトルの中で、マスクされる割合（0 から 1 の間）。 マスク処理では、軸に対して mask_feature_prob*len(feature_axis)/mask_time_length 個の独立したマスクが生成されます。 マスクされるベクトル範囲の開始点として各特徴ベクトルが選択される確率から考えると、mask_feature_prob は prob_vector_start*mask_feature_length であるべきです。 重複により、実際にマスクされるベクトルの割合が減少する可能性があります。これは apply_spec_augment が True の場合にのみ関連します。
  • mask_feature_length (int、任意、デフォルト値は 10)— 特徴量軸に沿ったベクトル範囲の長さ。
  • mask_feature_min_masks (int, 任意、デフォルトは 0)、— mask_feature_prob に関係なく、各タイムステップにおいて、特徴量軸に沿って生成される長さ mask_feature_length のマスクの最小数です。”mask_feature_prob*len(feature_axis)/mask_feature_length < mask_feature_min_masks” の場合にのみ関連します。
  • num_codevectors_per_group (int、任意、デフォルト値は 320)— 各量子化コードブック(グループ)のエントリ数。
  • num_codevectors_per_group (int、任意、デフォルト値は 320)— 各量子化コードブック(グループ)のエントリ数。
  • num_codevector_groups (int、任意、デフォルトは 2) — Product codevector quantization に使用する codevector グループの数。
  • contrastive_logits_temperature (float、任意、デフォルト値は 0.1) — 対比損失における温度パラメータ kappa です。
  • num_negatives (int、任意、デフォルト値は 100) — 対比損失に使用するネガティブサンプルの数。
  • codevector_dim (int、任意、デフォルトは 256) — 量子化された特徴量ベクトルの次元数です。
  • proj_codevector_dim (int、省略可、デフォルトは 256) — 量子化特徴量と Transformer 特徴量の両方の最終的な射影の次元数。
  • diversity_loss_weight (int、任意、デフォルトは 0.1)— コードブック多様性損失の重みです。
  • ctc_loss_reduction (str、省略可、デフォルトは "sum") — torch.nn.CTCLoss の出力に適用する集約方法を指定します。Wav2Vec2ForCTC のインスタンスを学習する場合にのみ関連します。
  • ctc_zero_infinity (bool、任意、デフォルトは False) — torch.nn.CTCLoss の無限損失および関連する勾配をゼロにするかどうか。無限損失は、主にインプットがターゲットにアラインされるほど短すぎる場合に発生します。Wav2Vec2ForCTC のインスタンスをトレーニングする場合にのみ関連します。
  • use_weighted_layer_sum (bool、任意、デフォルトはFalse) — 学習された重みを用いた層出力の加重平均を使用するかどうか。Wav2Vec2ForSequenceClassification のインスタンスを使用する場合にのみ関連します。
  • classifier_proj_size (int、任意、デフォルトは 256) — 分類のためのトークン平均プーリング前の射影の次元数。
  • tdnn_dim (tuple[int] または list[int]、任意、デフォルトは (512, 512, 512, 512, 1500)) — XVector モデルの TDNN モジュールにおける、各 1 次元畳み込み層の出力チャネル数を定義する整数のタプルです。tdnn_dim の長さが TDNN 層の数を定義します。
  • tdnn_kernel (tuple[int] または list[int]、省略可、デフォルトは (5, 3, 3, 1, 1)) — XVector モジュールの TDNN における、各 1 次元畳み込み層のカーネルサイズを定義する整数のタプルです。tdnn_kernel の長さは、tdnn_dim の長さと一致する必要があります。
  • tdnn_dilation (tuple[int] または list[int]、省略可能、デフォルトは (1, 2, 3, 1, 1)) — XVector モデルの TDNN モジュール内の各 1 次元畳み込み層のディレイション係数を定義する整数のタプルです。tdnn_dilation の長さは tdnn_dim の長さと一致する必要があります。
  • xvector_output_dim (int、任意、デフォルトは 512) — XVector 埋め込みベクトルの次元数。
  • pad_token_id (int、任意、デフォルトは 0) — 語彙内でパディングに使用されるトークン ID。
  • bos_token_id (int、任意、デフォルトは 1) — 語彙におけるストリーム開始に使用されるトークン ID。
  • eos_token_id (Union[int, list[int]]、任意、デフォルトは 2) — 語彙内でストリーム終了に使用されるトークン ID。
  • add_adapter (bool、省略可、デフォルトはFalse) — Wav2Vec2 Encoderの上に畳み込みネットワークをスタックするかどうかを指定します。SpeechEncoderDecoderモデルのWav2Vec2をウォームスタートする際に非常に有用です。
  • adapter_kernel_size (int、任意、デフォルトは 3) — アダプターネットワーク内の畳み込み層のカーネルサイズ。add_adapter is True の場合のみ関連します。
  • adapter_stride (int、省略可、デフォルト値は 2)— アダプターネットワーク内の畳み込み層のストライド。add_adapter is True の場合のみ関連します。
  • num_adapter_layers (int、任意、デフォルトは 3) — アダプターネットワークで使用すべき畳み込み層の数。add_adapter is True の場合のみ関連します。
  • output_hidden_size (int, 任意) — エンコーダー出力層の次元数。定義されていない場合、デフォルトで hidden-size になります。add_adapter is True の場合のみ関連します。
  • adapter_attn_dim (int, 任意) — 各アテンションブロックで使用するアテンションアダプター重みの次元数です。アテンションアダプターを使用するモデルの例として、facebook/mms-1b-allがあります。

これは Wav2Vec2Model の設定を保存するための設定クラスです。指定された引数に基づいて Wav2Vec2 モデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、facebook/wav2vec2-base-960h と同様の設定が得られます。

設定オブジェクトはPreTrainedConfigを継承し、モデルの出力を制御するために使用できます。詳細については、PreTrainedConfigのドキュメントを参照してください。

例:

>>> from transformers import Wav2Vec2Config, Wav2Vec2Model

>>> # Initializing a Wav2Vec2 facebook/wav2vec2-base-960h style configuration
>>> configuration = Wav2Vec2Config()

>>> # Initializing a model (with random weights) from the facebook/wav2vec2-base-960h style configuration
>>> model = Wav2Vec2Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

Wav2Vec2CTCTokenizer

class transformers.Wav2Vec2CTCTokenizer

< >

( vocab_filebos_token = '<s>'eos_token = '</s>'unk_token = '<unk>'pad_token = '<pad>'word_delimiter_token = '|'replace_word_delimiter_char = ' 'do_lower_case = Falsetarget_lang = None**kwargs )

パラメータ

  • vocab_file (str) — 語彙を含むファイル。
  • bos_token (str、任意、デフォルトは "<s>") — 文の開始トークンです。
  • eos_token (str、任意、デフォルトは "</s>") — 文の終了トークンです。
  • unk_token (str、任意、デフォルトは "<unk>") — 不明トークンです。語彙に存在しないトークンは ID に変換できず、代わりにこのトークンが設定されます。
  • pad_token (str、任意、デフォルトは "<pad>") — パディングに使用されるトークンです。例えば、長さが異なるシーケンスをバッチ処理する際に使用します。
  • word_delimiter_token (str、任意、デフォルトは "|") — 単語の終わりを定義するために使用されるトークン。
  • do_lower_case (bool、省略可、デフォルトは False) — デコード時に小文字の出力を生成し、小文字の入力を許可するかどうかを指定します。
  • target_lang (str、任意) — トークナイザがデフォルトで設定すべき対象言語。target_lang は、facebook/mms-1b-all のような多言語対応のネストされた語彙に対して定義する必要があります。
  • **kwargs — PreTrainedTokenizer に渡される追加のキーワード引数

Wav2Vec2CTC トークナイザーを構築します。

このトークナイザーは、PreTrainedTokenizer を継承しており、主要なメソッドの一部が含まれています。これらのメソッドに関する詳細については、スーパークラスを参照してください。

__call__

< >

( text: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = Nonetext_pair: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = Nonetext_target: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = Nonetext_pair_target: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = Noneadd_special_tokens: bool = Truepadding: bool | str | PaddingStrategy = Falsetruncation: bool | str | TruncationStrategy | None = Nonemax_length: int | None = Nonestride: int = 0is_split_into_words: bool = Falsepad_to_multiple_of: int | None = Nonepadding_side: str | None = Nonereturn_tensors: str | TensorType | None = Nonereturn_token_type_ids: bool | None = Nonereturn_attention_mask: bool | None = Nonereturn_overflowing_tokens: bool = Falsereturn_special_tokens_mask: bool = Falsereturn_offsets_mapping: bool = Falsereturn_length: bool = Falseverbose: bool = Truetokenizer_kwargs: dict[str, Any] | None = None**kwargs ) → BatchEncoding

パラメータ

  • text (str、list[str]、list[list[str]]、任意) — エンコード対象のシーケンスまたはシーケンスのバッチです。各シーケンスは、文字列または文字列のリスト（事前トークン化済み文字列）であることができます。シーケンスが文字列のリスト（事前トークン化済み）として提供される場合、is_split_into_words=True を設定する必要があります（シーケンスのバッチとの曖昧さを解消するため）。
  • text_pair (str、list[str]、list[list[str]]、任意) — エンコード対象のシーケンスまたはシーケンスのバッチです。各シーケンスは、文字列または文字列のリスト（事前トークン化された文字列）であることができます。シーケンスが文字列のリスト（事前トークン化済み）として提供される場合、is_split_into_words=True を設定する必要があります（シーケンスのバッチとの曖昧さを解消するため）。
  • text_target (str、list[str]、list[list[str]]、任意) — ターゲットテキストとしてエンコードされるシーケンスまたはシーケンスのバッチです。各シーケンスは文字列、または文字列のリスト（プレトークナイズ済み文字列）であることができます。シーケンスが文字列のリスト（プレトークナイズ済み）として提供される場合、is_split_into_words=True を設定する必要があります（シーケンスのバッチとの曖昧さを解消するため）。
  • text_pair_target (str、list[str]、list[list[str]]、任意) — ターゲットテキストとしてエンコードされるシーケンスまたはシーケンスのバッチです。各シーケンスは文字列、または文字列のリスト（プレトークナイズ済み文字列）であることができます。シーケンスが文字列のリスト（プレトークナイズ済み）として提供される場合、is_split_into_words=True を設定する必要があります（シーケンスのバッチとの曖昧さを解消するため）。
  • tokenizer_kwargs (dict[str, Any]、省略可) — トークナイザーに渡す追加の kwargs です。これらは明示的なパラメータおよびその他の kwargs とマージされますが、明示的なパラメータが優先されます。
  • add_special_tokens (bool、省略可、デフォルトは True) — シーケンスをエンコードする際に特殊トークンを追加するかどうかを指定します。これは、入力 ID に自動的に追加されるトークンを定義する基盤となる PretrainedTokenizerBase.build_inputs_with_special_tokens 関数を使用します。bos や eos トークンを自動的に追加したい場合に便利です。
  • padding (bool, str または PaddingStrategy, 省略可, デフォルトは False) — パディングの有効化と制御を行います。以下の値を受け入れます:
    • True または 'longest': バッチ内の最長のシーケンスの長さにパディングします（単一のシーケンスのみが提供された場合は、パディングを行いません）。
    • 'max_length': 引数 max_length で指定された最大長、またはその引数が指定されていない場合はモデルが受け入れ可能な最大入力長までパディングします。
    • False または 'do_not_pad'（デフォルト）：パディングを行いません（つまり、長さが異なるシーケンスのバッチを出力できます）。
  • truncation (bool, str または TruncationStrategy, 省略可能, デフォルトは False) — 切り詰めを有効にし、制御します。以下の値を受け取ります:
    • True または 'longest_first': 引数 max_length で指定された最大長、またはその引数が指定されていない場合はモデルが許容する最大入力長まで切り詰めます。この場合、トークン単位で切り詰めが行われ、ペアのシーケンス（またはペアのバッチ）が提供されている場合は、ペアの中で最も長いシーケンスから1トークンずつ削除します。
    • 'only_first': 引数 max_length で指定された最大長、またはその引数が指定されていない場合はモデルが受け入れることのできる最大入力長まで切り詰めます。この設定では、ペアのシーケンス（またはペアのバッチ）が提供された場合のみ、ペアの最初のシーケンスだけが切り詰められます。
    • 'only_second': 引数 max_length で指定された最大長、またはその引数が指定されていない場合はモデルが受け入れ可能な最大入力長まで切り詰めます。このモードでは、シーケンスのペア（またはペアのバッチ）が提供された場合のみ、ペアの2番目のシーケンスが切り詰められます。
    • False または 'do_not_truncate'（デフォルト）: トランケーションを行いません（つまり、モデルが許容する最大入力サイズを超えるシーケンス長を持つバッチを出力する可能性があります）。
  • max_length (int, 省略可能) — truncation/padding パラメータのいずれかによって使用される最大長を制御します。

    未設定のまま、またはNoneに設定されている場合、truncation/padding パラメータのいずれかが最大長を必要とする場合、事前に定義されたモデルの最大長が使用されます。モデルに特定の最大入力長がない場合（XLNet など）、最大長への truncation/padding は無効になります。

  • stride (int、省略可能、デフォルトは 0) — max_length とともに数値が設定されている場合、return_overflowing_tokens=True で返されるオーバーフローしたトークンは、切り詰められたシーケンスの末尾の一部のトークンを含み、切り詰められたシーケンスとオーバーフローしたシーケンスの間に重複を確保します。この引数の値は、重複するトークンの数を定義します。
  • is_split_into_words (bool、任意、デフォルトは False) — 入力がすでに事前トークン化済み（例：単語に分割済み）かどうかを指定します。True に設定すると、トークナイザーは入力がすでに単語に分割済み（たとえば空白で分割済み）であると仮定し、それをトークン化します。これは NER やトークン分類に有用です。
  • pad_to_multiple_of (int, 任意) — 設定すると、指定された値の倍数にシーケンスをパディングします。padding が有効になっている必要があります。 これは、計算能力が >= 7.5 (Volta) の NVIDIA ハードウェア上で Tensor Cores を使用可能にするために特に有用です。
  • padding_side (str, 省略可) — モデルにパディングを適用する側です。[‘right’, ‘left’] のいずれかを選択してください。 デフォルト値は、同名のクラス属性から取得されます。
  • return_tensors (str または TensorType, 省略可) — 設定すると、Python の整数のリストではなくテンソルを返します。指定可能な値は以下の通りです:
    • 'pt': PyTorchのtorch.Tensorオブジェクトを返します。
    • 'np': Numpy の np.ndarray オブジェクトを返します。
  • return_token_type_ids (bool, 省略可能) — トークンタイプIDを返すかどうか。デフォルトのままにすると、特定のトークナイザーのデフォルトに従ってトークンタイプIDを返します。これは return_outputs 属性で定義されます。

    トークンタイプIDとは?

  • return_attention_mask (bool, 省略可能) — attention mask を返すかどうか。デフォルトのままにすると、 return_outputs 属性によって定義される、特定の tokenizer のデフォルトに従って attention mask を返します。

    アテンションマスクとは?

  • return_overflowing_tokens (bool、任意、デフォルトは False) — 溢れ出したトークンシーケンスを返すかどうかを指定します。入力 ID のシーケンスのペア（またはペアのバッチ）が truncation_strategy = longest_first または True とともに提供された場合、溢れ出したトークンを返す代わりにエラーが発生します。
  • return_special_tokens_mask (bool、省略可能、デフォルトはFalse) — 特殊トークンのマスク情報を返すかどうかを指定します。
  • return_offsets_mapping (bool, 省略可能, デフォルトは False) — 各トークンについて (char_start, char_end) を返すかどうか。

    この機能は、PreTrainedTokenizerFast を継承する高速トークナイザーでのみ利用可能です。Python のトークナイザーを使用している場合、このメソッドは NotImplementedError を送出します。

  • return_length (bool、任意、デフォルトは False) — エンコードされた入力の長さを返すかどうかを指定します。
  • verbose (bool、任意、デフォルトはTrue) — より多くの情報や警告を表示するかどうかを指定します。
  • **kwargs — self.tokenize() メソッドに渡されます

戻り値

BatchEncoding

以下のフィールドを持つBatchEncoding:

  • input_ids — モデルに与えるトークン ID のリスト。

    入力IDとは何ですか？

  • token_type_ids — モデルに渡すトークンタイプIDのリスト（return_token_type_ids=Trueの場合、またはself.model_input_namesに“token_type_ids”が含まれている場合）。

    トークンタイプIDとは?

  • attention_mask — モデルがどのトークンに注意を向けるべきかを指定するインデックスのリスト（return_attention_mask=True の場合、または self.model_input_names に “attention_mask” が含まれている場合）。

    アテンションマスクとは?

  • overflowing_tokens — 溢れ出したトークンシーケンスのリスト（max_lengthが指定され、return_overflowing_tokens=Trueの場合）。

  • num_truncated_tokens — トークンが切り詰められた数（max_length が指定され、return_overflowing_tokens=True の場合）。

  • special_tokens_mask — 0 と 1 のリスト。1 は追加された特殊トークンを、0 は通常のシーケンストークンを示します（add_special_tokens=True かつ return_special_tokens_mask=True の場合）。

  • length — 入力データの長さ（return_length=Trueの場合）

1 つ以上のシーケンス、または 1 つ以上のシーケンスのペアをトークナイズし、モデル用に準備するためのメインメソッドです。

save_vocabulary

< >

( save_directory: strfilename_prefix: str | None = None )

decode

< >

( token_ids: typing.Union[int, list[int], numpy.ndarray, ForwardRef('torch.Tensor')]skip_special_tokens: bool = Falseclean_up_tokenization_spaces: bool | None = Noneoutput_char_offsets: bool = Falseoutput_word_offsets: bool = False**kwargs ) → str or Wav2Vec2CTCTokenizerOutput

パラメータ

  • token_ids (Union[int, list[int], np.ndarray, torch.Tensor]) — トークン化された入力 ID のリスト。__call__ メソッドを使用して取得できます。
  • skip_special_tokens (bool、省略可、デフォルトはFalse) — デコーディング時に特殊トークンを除去するかどうかを指定します。
  • clean_up_tokenization_spaces (bool、任意) — トークン化のスペースを整理するかどうか。
  • output_char_offsets (bool, 省略可, デフォルトは False) — 文字オフセットを出力するかどうか。文字オフセットは、サンプリングレートとモデルのダウンサンプリングレートを組み合わせて使用することで、転写された文字のタイムスタンプを計算するために利用できます。

    output_char_offsetsの活かし方をよりよく理解するために、以下の例をご覧ください。

  • output_word_offsets (bool, 省略可, デフォルトは False) — 単語オフセットを出力するかどうか。単語オフセットは、サンプリングレートとモデルのダウンサンプリングレートを組み合わせて使用することで、転写された単語のタイムスタンプを計算するために使用できます。

    output_word_offsetsの活かし方をよりよく理解するために、以下の例をご覧ください。

  • kwargs (追加のキーワード引数、任意) — 基盤となるモデル固有のデコードメソッドに渡されます。

戻り値

str または Wav2Vec2CTCTokenizerOutput

デコードされた文のリスト。output_char_offsets == True または output_word_offsets == True の場合、Wav2Vec2CTCTokenizerOutput になります。

トークナイザーと語彙を使用して、文字列内のIDのシーケンスを変換します。特殊トークンの削除や、トークン化スペースのクリーンアップなどのオプションが利用できます。

self.convert_tokens_to_string(self.convert_ids_to_tokens(token_ids)) を実行するのと似ています。

例:

>>> # Let's see how to retrieve time steps for a model
>>> from transformers import AutoTokenizer, AutoFeatureExtractor, AutoModelForCTC
>>> from datasets import load_dataset
>>> import datasets
>>> import torch

>>> # import model, feature extractor, tokenizer
>>> model = AutoModelForCTC.from_pretrained("facebook/wav2vec2-base-960h")
>>> tokenizer = AutoTokenizer.from_pretrained("facebook/wav2vec2-base-960h")
>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-base-960h")

>>> # load first sample of English common_voice
>>> dataset = load_dataset("mozilla-foundation/common_voice_11_0", "en", split="train", streaming=True)
>>> dataset = dataset.cast_column("audio", datasets.Audio(sampling_rate=16_000))
>>> dataset_iter = iter(dataset)
>>> sample = next(dataset_iter)

>>> # forward sample through model to get greedily predicted transcription ids
>>> input_values = feature_extractor(sample["audio"]["array"], return_tensors="pt").input_values
>>> logits = model(input_values).logits[0]
>>> pred_ids = torch.argmax(logits, axis=-1)

>>> # retrieve word stamps (analogous commands for `output_char_offsets`)
>>> outputs = tokenizer.decode(pred_ids, output_word_offsets=True)
>>> # compute `time_offset` in seconds as product of downsampling ratio and sampling_rate
>>> time_offset = model.config.inputs_to_logits_ratio / feature_extractor.sampling_rate

>>> word_offsets = [
...     {
...         "word": d["word"],
...         "start_time": round(d["start_offset"] * time_offset, 2),
...         "end_time": round(d["end_offset"] * time_offset, 2),
...     }
...     for d in outputs.word_offsets
... ]
>>> # compare word offsets with audio `en_train_0/common_voice_en_19121553.mp3` online on the dataset viewer:
>>> # https://huggingface.co/datasets/mozilla-foundation/common_voice_11_0/viewer/en
>>> word_offsets[:3]
[{'word': 'THE', 'start_time': 0.7, 'end_time': 0.78}, {'word': 'TRICK', 'start_time': 0.88, 'end_time': 1.08}, {'word': 'APPEARS', 'start_time': 1.2, 'end_time': 1.64}]

batch_decode

< >

( sequences: typing.Union[list[int], list[list[int]], numpy.ndarray, ForwardRef('torch.Tensor')]skip_special_tokens: bool = Falseclean_up_tokenization_spaces: bool | None = Noneoutput_char_offsets: bool = Falseoutput_word_offsets: bool = False**kwargs ) → list[str] or Wav2Vec2CTCTokenizerOutput

パラメータ

  • sequences (Union[list[int], list[list[int]], np.ndarray, torch.Tensor]) — トークン化された入力 ID のリスト。__call__ メソッドを使用して取得できます。
  • skip_special_tokens (bool、省略可、デフォルトはFalse) — デコーディング時に特殊トークンを除去するかどうかを指定します。
  • clean_up_tokenization_spaces (bool、任意) — トークン化のスペースを整理するかどうか。
  • output_char_offsets (bool, 省略可, デフォルトは False) — 文字オフセットを出力するかどうか。文字オフセットは、サンプリングレートとモデルのダウンサンプリングレートを組み合わせて使用することで、転写された文字のタイムスタンプを計算できます。

    output_char_offsetsの活かし方をより深く理解するために、decode()の例を確認してください。batch_decode()も、バッチ出力に対して同じように動作します。

  • output_word_offsets (bool, 省略可, デフォルトは False) — 単語オフセットを出力するかどうか。単語オフセットは、サンプリングレートとモデルのダウンサンプリングレートを組み合わせて使用することで、転写された単語のタイムスタンプを計算するために利用できます。

    output_word_offsetsの活用法をより深く理解するために、decode()の例を確認してください。batch_decode()も、バッチ出力に対して同じように動作します。

  • kwargs (追加のキーワード引数、任意) — 基盤となるモデル固有のデコードメソッドに渡されます。

戻り値

list[str] または Wav2Vec2CTCTokenizerOutput

デコードされた文のリスト。output_char_offsets == True または output_word_offsets == True の場合、Wav2Vec2CTCTokenizerOutput になります。

decode を呼び出して、トークン ID のリストのリストを文字列のリストに変換します。

set_target_lang

< >

( target_lang: str )

ネストされた多言語辞書のターゲット言語を設定します

Wav2Vec2FeatureExtractor

class transformers.Wav2Vec2FeatureExtractor

< >

( feature_size = 1sampling_rate = 16000padding_value = 0.0return_attention_mask = Falsedo_normalize = True**kwargs )

パラメータ

  • feature_size (int、任意、デフォルトは 1) — 抽出された特徴量の次元数。
  • sampling_rate (int、任意、デフォルトは 16000) — オーディオファイルをデジタル化するためのサンプリングレート（ヘルツ (Hz) 表記）。
  • padding_value (float、任意、デフォルトは 0.0) — パディング値を埋めるために使用される値です。
  • do_normalize (bool、任意、デフォルトは True) — 入力を平均 0・分散 1 に正規化するか否かを指定します。正規化を行うことで、e.g.、wav2vec2-lv60 のような一部のモデルにおいて、パフォーマンスが大幅に向上する場合があります。
  • return_attention_mask (bool, 省略可, デフォルトは False) — 呼び出し が() を返すかどうか。 attention_mask.

    config.feat_extract_norm == "group" が設定されている wav2vec2-base などの Wav2Vec2 モデルは、attention_mask を使用して学習されていません。このようなモデルでは、input_values を 0 でパディングするだけでよく、attention_mask を渡す必要はありません。

    config.feat_extract_norm == "layer" が設定されている Wav2Vec2 モデル、例えば wav2vec2-lv60 の場合、バッチ推論では attention_mask を渡す必要があります。

Wav2Vec2 の特徴抽出器を構築します。

このフィーチャーエクストラクターは、主要なメソッドの大部分を含む SequenceFeatureExtractor を継承しています。これらのメソッドに関する詳細については、このスーパークラスを参照してください。

__call__

< >

( raw_speech: numpy.ndarray | list[float] | list[numpy.ndarray] | list[list[float]]padding: bool | str | transformers.utils.generic.PaddingStrategy = Falsemax_length: int | None = Nonetruncation: bool = Falsepad_to_multiple_of: int | None = Nonereturn_attention_mask: bool | None = Nonereturn_tensors: str | transformers.utils.generic.TensorType | None = Nonesampling_rate: int | None = None**kwargs )

パラメータ

  • raw_speech (np.ndarray、list[float]、list[np.ndarray]、list[list[float]]) — パディング対象のシーケンスまたはシーケンスのバッチです。各シーケンスは、NumPy 配列、浮動小数点数の値のリスト、NumPy 配列のリスト、または浮動小数点数の値のリストのリストであることができます。モノラル音声（ステレオではなく、タイムステップごとに単一の浮動小数点数）である必要があります。
  • padding (bool, str または PaddingStrategy, 省略可, デフォルトは False) — 返されるシーケンスのパディング戦略（モデルのパディング側およびパディングインデックスに従う）として、以下から選択します:
    • Trueまたは'longest': バッチ内の最長のシーケンスの長さにパディングします（単一のシーケンスのみが提供された場合は、パディングを行いません）。
    • 'max_length': 引数 max_length で指定された最大長、またはその引数が指定されていない場合はモデルが受け入れ可能な最大入力長までパディングします。
    • False または 'do_not_pad'（デフォルト）：パディングを行いません（つまり、長さが異なるシーケンスのバッチを出力できます）。
  • max_length (int, 任意) — 返されるリストの最大長、および必要に応じてパディングの長さ（上記を参照）。
  • truncation (bool) — max_length を超える長さの入力シーケンスを max_length に切り詰めるための切り詰め処理を有効にします。
  • pad_to_multiple_of (int, 省略可能) — 設定すると、シーケンスを指定された値の倍数にパディングします。

    これは、計算能力が>= 7.5（Volta）のNVIDIAハードウェアでTensor Coresの利用を有効にするために、また、シーケンス長が128の倍数であることで恩恵を受けるTPUにおいて、特に有用です。

  • return_attention_mask (bool, 省略可能) — attention mask を返すかどうか。デフォルトのままにすると、特定の feature_extractor のデフォルトに従って attention mask を返します。

    アテンションマスクとは?

    config.feat_extract_norm == "group" が設定されている wav2vec2-base などの Wav2Vec2 モデルは、attention_mask を使用して学習されていません。このようなモデルでは、input_values を 0 でパディングするだけでよく、attention_mask は渡さないでください。

    config.feat_extract_norm == "layer" が設定されている Wav2Vec2 モデル、例えば wav2vec2-lv60 のようなモデルでは、バッチ推論を行う際に attention_mask を渡す必要があります。

  • return_tensors (str または TensorType, 省略可) — 設定すると、Python の整数のリストではなくテンソルを返します。指定可能な値は以下の通りです:
    • 'pt': PyTorchのtorch.Tensorオブジェクトを返します。
    • 'np': Numpy の np.ndarray オブジェクトを返します。
  • sampling_rate (int, 任意) — raw_speech 入力がサンプリングされたレートです。サイレントエラーを防ぐため、forward 呼び出し時に sampling_rate を渡すことを強く推奨します。
  • padding_value (float、任意、デフォルト値は 0.0) —

1つ以上のシーケンスを特徴量化し、モデル用に準備するための主要なメソッド。

Wav2Vec2Processor

class transformers.Wav2Vec2Processor

< >

( feature_extractortokenizer )

パラメータ

  • feature_extractor (Wav2Vec2FeatureExtractor) — フィーチャーエクストラクターは必須の入力です。
  • tokenizer (Wav2Vec2CTCTokenizer) — トークナイザーは必須の入力です。

Wav2Vec2Processor を構築します。フィーチャーエクストラクターとトークナイザーを単一のプロセッサーにラップします。

Wav2Vec2Processor は、Wav2Vec2FeatureExtractor と Wav2Vec2CTCTokenizer のすべての機能を提供します。詳細については、~Wav2Vec2FeatureExtractor および ~Wav2Vec2CTCTokenizer を参照してください。

__call__

< >

( audio: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), list[numpy.ndarray], list['torch.Tensor'], NoneType] = Nonetext: str | list[str] | None = None**kwargs: *<class 'transformers.models.wav2vec2.processing_wav2vec2.Wav2Vec2ProcessorKwargs'> )

パラメータ

  • audio (Union[numpy.ndarray, torch.Tensor, list[numpy.ndarray], list[torch.Tensor]], 任意) — 準備対象のオーディオまたはオーディオのバッチです。各オーディオは NumPy 配列または PyTorch テンソルである必要があります。 NumPy 配列/PyTorch テンソルの場合、各オーディオの形状は (C, T) である必要があります。ここで C はチャネル数、T はオーディオのサンプル長です。
  • text (Union[str, list[str]]、省略可) — エンコード対象のシーケンスまたはシーケンスのバッチです。各シーケンスは文字列、または文字列のリスト（事前トークン化済み文字列）であることができます。事前トークン化済みの入力を渡す場合は、バッチ入力との曖昧さを避けるためにis_split_into_words=Trueを設定してください。
  • return_tensors (str または TensorType, 省略可) — 設定すると、特定のフレームワークのテンソルを返します。使用可能な値は以下の通りです:
    • 'pt': PyTorchのtorch.Tensorオブジェクトを返します。
    • 'np': NumPyのnp.ndarrayオブジェクトを返します。
  • **kwargs (ProcessingKwargs、任意) — 各モダリティ（テキスト、画像、動画、音声）の追加処理オプション。モデル固有のパラメータは上記にリストされています。サポートされている引数の完全なリストについては、TypedDictクラスを参照してください。

pad

< >

( *args**kwargs )

パラメータ

  • input_features — 最初の引数がテンソルのバッチを含む辞書である場合、またはinput_features引数が存在する場合、Wav2Vec2FeatureExtractor.pad()に渡されます。
  • labels — label 引数が存在する場合、PreTrainedTokenizer.pad() に渡されます。

このメソッドは、抽出された特徴量と/またはトークン化されたテキストのバッチに対して動作します。入力モダリティに応じて、すべての引数を Wav2Vec2FeatureExtractor.pad() および/または PreTrainedTokenizer.pad() に転送し、それらの出力を返します。両方のモダリティが渡された場合、Wav2Vec2FeatureExtractor.pad() と PreTrainedTokenizer.pad() が呼び出されます。

from_pretrained

< >

( pretrained_model_name_or_path: str | os.PathLikecache_dir: str | os.PathLike | None = Noneforce_download: bool = Falselocal_files_only: bool = Falsetoken: str | bool | None = Nonerevision: str = 'main'**kwargs )

パラメータ

  • pretrained_model_name_or_path (str または os.PathLike) — 次のいずれかです:
    • 文字列、huggingface.co上のモデルリポジトリにホストされている事前学習済みfeature_extractorのmodel id
    • save_pretrained() メソッドを使用して保存されたフィーチャーエクストラクターファイルを含むディレクトリへのパス。例: ./my_model_directory/
    • 保存されたフィーチャーエクストラクターの./my_model_directory/preprocessor_config.jsonのようなファイルへのパス
  • **kwargs — from_pretrained() と ~tokenization_utils_base.PreTrainedTokenizer.from_pretrained の両方に渡される追加のキーワード引数。

事前学習済みモデルに関連付けられたプロセッサをインスタンス化します。

このクラスメソッドは、単にフィーチャーエクストラクターの from_pretrained()、イメージプロセッサーの ImageProcessingMixin、およびトークナイザーの ~tokenization_utils_base.PreTrainedTokenizer.from_pretrained メソッドを呼び出しています。詳細については、上記のメソッドのドキュメント文字列を参照してください。

save_pretrained

< >

( save_directorypush_to_hub: bool = False**kwargs )

パラメータ

  • save_directory (str または os.PathLike) — フィーチャーエクストラクターの JSON ファイルとトークナイザーのファイルを保存するディレクトリです（存在しない場合は作成されます）。
  • push_to_hub (bool、省略可、デフォルトは False) — モデルを保存した後、Hugging Face モデルハブにプッシュするかどうかを指定します。プッシュ先のリポジトリは repo_id で指定できます（指定しない場合、save_directory の名前があなたのネームスペース内でデフォルトとして使用されます）。
  • kwargs (dict[str, Any]、省略可) — push_to_hub() メソッドに渡される追加のキーワード引数。

このプロセッサ（フィーチャーエクストラクター、トークナイザーなど）の属性を指定されたディレクトリに保存し、from_pretrained() メソッドによって再読み込みできるようにします。

このクラスメソッドは、save_pretrained()とsave_pretrained()を呼び出すだけです。詳細については、上記のメソッドのドキュメント文字列を参照してください。

batch_decode

< >

( *args**kwargs )

このメソッドは、すべての引数を PreTrainedTokenizer の batch_decode() に転送します。詳細については、このメソッドのドキュメント文字列を参照してください。

decode

< >

( *args**kwargs )

このメソッドは、すべての引数を PreTrainedTokenizer の decode() に転送します。詳細については、このメソッドのドキュメント文字列を参照してください。

Wav2Vec2ProcessorWithLM

class transformers.Wav2Vec2ProcessorWithLM

< >

( feature_extractor: FeatureExtractionMixintokenizer: PreTrainedTokenizerBasedecoder: BeamSearchDecoderCTC )

パラメータ

  • feature_extractor (feature_extractor_class) — フィーチャーエクストラクターは必須の入力です。
  • tokenizer (tokenizer_class) — トークナイザーは必須の入力です。
  • decoder (BeamSearchDecoderCTC) — pyctcdecode.BeamSearchDecoderCTC のインスタンスです。デコーダーは必須の入力です。

Wav2Vec2ProcessorWithLM を構築し、feature extractor と tokenizer を単一の processor にラップします。

Wav2Vec2ProcessorWithLM は、feature_extractor_class と tokenizer_class のすべての機能を提供します。詳細については、~feature_extractor_class および ~tokenizer_class を参照してください。

__call__

< >

( *args**kwargs )

パラメータ

  • return_tensors (str または TensorType, 省略可) — 設定すると、特定のフレームワークのテンソルを返します。使用可能な値は以下の通りです:
    • 'pt': PyTorchのtorch.Tensorオブジェクトを返します。
    • 'np': NumPyのnp.ndarrayオブジェクトを返します。

pad

< >

( *args**kwargs )

通常モードで使用する場合、このメソッドはすべての引数をフィーチャーエクストラクターの~FeatureExtractionMixin.padに転送し、その出力を返します。~Wav2Vec2ProcessorWithLM.as_target_processorのコンテキスト内で使用する場合、このメソッドはすべての引数をWav2Vec2CTCTokenizerのpad()に転送します。詳細については、上記の2つのメソッドのドキュメント文字列を参照してください。

from_pretrained

< >

( pretrained_model_name_or_path**kwargs )

パラメータ

  • pretrained_model_name_or_path (str または os.PathLike) — 次のいずれかです:
    • 文字列、huggingface.co上のモデルリポジトリにホストされている事前学習済みfeature_extractorのmodel id
    • save_pretrained() メソッドを使用して保存されたフィーチャーエクストラクターファイルを含むディレクトリへのパス。例: ./my_model_directory/
    • 保存されたフィーチャーエクストラクターの./my_model_directory/preprocessor_config.jsonのようなファイルへのパス
  • **kwargs — SequenceFeatureExtractor と PreTrainedTokenizer の両方に渡される追加のキーワード引数

事前学習済みの Wav2Vec2 プロセッサーから Wav2Vec2ProcessorWithLM をインスタンス化します。

This class method is simply calling the feature extractor’s from_pretrained(), Wav2Vec2CTCTokenizer’s from_pretrained(), and pyctcdecode.BeamSearchDecoderCTC.load_from_hf_hub.

詳細については、上記のメソッドのドキュメント文字列を参照してください。

save_pretrained

< >

( save_directory )

batch_decode

< >

( logits: ndarraypool: multiprocessing.pool.Pool | None = Nonenum_processes: int | None = Nonebeam_width: int | None = Nonebeam_prune_logp: float | None = Nonetoken_min_logp: float | None = Nonehotwords: collections.abc.Iterable[str] | None = Nonehotword_weight: float | None = Nonealpha: float | None = Nonebeta: float | None = Noneunk_score_offset: float | None = Nonelm_score_boundary: bool | None = Noneoutput_word_offsets: bool = Falsen_best: int = 1 )

パラメータ

  • logits (np.ndarray) — モデルの logits 出力ベクトル。各トークンの対数確率を表します。
  • pool (multiprocessing.Pool, 省略可能) — ユーザーが管理するオプションのプールです。設定されていない場合、プールは自動的に作成され、クローズされます。プールは の後に Wav2Vec2ProcessorWithLM. インスタンス化する必要があります。そうしないと、LM がプールのサブプロセスから利用できなくなります。

    現在、‘fork’ コンテキストで生成されたプールのみを使用できます。‘spawn’ プールが渡された場合は無視され、代わりにシーケンシャルデコーディングが使用されます。

  • num_processes (int, 任意) — pool が設定されていない場合、関数を並列化するために使用するプロセス数です。デフォルトでは、利用可能な CPU の数になります。
  • beam_width (int, 任意) — デコーディングの各ステップにおけるビームの最大数。デフォルトは pyctcdecode の DEFAULT_BEAM_WIDTH です。
  • beam_prune_logp (int, 任意) — 最良のビームに比べてはるかに悪いビームは、プルーニングされます。デフォルト値は pyctcdecode の DEFAULT_PRUNE_LOGP です。
  • token_min_logp (int、任意) — この logp 未満のトークンは、フレームの argmax である場合を除いてスキップされます。デフォルトでは pyctcdecode の DEFAULT_MIN_TOKEN_LOGP が使用されます。
  • hotwords (list[str]、任意) — 特に重要度が高い単語のリスト。LMに対してOOV(言語モデルに存在しない単語)であっても構いません。
  • hotword_weight (int, 任意) — ホットワードの重要度に対する重み係数です。デフォルト値は pyctcdecode の DEFAULT_HOTWORD_WEIGHT です。
  • alpha (float, 任意) — 浅い融合時の言語モデルの重み
  • beta (float, 省略可) — スコアリング時の長さスコア調整の重み
  • unk_score_offset (float, 省略可) — 不明なトークンに対するログスコアのオフセット量
  • lm_score_boundary (bool、省略可) — kenlm がスコアリング時に境界を尊重するかどうか
  • output_word_offsets (bool、任意、デフォルトは False) — 単語オフセットを出力するかどうかを指定します。単語オフセットは、サンプリングレートとモデルのダウンサンプリングレートを組み合わせて使用することで、転写された単語のタイムスタンプを計算できます。
  • n_best (int, 省略可, デフォルト値は 1) — 返す最良の仮説の数。 n_best が 1 より大きい場合、返される text は文字列のリストのリストになり、 logit_score は浮動小数点数のリストのリストになり、 lm_score は浮動小数点数のリストのリストになります。ここで、外側のリストの長さはバッチサイズに対応し、内側のリストの長さは返された仮説の数に対応します。値は 1 以上である必要があります。

    output_word_offsetsの活用方法をより深く理解するために、decode()の例を確認してください。batch_decode()も、バッチ出力に対して同じように動作します。

言語モデルのサポート付きで、バッチデコードされた出力ロジットを音声文字起こしに変換します。

この関数はPythonのmultiprocessingを利用しています。現在、multiprocessingはUnixシステムでのみ利用可能です（このissueを参照）。

複数のバッチをデコードする場合は、Poolを作成してbatch_decodeに渡すことを検討してください。そうしないと、batch_decodeは各呼び出しごとに新しいPoolを作成するため、非常に遅くなります。使用例は以下を参照してください。

例: 複数のオーディオのデコーディングを参照してください。

decode

< >

( logits: ndarraybeam_width: int | None = Nonebeam_prune_logp: float | None = Nonetoken_min_logp: float | None = Nonehotwords: collections.abc.Iterable[str] | None = Nonehotword_weight: float | None = Nonealpha: float | None = Nonebeta: float | None = Noneunk_score_offset: float | None = Nonelm_score_boundary: bool | None = Noneoutput_word_offsets: bool = Falsen_best: int = 1 )

パラメータ

  • logits (np.ndarray) — モデルの logits 出力ベクトル。各トークンの対数確率を表します。
  • beam_width (int, 任意) — デコーディングの各ステップにおけるビームの最大数。デフォルトは pyctcdecode の DEFAULT_BEAM_WIDTH です。
  • beam_prune_logp (int, 任意) — best_beam_logp + beam_prune_logp 未満の log-prob を持つビームを剪定するための閾値です。値は <= 0 である必要があります。デフォルトは pyctcdecode の DEFAULT_PRUNE_LOGP です。
  • token_min_logp (int, 任意) — トークンの log-prob が token_min_logp 未満の場合、そのトークンが発話内で最大の log-prob を持つ場合を除いてスキップされます。デフォルト値は pyctcdecode の DEFAULT_MIN_TOKEN_LOGP です。
  • hotwords (list[str]、任意) — LM の語彙にない可能性があるが、特に重要度が高い単語のリスト。例: [“huggingface”]
  • hotword_weight (int, 任意) — ホットワードのスコアをブーストするための重み係数です。デフォルト値は pyctcdecode の DEFAULT_HOTWORD_WEIGHT です。
  • alpha (float, 任意) — 浅い融合時の言語モデルの重み
  • beta (float, 省略可) — スコアリング時の長さスコア調整の重み
  • unk_score_offset (float, 省略可) — 不明なトークンに対するログスコアのオフセット量
  • lm_score_boundary (bool、省略可) — kenlm がスコアリング時に境界を尊重するかどうか
  • output_word_offsets (bool、任意、デフォルトは False) — 単語オフセットを出力するかどうかを指定します。単語オフセットは、サンプリングレートとモデルのダウンサンプリングレートを組み合わせて使用することで、転写された単語のタイムスタンプを計算できます。
  • n_best (int, 省略可, デフォルト値は 1) — 返す最良の仮説の数。 n_best が 1 より大きい場合、返される text は文字列のリストになり、 logit_score は浮動小数点数のリストになり、 lm_score は浮動小数点数のリストになります。これらのリストの長さは、返される仮説の数に対応します。値は 1 以上である必要があります。

    output_word_offsetsの活かし方をよりよく理解するために、以下の例をご覧ください。

言語モデルのサポート付きで、デコードされた出力ロジットを音声文字起こしに変換します。

例:

>>> # Let's see how to retrieve time steps for a model
>>> from transformers import AutoTokenizer, AutoProcessor, AutoModelForCTC
>>> from datasets import load_dataset
>>> import datasets
>>> import torch

>>> # import model, feature extractor, tokenizer
>>> model = AutoModelForCTC.from_pretrained("patrickvonplaten/wav2vec2-base-100h-with-lm")
>>> processor = AutoProcessor.from_pretrained("patrickvonplaten/wav2vec2-base-100h-with-lm")

>>> # load first sample of English common_voice
>>> dataset = load_dataset("mozilla-foundation/common_voice_11_0", "en", split="train", streaming=True)
>>> dataset = dataset.cast_column("audio", datasets.Audio(sampling_rate=16_000))
>>> dataset_iter = iter(dataset)
>>> sample = next(dataset_iter)

>>> # forward sample through model to get greedily predicted transcription ids
>>> input_values = processor(sample["audio"]["array"], return_tensors="pt").input_values
>>> with torch.no_grad():
...     logits = model(input_values).logits[0].cpu().numpy()

>>> # retrieve word stamps (analogous commands for `output_char_offsets`)
>>> outputs = processor.decode(logits, output_word_offsets=True)
>>> # compute `time_offset` in seconds as product of downsampling ratio and sampling_rate
>>> time_offset = model.config.inputs_to_logits_ratio / processor.feature_extractor.sampling_rate

>>> word_offsets = [
...     {
...         "word": d["word"],
...         "start_time": round(d["start_offset"] * time_offset, 2),
...         "end_time": round(d["end_offset"] * time_offset, 2),
...     }
...     for d in outputs.word_offsets
... ]
>>> # compare word offsets with audio `en_train_0/common_voice_en_19121553.mp3` online on the dataset viewer:
>>> # https://huggingface.co/datasets/mozilla-foundation/common_voice_11_0/viewer/en
>>> word_offsets[:4]
[{'word': 'THE', 'start_time': 0.68, 'end_time': 0.78}, {'word': 'TRACK', 'start_time': 0.88, 'end_time': 1.1}, {'word': 'APPEARS', 'start_time': 1.18, 'end_time': 1.66}, {'word': 'ON', 'start_time': 1.86, 'end_time': 1.92}]

複数のオーディオのデコード

複数のオーディオのバッチをデコードする予定がある場合は、batch_decode()を使用し、インスタンス化済みのmultiprocessing.Poolを渡すことを検討してください。 そうしないと、batch_decode()は、各呼び出しごとに内部で新しいPoolをインスタンス化するため、各オーディオに対して個別にdecode()を呼び出す場合よりもパフォーマンスが遅くなります。以下の例を参照してください:

# Let's see how to use a user-managed pool for batch decoding multiple audios
from multiprocessing import get_context

import datasets
import torch
from datasets import load_dataset

from transformers import AutoModelForCTC, AutoProcessor


# import model, feature extractor, tokenizer
model = AutoModelForCTC.from_pretrained("patrickvonplaten/wav2vec2-base-100h-with-lm", device_map="auto")
processor = AutoProcessor.from_pretrained("patrickvonplaten/wav2vec2-base-100h-with-lm")

# load example dataset
dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
dataset = dataset.cast_column("audio", datasets.Audio(sampling_rate=16_000))


def map_to_array(example):
    example["speech"] = example["audio"]["array"]
    return example


# prepare speech data for batch inference
dataset = dataset.map(map_to_array, remove_columns=["audio"])


def map_to_pred(batch, pool):
    inputs = processor(batch["speech"], sampling_rate=16_000, padding=True, return_tensors="pt").to(model.device)
    inputs = {k: v.to(model.device) for k, v in inputs.items()}

    with torch.no_grad():
        logits = model(**inputs).logits

    transcription = processor.batch_decode(logits.cpu().numpy(), pool).text
    batch["transcription"] = transcription
    return batch


# note: pool should be instantiated *after* `Wav2Vec2ProcessorWithLM`.
#       otherwise, the LM won't be available to the pool's sub-processes
# select number of processes and batch_size based on number of CPU cores available and on dataset size
with get_context("fork").Pool(processes=2) as pool:
    result = dataset.map(
        map_to_pred, batched=True, batch_size=2, fn_kwargs={"pool": pool}, remove_columns=["speech"]
    )

result["transcription"][:2]
['MISTER QUILTER IS THE APOSTLE OF THE MIDDLE CLASSES AND WE ARE GLAD TO WELCOME HIS GOSPEL', "NOR IS MISTER COULTER'S MANNER LESS INTERESTING THAN HIS MATTER"]

Wav2Vec2固有の出力

class transformers.models.wav2vec2_with_lm.processing_wav2vec2_with_lm.Wav2Vec2DecoderWithLMOutput

< >

( text: list[list[str]] | list[str] | strlogit_score: list[list[float]] | list[float] | float = Nonelm_score: list[list[float]] | list[float] | float = Noneword_offsets: list[list[list[dict[str, int | str]]]] | list[list[dict[str, int | str]]] | list[dict[str, int | str]] = None )

パラメータ

  • text（str のリストまたは str）— テキスト形式でデコードされた logits。通常は音声の文字起こし結果です。
  • logit_score (float のリストまたは float) — 生成テキストに関連するビームの合計 logit スコア。
  • lm_score (float のリスト) — 生成されたテキストに関連するビームの融合された lm_score。
  • word_offsets (list[dict[str, Union[int, str]]] のリストまたは list[dict[str, Union[int, str]]]) — デコードされた単語のオフセットです。サンプリングレートとモデルのダウンサンプリングレートを組み合わせることで、各単語のタイムスタンプを計算できます。

転写付きのWav2Vec2DecoderWithLMの出力型。

class transformers.modeling_outputs.Wav2Vec2BaseModelOutput

< >

( last_hidden_state: typing.Optional[torch.Tensor] = Noneextract_features: typing.Optional[torch.Tensor] = Nonehidden_states: tuple[torch.Tensor, ...] | None = Noneattentions: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • last_hidden_state (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)) — モデルの最終層の出力における隠れ状態のシーケンスです。
  • extract_features (torch.Tensor、形状 (batch_size, sequence_length, conv_dim[-1])) — モデルの最後の畳み込み層から抽出された特徴ベクトルのシーケンスです。
  • hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込みの出力用 1 つ + 各層の出力用 1 つ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力および初期埋め込み出力におけるモデルの隠れ状態。

  • attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

Wav2Vec2 の損失関数で訓練されたモデルの基底クラスです。

クラス transformers.models.wav2vec2.modeling_wav2vec2.Wav2Vec2ForPreTrainingOutput

< >

( loss: typing.Optional[torch.Tensor] = Noneprojected_states: typing.Optional[torch.Tensor] = Noneprojected_quantized_states: typing.Optional[torch.Tensor] = Nonecodevector_perplexity: typing.Optional[torch.Tensor] = Nonehidden_states: tuple[torch.Tensor] | None = Noneattentions: tuple[torch.Tensor] | None = Nonecontrastive_loss: typing.Optional[torch.Tensor] = Nonediversity_loss: typing.Optional[torch.Tensor] = None )

パラメータ

  • loss (*optional*, sample_negative_indices が渡された場合に返されます。形状 (1,) の torch.Tensor) — 公式論文に記載されている通り、対比損失 (L_m) と多様性損失 (L_d) の和として計算される総損失です。
  • projected_states (torch.Tensor、形状 (batch_size, sequence_length, config.proj_codevector_dim)) — モデルの隠れ状態を config.proj_codevector_dim に射影したもので、マスクされた射影量子化状態の予測に使用できます。
  • projected_quantized_states (torch.Tensor、形状 (batch_size, sequence_length, config.proj_codevector_dim)) — 対比損失の正のターゲットベクトルを表す、config.proj_codevector_dim に射影された量子化された抽出特徴量ベクトル。
  • codevector_perplexity (torch.Tensor、形状 (1,)) — コードベクトル分布のパープレキシティ。コードブックの多様性を測るために使用されます。
  • hidden_states (tuple[torch.Tensor], 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層を持つモデルの場合は埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple[torch.Tensor], 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

  • contrastive_loss (*optional*, sample_negative_indices が渡された場合に返されます, torch.Tensor、形状 (1,)) — 公式論文に記載されているコントラスト損失 (L_m) です。
  • diversity_loss (*optional*, sample_negative_indices が渡された場合に返されます, torch.Tensor、形状 (1,)) — 公式論文に記載されている多様性損失 (L_d) です。

Wav2Vec2ForPreTrainingの出力型。潜在的な隠れ状態とアテンションを含む場合があります。

Wav2Vec2Model

class transformers.Wav2Vec2Model

< >

( config: Wav2Vec2Config )

パラメータ

  • config (Wav2Vec2Config) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連付けられた重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。

特定のヘッドを付加せずに、生の隠れ状態を出力する素のWav2Vec2モデル。

このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

forward

< >

( input_values: typing.Optional[torch.Tensor]attention_mask: typing.Optional[torch.Tensor] = Nonemask_time_indices: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Wav2Vec2BaseModelOutput or tuple(torch.Tensor)

パラメータ

  • input_values (torch.Tensor、形状 (batch_size, sequence_length)、任意) — 入力生の音声波形の浮動小数点数値。値は、.flac または .wav 形式のオーディオファイルを list[float]、numpy.ndarray、または torch.Tensor 型の配列として読み込むことで取得できます。例えば、torchcodec ライブラリ（pip install torchcodec）や soundfile ライブラリ（pip install soundfile）を通じて行います。 配列を input_values に整えるには、パディングと torch.Tensor 型への変換のために AutoProcessor を使用してください。詳細は Wav2Vec2Processor.call() を参照してください。
  • attention_mask (torch.Tensor の形状 (batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。 [0, 1]:
    • マスクされていないトークンに対して1
    • マスクされたトークンに対しては 0 です。

    アテンションマスクとは?

  • mask_time_indices (torch.BoolTensor、shape (batch_size, sequence_length)、任意) — 対比損失のために抽出特徴をマスクするインデックスです。学習モードの場合、モデルは config.proj_codevector_dim 空間におけるマスクされた抽出特徴を予測するように学習します。

戻り値

Wav2Vec2BaseModelOutput または tuple(torch.Tensor)

torch.Tensor のタプル（return_dict=False が渡された場合、または config.return_dict=False の場合）または Wav2Vec2BaseModelOutput。設定（Wav2Vec2Config）と入力に応じて、さまざまな要素で構成されます。

Wav2Vec2Modelのforwardメソッドは、__call__特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

  • last_hidden_state (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)) — モデルの最終層の出力における隠れ状態のシーケンス。

  • extract_features (torch.Tensor、形状 (batch_size, sequence_length, conv_dim[-1])) — モデルの最後の畳み込み層から抽出された特徴ベクトルのシーケンス。

  • hidden_states (tuple(torch.Tensor)、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます)— torch.Tensor のタプル（埋め込みの出力用 1 つ + 各レイヤーの出力用 1 つ）、shape は (batch_size, sequence_length, hidden_size)。

    各層の出力および初期埋め込み出力におけるモデルの隠れ状態。

  • attentions (tuple(torch.Tensor)、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル（各レイヤーごとに1つ）、形状は (batch_size, num_heads, sequence_length, sequence_length)。

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

Wav2Vec2ForCTC

class transformers.Wav2Vec2ForCTC

< >

( config: Wav2Vec2Configtarget_lang: str | None = None )

パラメータ

  • config (Wav2Vec2Config) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連付けられた重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。
  • target_lang (str, 任意) — アダプター重みの言語 ID。アダプター重みは adapter..safetensors または adapter..bin の形式で保存されます。Wav2Vec2ForCTC のインスタンスをアダプターと併用する場合にのみ関連します。デフォルトでは ‘eng’ が使用されます。

Connectionist Temporal Classification (CTC) 用の language modeling ヘッドを備えた Wav2Vec2 モデル。

このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

forward

< >

( input_values: typing.Optional[torch.Tensor]attention_mask: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → CausalLMOutput or tuple(torch.Tensor)

パラメータ

  • input_values (torch.Tensor、形状 (batch_size, sequence_length)、任意) — 入力生の音声波形の浮動小数点数値。値は、.flac または .wav 形式のオーディオファイルを list[float]、numpy.ndarray、または torch.Tensor 型の配列として読み込むことで取得できます。例えば、torchcodec ライブラリ（pip install torchcodec）や soundfile ライブラリ（pip install soundfile）を通じて行います。 配列を input_values に整えるには、パディングと torch.Tensor 型への変換のために AutoProcessor を使用してください。詳細は Wav2Vec2Processor.call() を参照してください。
  • attention_mask (torch.Tensor の形状 (batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。 [0, 1]:
    • マスクされていないトークンに対して1
    • マスクされたトークンに対しては 0 です。

    アテンションマスクとは?

  • labels (torch.LongTensor、shape (batch_size, target_length)、任意) — Connectionist Temporal Classification 用のラベルです。target_length は、出力 logits のシーケンス長以下である必要があります。インデックスは [-100, 0, ..., config.vocab_size - 1] から選択されます。-100 に設定されたすべてのラベルは無視（マスク）され、損失は [0, ..., config.vocab_size - 1] 内のラベルに対してのみ計算されます。

戻り値

CausalLMOutput または tuple(torch.Tensor)

torch.Tensor のタプル（return_dict=False が渡された場合、または config.return_dict=False の場合）または CausalLMOutput。設定（Wav2Vec2Config）と入力に応じて、さまざまな要素で構成されます。

Wav2Vec2ForCTCのforwardメソッドは、__call__特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

  • loss (torch.Tensor、形状 (1,)、任意、labels が指定された場合に返されます) — 言語モデリングの損失(次のトークンの予測用)。

  • logits (torch.Tensor、形状 (batch_size, sequence_length, config.vocab_size)) — 言語モデリングヘッドの予測スコア（SoftMax 適用前の各語彙トークンのスコア）。

  • hidden_states (tuple(torch.Tensor)、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます) — torch.Tensor のタプル（埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size) です。

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor)、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル（各レイヤーごとに1つ）、形状は (batch_size, num_heads, sequence_length, sequence_length)。

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

例:

>>> from transformers import AutoProcessor, Wav2Vec2ForCTC
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> processor = AutoProcessor.from_pretrained("facebook/wav2vec2-base-960h")
>>> model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-base-960h")

>>> # audio file is decoded on the fly
>>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> predicted_ids = torch.argmax(logits, dim=-1)

>>> # transcribe speech
>>> transcription = processor.batch_decode(predicted_ids)
>>> transcription[0]
...

>>> inputs["labels"] = processor(text=dataset[0]["text"], return_tensors="pt").input_ids

>>> # compute loss
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
...

load_adapter

< >

( target_lang: strforce_load = True**kwargs )

パラメータ

  • target_lang (str) — 既存のアダプター重みの言語 ID である必要があります。アダプター重みは adapter..safetensors または adapter..bin の形式で保存されます。
  • force_load (bool、デフォルトは True) — target_lang が self.target_lang と一致する場合でも、重みをロードするかどうかを指定します。
  • cache_dir (Union[str, os.PathLike], 任意) — 標準のキャッシュを使用しない場合、ダウンロードした事前学習済みモデルの構成をキャッシュするディレクトリのパス。
  • force_download (bool、任意、デフォルトは False) — モデルの重みと設定ファイルを（再）ダウンロードを強制するかどうか。キャッシュされたバージョンが存在する場合でも、それを上書きします。
  • proxies (dict[str, str]、省略可) — プロトコルまたはエンドポイントごとに使用するプロキシサーバーの辞書です。例: {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。各リクエストでこれらのプロキシが使用されます。
  • local_files_only(bool, 任意、デフォルトは False) — ローカルファイルのみを対象とするかどうか（モデルのダウンロードを試みないかどうか）。
  • token (str または bool、省略可) — リモートファイルの HTTP ベアラ認証に使用するトークンです。True の場合、または指定されていない場合は、hf auth login を実行した際に生成されたトークン（~/.huggingface に保存）が使用されます。
  • revision (str, 省略可, デフォルトは "main") — 使用する特定のモデルのバージョンです。huggingface.co ではモデルやその他の成果物を保存するために git ベースのシステムを使用しているため、ブランチ名、タグ名、またはコミット ID を指定できます。したがって、 revision には git で許可される任意の識別子を指定できます。

    Hub で作成した pull request をテストするには、revision="refs/pr/<pr_number>" を渡すことができます。

  • mirror (str、任意) — 中国でのダウンロードを高速化するためのミラーソース。中国にお住まいでアクセスに問題がある場合は、このオプションを設定することで解決できます。ただし、タイムリー性や安全性は保証されません。詳細については、ミラーサイトをご参照ください。

事前学習済みアダプターモデルから言語アダプターモデルを読み込みます。

ファイアウォールが設定された環境でこのメソッドを使用するには、特別な“offline-mode”を有効にしてください。

例:

>>> from transformers import Wav2Vec2ForCTC, AutoProcessor

>>> ckpt = "facebook/mms-1b-all"
>>> processor = AutoProcessor.from_pretrained(ckpt)
>>> model = Wav2Vec2ForCTC.from_pretrained(ckpt, target_lang="eng")
>>> # set specific language
>>> processor.tokenizer.set_target_lang("spa")
>>> model.load_adapter("spa")

Wav2Vec2ForSequenceClassification

クラス transformers.Wav2Vec2ForSequenceClassification

< >

( config: Wav2Vec2Config )

パラメータ

  • config (Wav2Vec2Config) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連付けられた重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。

Wav2Vec2 モデルの上部にシーケンス分類ヘッド（プーリングされた出力に対する線形層）を備え、SUPERB Keyword Spotting などのタスクに対応します。

このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

forward

< >

( input_values: typing.Optional[torch.Tensor]attention_mask: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → SequenceClassifierOutput or tuple(torch.Tensor)

パラメータ

  • input_values (torch.Tensor、shape (batch_size, sequence_length)) — 入力生の音声波形の浮動小数点数値。値は、.flac または .wav 形式のオーディオファイルを list[float]、numpy.ndarray、または torch.Tensor 型の配列として読み込むことで取得できます。例えば、torchcodec ライブラリ（pip install torchcodec）や soundfile ライブラリ（pip install soundfile）を通じて行います。 配列を input_values に整えるには、パディングと torch.Tensor 型への変換のために AutoProcessor を使用してください。詳細は Wav2Vec2Processor.call() を参照してください。
  • attention_mask (torch.Tensor の形状 (batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。 [0, 1]:
    • マスクされていないトークンに対して1
    • マスクされたトークンに対しては 0 です。

    アテンションマスクとは?

  • labels (torch.LongTensor、shape (batch_size,)、任意) — シーケンス分類/回帰の損失を計算するためのラベル。インデックスは [0, ..., config.num_labels - 1] の範囲である必要があります。config.num_labels == 1 の場合は回帰損失(平均二乗誤差)が計算され、config.num_labels > 1 の場合は分類損失(クロスエントロピー)が計算されます。

戻り値

SequenceClassifierOutput または tuple(torch.Tensor)

torch.Tensor のタプル、または SequenceClassifierOutput（return_dict=False が渡された場合、または config.return_dict=False の場合）。設定（Wav2Vec2Config）と入力に応じて、さまざまな要素で構成されます。

Wav2Vec2ForSequenceClassificationのforwardメソッドは、__call__特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

  • loss (torch.Tensor、shape (1,)、optional、labels が指定された場合に返されます) — 分類損失（config.num_labels==1 の場合は回帰損失）。

  • logits (torch.Tensor、形状 (batch_size, config.num_labels)) — SoftMax 適用前の分類（または config.num_labels==1 の場合は回帰）スコア。

  • hidden_states (tuple(torch.Tensor)、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます) — torch.Tensor のタプル（埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size) です。

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor)、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル（各レイヤーごとに1つ）、形状は (batch_size, num_heads, sequence_length, sequence_length)。

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

単一ラベル分類の例:

>>> import torch
>>> from transformers import AutoTokenizer, Wav2Vec2ForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("facebook/wav2vec2-base-960h")
>>> model = Wav2Vec2ForSequenceClassification.from_pretrained("facebook/wav2vec2-base-960h")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_id = logits.argmax().item()
>>> model.config.id2label[predicted_class_id]
...

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = Wav2Vec2ForSequenceClassification.from_pretrained("facebook/wav2vec2-base-960h", num_labels=num_labels)

>>> labels = torch.tensor([1])
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...

マルチラベル分類の例:

>>> import torch
>>> from transformers import AutoTokenizer, Wav2Vec2ForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("facebook/wav2vec2-base-960h")
>>> model = Wav2Vec2ForSequenceClassification.from_pretrained("facebook/wav2vec2-base-960h", problem_type="multi_label_classification")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_ids = torch.arange(0, logits.shape[-1])[torch.sigmoid(logits).squeeze(dim=0) > 0.5]

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = Wav2Vec2ForSequenceClassification.from_pretrained(
...     "facebook/wav2vec2-base-960h", num_labels=num_labels, problem_type="multi_label_classification"
... )

>>> labels = torch.sum(
...     torch.nn.functional.one_hot(predicted_class_ids[None, :].clone(), num_classes=num_labels), dim=1
... ).to(torch.float)
>>> loss = model(**inputs, labels=labels).loss

Wav2Vec2ForAudioFrameClassification

class transformers.Wav2Vec2ForAudioFrameClassification

< >

( config: Wav2Vec2Config )

パラメータ

  • config (Wav2Vec2Config) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連付けられた重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。

話者分離などのタスクに対応するため、フレーム分類ヘッドを上部に備えた Wav2Vec2 モデル。

このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

forward

< >

( input_values: typing.Optional[torch.Tensor]attention_mask: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → TokenClassifierOutput or tuple(torch.Tensor)

パラメータ

  • input_values (torch.Tensor、shape (batch_size, sequence_length)) — 入力生の音声波形の浮動小数点数値。値は、.flac または .wav 形式のオーディオファイルを list[float]、numpy.ndarray、または torch.Tensor 型の配列として読み込むことで取得できます。例えば、torchcodec ライブラリ（pip install torchcodec）や soundfile ライブラリ（pip install soundfile）を通じて行います。 配列を input_values に整えるには、パディングと torch.Tensor 型への変換のために AutoProcessor を使用してください。詳細は Wav2Vec2Processor.call() を参照してください。
  • attention_mask (torch.Tensor の形状 (batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。 [0, 1]:
    • マスクされていないトークンに対して1
    • マスクされたトークンに対しては 0 です。

    アテンションマスクとは?

  • labels (torch.LongTensor、shape (batch_size,)、任意) — シーケンス分類/回帰の損失を計算するためのラベル。インデックスは [0, ..., config.num_labels - 1] の範囲である必要があります。config.num_labels == 1 の場合は回帰損失(平均二乗誤差)が計算され、config.num_labels > 1 の場合は分類損失(クロスエントロピー)が計算されます。

戻り値

TokenClassifierOutput または tuple(torch.Tensor)

torch.Tensor のタプル、または TokenClassifierOutput（return_dict=False が渡された場合、または config.return_dict=False の場合）。設定（Wav2Vec2Config）と入力に応じて、さまざまな要素で構成されます。

Wav2Vec2ForAudioFrameClassificationのforwardメソッドは、__call__特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

  • loss (torch.Tensor、shape (1,)、optional、labels が指定された場合に返されます)— 分類損失。

  • logits (torch.Tensor、形状 (batch_size, sequence_length, config.num_labels)) — SoftMax 適用前の分類スコア。

  • hidden_states (tuple(torch.Tensor)、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます) — torch.Tensor のタプル（埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size) です。

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor)、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル（各レイヤーごとに1つ）、形状は (batch_size, num_heads, sequence_length, sequence_length)。

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

例:

>>> from transformers import AutoFeatureExtractor, Wav2Vec2ForAudioFrameClassification
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-base-960h")
>>> model = Wav2Vec2ForAudioFrameClassification.from_pretrained("facebook/wav2vec2-base-960h")

>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(dataset[0]["audio"]["array"], return_tensors="pt", sampling_rate=sampling_rate)
>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> probabilities = torch.sigmoid(logits[0])
>>> # labels is a one-hot array of shape (num_frames, num_speakers)
>>> labels = (probabilities > 0.5).long()
>>> labels[0].tolist()
...

Wav2Vec2ForXVector

class transformers.Wav2Vec2ForXVector

< >

( config: Wav2Vec2Config )

パラメータ

  • config (Wav2Vec2Config) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連付けられた重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。

話者認証などのタスクに対応するため、XVector特徴抽出ヘッドを上部に備えたWav2Vec2モデル。

このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

forward

< >

( input_values: typing.Optional[torch.Tensor]attention_mask: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → XVectorOutput or tuple(torch.Tensor)

パラメータ

  • input_values (torch.Tensor、shape (batch_size, sequence_length)) — 入力生の音声波形の浮動小数点数値。値は、.flac または .wav 形式のオーディオファイルを list[float]、numpy.ndarray、または torch.Tensor 型の配列として読み込むことで取得できます。例えば、torchcodec ライブラリ（pip install torchcodec）や soundfile ライブラリ（pip install soundfile）を通じて行います。 配列を input_values に整えるには、パディングと torch.Tensor 型への変換のために AutoProcessor を使用してください。詳細は Wav2Vec2Processor.call() を参照してください。
  • attention_mask (torch.Tensor の形状 (batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。 [0, 1]:
    • マスクされていないトークンに対して1
    • マスクされたトークンに対しては 0 です。

    アテンションマスクとは?

  • labels (torch.LongTensor、shape (batch_size,)、任意) — シーケンス分類/回帰の損失を計算するためのラベル。インデックスは [0, ..., config.num_labels - 1] の範囲である必要があります。config.num_labels == 1 の場合は回帰損失(平均二乗誤差)が計算され、config.num_labels > 1 の場合は分類損失(クロスエントロピー)が計算されます。

戻り値

XVectorOutput または tuple(torch.Tensor)

torch.Tensor のタプル、または XVectorOutput（return_dict=False が渡された場合、または config.return_dict=False の場合）。設定（Wav2Vec2Config）と入力に応じて、さまざまな要素で構成されます。

Wav2Vec2ForXVectorのforwardメソッドは、__call__特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

  • loss (torch.Tensor、shape (1,)、optional、labels が指定された場合に返されます)— 分類損失。

  • logits (torch.Tensor、形状 (batch_size, config.xvector_output_dim)) — AMSoftmax 適用前の分類用隠れ状態。

  • embeddings (torch.Tensor、形状 (batch_size, config.xvector_output_dim)) — ベクトル類似度ベースの検索に使用される発話埋め込みです。

  • hidden_states (tuple(torch.Tensor)、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます)— torch.Tensor のタプル（埋め込みの出力用 1 つ + 各レイヤーの出力用 1 つ）、shape は (batch_size, sequence_length, hidden_size)。

    各層の出力および初期埋め込み出力におけるモデルの隠れ状態。

  • attentions (tuple(torch.Tensor)、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル（各レイヤーごとに1つ）、形状は (batch_size, num_heads, sequence_length, sequence_length)。

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

例:

>>> from transformers import AutoFeatureExtractor, Wav2Vec2ForXVector
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-base-960h")
>>> model = Wav2Vec2ForXVector.from_pretrained("facebook/wav2vec2-base-960h")

>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(
...     [d["array"] for d in dataset[:2]["audio"]], sampling_rate=sampling_rate, return_tensors="pt", padding=True
... )
>>> with torch.no_grad():
...     embeddings = model(**inputs).embeddings

>>> embeddings = torch.nn.functional.normalize(embeddings, dim=-1).cpu()

>>> # the resulting embeddings can be used for cosine similarity-based retrieval
>>> cosine_sim = torch.nn.CosineSimilarity(dim=-1)
>>> similarity = cosine_sim(embeddings[0], embeddings[1])
>>> threshold = 0.7  # the optimal threshold is dataset-dependent
>>> if similarity < threshold:
...     print("Speakers are not the same!")
>>> round(similarity.item(), 2)
...

Wav2Vec2ForPreTraining

クラス transformers.Wav2Vec2ForPreTraining

< >

( config: Wav2Vec2Config )

パラメータ

  • config (Wav2Vec2Config) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連付けられた重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。

量子化器とVQヘッドを備えたWav2Vec2モデル。

このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

forward

< >

( input_values: typing.Optional[torch.Tensor]attention_mask: typing.Optional[torch.Tensor] = Nonemask_time_indices: typing.Optional[torch.BoolTensor] = Nonesampled_negative_indices: typing.Optional[torch.BoolTensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Wav2Vec2ForPreTrainingOutput or tuple(torch.Tensor)

パラメータ

  • input_values (torch.Tensor、形状 (batch_size, sequence_length)、任意) — 入力生の音声波形の浮動小数点数値。値は、.flac または .wav 形式のオーディオファイルを list[float]、numpy.ndarray、または torch.Tensor 型の配列として読み込むことで取得できます。例えば、torchcodec ライブラリ（pip install torchcodec）や soundfile ライブラリ（pip install soundfile）を通じて行います。 配列を input_values に整えるには、パディングと torch.Tensor 型への変換のために AutoProcessor を使用してください。詳細は Wav2Vec2Processor.call() を参照してください。
  • attention_mask (torch.Tensor の形状 (batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。 [0, 1]:
    • マスクされていないトークンに対して1
    • マスクされたトークンに対しては 0 です。

    アテンションマスクとは?

  • mask_time_indices (torch.BoolTensor、shape (batch_size, sequence_length)、任意) — 対比損失のために抽出特徴をマスクするインデックスです。学習モードの場合、モデルは config.proj_codevector_dim 空間におけるマスクされた抽出特徴を予測するように学習します。
  • sampled_negative_indices (torch.BoolTensor、shape (batch_size, sequence_length, num_negatives)、任意) — 対比損失において、どの量子化ターゲットベクトルが負のサンプリングベクトルとして使用されるかを示すインデックスです。事前学習には必須の入力です。

戻り値

Wav2Vec2ForPreTrainingOutput または tuple(torch.Tensor)

torch.Tensor のタプル（return_dict=False が渡された場合、または config.return_dict=False の場合）または Wav2Vec2ForPreTrainingOutput。設定（Wav2Vec2Config）と入力に応じて、さまざまな要素で構成されます。

Wav2Vec2ForPreTrainingのforwardメソッドは、__call__特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

  • loss (*optional*, sample_negative_indices が渡された場合に返されます, torch.Tensor、形状 (1,)) — 公式論文に記載されている通り、対比損失 (L_m) と多様性損失 (L_d) の和として計算される総損失。

  • projected_states (torch.Tensor、形状 (batch_size, sequence_length, config.proj_codevector_dim)) — マスクされた投影量子化状態を予測するために使用できる、config.proj_codevector_dim へ投影されたモデルの隠れ状態です。

  • projected_quantized_states (torch.Tensor、形状 (batch_size, sequence_length, config.proj_codevector_dim)) — 対比損失の正のターゲットベクトルを表す、config.proj_codevector_dim に射影された量子化抽出特徴量ベクトル。

  • codevector_perplexity (torch.Tensor、形状 (1,)) — コードベクトル分布のパープレキシティ。コードブックの多様性を測定するために使用されます。

  • hidden_states (tuple[torch.Tensor]、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます) — torch.Tensor のタプル（モデルに埋め込み層がある場合は埋め込みの出力用 1 つ、各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size) です。

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple[torch.Tensor]、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル（各レイヤーごとに1つ）、形状は (batch_size, num_heads, sequence_length, sequence_length)。

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

  • contrastive_loss (*optional*、sample_negative_indices が渡された場合に返されます。torch.Tensor、形状 (1,)) — 公式論文に記載されている対比損失 (L_m) です。

  • diversity_loss (*optional*、sample_negative_indices が渡された場合に返されます。torch.Tensor、形状 (1,)) — 公式論文に記載されている多様性損失 (L_d) です。

例:

>>> import torch
>>> from transformers import AutoFeatureExtractor, Wav2Vec2ForPreTraining
>>> from transformers.models.wav2vec2.modeling_wav2vec2 import _compute_mask_indices, _sample_negative_indices
>>> from datasets import load_dataset

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-base")
>>> model = Wav2Vec2ForPreTraining.from_pretrained("facebook/wav2vec2-base")

>>> ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> input_values = feature_extractor(ds[0]["audio"]["array"], return_tensors="pt").input_values  # Batch size 1

>>> # compute masked indices
>>> batch_size, raw_sequence_length = input_values.shape
>>> sequence_length = model._get_feat_extract_output_lengths(raw_sequence_length).item()
>>> mask_time_indices = _compute_mask_indices(
...     shape=(batch_size, sequence_length), mask_prob=0.2, mask_length=2
... )
>>> sampled_negative_indices = _sample_negative_indices(
...     features_shape=(batch_size, sequence_length),
...     num_negatives=model.config.num_negatives,
...     mask_time_indices=mask_time_indices,
... )
>>> mask_time_indices = torch.tensor(data=mask_time_indices, device=input_values.device, dtype=torch.long)
>>> sampled_negative_indices = torch.tensor(
...     data=sampled_negative_indices, device=input_values.device, dtype=torch.long
... )

>>> with torch.no_grad():
...     outputs = model(input_values, mask_time_indices=mask_time_indices)

>>> # compute cosine similarity between predicted (=projected_states) and target (=projected_quantized_states)
>>> cosine_sim = torch.cosine_similarity(outputs.projected_states, outputs.projected_quantized_states, dim=-1)

>>> # show that cosine similarity is much higher than random
>>> cosine_sim[mask_time_indices.to(torch.bool)].mean() > 0.5
tensor(True)

>>> # for contrastive loss training model should be put into train mode
>>> model = model.train()
>>> loss = model(
...     input_values, mask_time_indices=mask_time_indices, sampled_negative_indices=sampled_negative_indices
... ).loss
Update on GitHub

←VITS Wav2Vec2-BERT→