# SpeechT5

## 概要

SpeechT5モデルは、Junyi Ao、Rui Wang、Long Zhou、Chengyi Wang、Shuo Ren、Yu Wu、Shujie Liu、Tom Ko、Qing Li、Yu Zhang、Zhihua Wei、Yao Qian、Jinyu Li、Furu Wei による [SpeechT5: Unified-Modal Encoder-Decoder Pre-Training for Spoken Language Processing](https://huggingface.co/papers/2110.07205) で提案されました。

論文の抄録は以下の通りです。

*事前学習済み自然言語処理モデルにおけるT5（Text-To-Text Transfer Transformer）の成功に着想を得て、我々は、自己教師あり音声/テキスト表現学習のためのエンコーダ-デコーダ事前学習を探求する、統一モダリティのSpeechT5フレームワークを提案します。SpeechT5フレームワークは、共有エンコーダ-デコーダネットワークと、6つのモダリティ固有（音声/テキスト）の事前/事後ネットワークで構成されています。入力された音声/テキストを事前ネットワークで前処理した後、共有エンコーダ-デコーダネットワークがシーケンス間の変換をモデル化し、その後、事後ネットワークがデコーダの出力に基づいて音声/テキストモダリティで出力を生成します。大規模なラベルなし音声データとテキストデータを活用してSpeechT5を事前学習し、統一モダリティ表現を学習させることで、音声とテキストの両方に対するモデリング能力の向上を目指します。テキスト情報と音声情報をこの統一セマンティック空間に整合させるために、エンコーダとデコーダのインターフェースとして潜在ユニットを音声/テキスト状態とランダムに混合する、クロスモダリティベクトル量子化手法を提案します。広範な評価により、自動音声認識、音声合成、音声翻訳、ボイスコンバージョン、音声増強、話者識別を含む、多様な音声言語処理タスクにおいて、提案するSpeechT5フレームワークの優位性が示されました。*

このモデルは[Matthijs](https://huggingface.co/Matthijs)によって提供されました。元のコードは[こちら](https://github.com/microsoft/SpeechT5)で確認できます。

> [!TIP]
> `use_kernels=True` を [from_pretrained()](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) に設定すると、対応するレイヤーが Hub からの最適化されたカーネルに置き換えられます。詳細は [カーネルの読み込み](../kernel_doc/loading_kernels) を参照してください。

## SpeechT5Config[[transformers.SpeechT5Config]]

#### transformers.SpeechT5Config[[transformers.SpeechT5Config]]

```python
transformers.SpeechT5Config(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, is_encoder_decoder: bool = True, vocab_size: int = 81, hidden_size: int = 768, encoder_layers: int = 12, encoder_attention_heads: int = 12, encoder_ffn_dim: int = 3072, encoder_layerdrop: float | int = 0.1, decoder_layers: int = 6, decoder_ffn_dim: int = 3072, decoder_attention_heads: int = 12, decoder_layerdrop: float | int = 0.1, hidden_act: str = 'gelu', positional_dropout: float | int = 0.1, hidden_dropout: float | int = 0.1, attention_dropout: float | int = 0.1, activation_dropout: float | int = 0.1, initializer_range: float = 0.02, layer_norm_eps: float = 1e-05, scale_embedding: bool = False, feat_extract_norm: str = 'group', feat_proj_dropout: float | int = 0.0, feat_extract_activation: str = 'gelu', conv_dim: list[int] | tuple[int, ...] = (512, 512, 512, 512, 512, 512, 512), conv_stride: list[int] | tuple[int, ...] = (5, 2, 2, 2, 2, 2, 2), conv_kernel: list[int] | tuple[int, ...] = (10, 3, 3, 3, 3, 2, 2), conv_bias: bool = False, num_conv_pos_embeddings: int = 128, num_conv_pos_embedding_groups: int = 16, apply_spec_augment: bool = True, mask_time_prob: float | int = 0.05, mask_time_length: int = 10, mask_time_min_masks: int = 2, mask_feature_prob: float | int = 0.0, mask_feature_length: int = 10, mask_feature_min_masks: int = 0, pad_token_id: int | None = 1, bos_token_id: int | None = 0, eos_token_id: int | list[int] | None = 2, decoder_start_token_id: int | None = 2, num_mel_bins: int = 80, speech_decoder_prenet_layers: int = 2, speech_decoder_prenet_units: int = 256, speech_decoder_prenet_dropout: float | int = 0.5, speaker_embedding_dim: int = 512, speech_decoder_postnet_layers: int = 5, speech_decoder_postnet_units: int = 256, speech_decoder_postnet_kernel: int = 5, speech_decoder_postnet_dropout: float | int = 0.5, reduction_factor: int = 2, max_speech_positions: int = 4000, max_text_positions: int = 450, encoder_max_relative_position: int = 160, use_guided_attention_loss: bool = True, guided_attention_loss_num_heads: int = 2, guided_attention_loss_sigma: float = 0.4, guided_attention_loss_scale: float = 10.0, use_cache: bool = True, tie_word_embeddings: bool = True)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/configuration_speecht5.py#L27)

**パラメータ:**

is_encoder_decoder (`bool`、*任意*、デフォルトは`True`) : モデルがエンコーダー/デコーダーとして使用されるかどうかを示します。

vocab_size (`int`、*任意*、デフォルトは`81`) : モデルの語彙サイズ。`input_ids`で表現できるトークンの種類数を定義します。

hidden_size (`int`、*任意*、デフォルトは`768`) : 隠れ表現の次元数。

encoder_layers (`int`、*任意*、デフォルトは`12`) : Transformerエンコーダーの隠れ層の数。設定されていない場合は、`num_layers`と同じ値が使用されます。

encoder_attention_heads (`int`、*任意*、デフォルトは`12`) : Transformerエンコーダーの各アテンション層におけるアテンションヘッドの数。

encoder_ffn_dim (`int`、*任意*、デフォルトは`3072`) : エンコーダー内の「intermediate」（feed-forward とも呼ばれる）層の次元数。

encoder_layerdrop (`Union[float, int]`、*任意*、デフォルトは`0.1`) : エンコーダーの LayerDrop 確率です。詳細については、[LayerDrop の論文](see https://huggingface.co/papers/1909.11556)を参照してください。

decoder_layers (`int`、*任意*、デフォルトは`6`) : Transformer デコーダーの隠れ層の数。設定されていない場合は、`num_layers` と同じ値が使用されます。

decoder_ffn_dim (`int`、*任意*、デフォルトは`3072`) : デコーダー内の「intermediate」（feed-forward とも呼ばれる）層の次元数。

decoder_attention_heads (`int`、*任意*、デフォルトは `12`) : Transformer デコーダーの各アテンション層におけるアテンションヘッドの数。

decoder_layerdrop (`Union[float, int]`、*任意*、デフォルトは`0.1`) : デコーダーの LayerDrop 確率です。詳細については、[LayerDrop の論文](see https://huggingface.co/papers/1909.11556)を参照してください。

hidden_act (`str`、*任意*、デフォルトは`gelu`) : デコーダーで使用する非線形活性化関数（関数または文字列）。例えば、`"gelu"`、`"relu"`、`"silu"`など。

positional_dropout (`float`、*optional*、デフォルトは 0.1) : テキスト位置エンコーディング層の dropout 確率です。

hidden_dropout (`Union[float, int]`、*任意*、デフォルト値は`0.1`) : embeddings、encoder、pooler 内のすべての全結合層における dropout 確率。

attention_dropout (`Union[float, int]`、*任意*、デフォルトは`0.1`) : 注意確率のドロップアウト率。

activation_dropout (`Union[float, int]`、*任意*、デフォルトは `0.1`) : 全結合層内の活性化の dropout 率。

initializer_range (`float`、*任意*、デフォルトは`0.02`) : すべての重み行列を初期化するためのtruncated_normal_initializerの標準偏差です。

layer_norm_eps (`float`、*任意*、デフォルトは`1e-05`) : Layer Normalization 層で使用する epsilon。

scale_embedding (`bool`、*任意*、デフォルトは`False`) : sqrt(d_model) で割って埋め込みをスケーリングするかどうか。

feat_extract_norm (`str`、*任意*、デフォルトは`"group"`) : 音声エンコーダのプレネットにある1次元畳み込み層に適用される正規化の種類。`"group"`は最初の1次元畳み込み層のみをグループ正規化し、`"layer"`はすべての1次元畳み込み層をレイヤー正規化します。

feat_proj_dropout (`float`、*optional*、デフォルトは 0.0) : 音声エンコーダのプレネットの出力に対する dropout 確率。

feat_extract_activation (`str, `optional`, defaults to `"gelu"`) : The non-linear activation function (function or string) in the 1D convolutional layers of the feature extractor. If string, `"gelu"`, `"relu"`, `"selu"` and `"gelu_new"` are supported.

conv_dim (`tuple[int]` または `list[int]`、*optional*、デフォルトは `(512, 512, 512, 512, 512, 512, 512)`) : 音声エンコーダのプレネットにおける各1次元畳み込み層の入力チャネル数と出力チャネル数を定義する整数のタプルです。*conv_dim* の長さが、1次元畳み込み層の数を定義します。

conv_stride (`tuple[int]` または `list[int]`、*任意*、デフォルトは `(5, 2, 2, 2, 2, 2, 2)`) : 音声エンコーダのプレネットにおける各1次元畳み込み層のストライドを定義する整数のタプルです。*conv_stride* の長さが畳み込み層の数を定義し、*conv_dim* の長さと一致する必要があります。

conv_kernel (`tuple[int]` または `list[int]`、*任意*、デフォルトは `(10, 3, 3, 3, 3, 3, 3)`) : 音声エンコーダのプレネットにおける各1次元畳み込み層のカーネルサイズを定義する整数のタプルです。*conv_kernel* の長さが畳み込み層の数を定義し、*conv_dim* の長さと一致する必要があります。

conv_bias (`bool`、*任意*、デフォルトは`False`) : 1次元畳み込み層にバイアスがあるかどうか。

num_conv_pos_embeddings (`int`、*optional*、デフォルトは 128) : 畳み込み位置埋め込みの数。1 次元畳み込み位置埋め込み層のカーネルサイズを定義します。

num_conv_pos_embedding_groups (`int`、*optional*、デフォルトは 16) : 1 次元畳み込み位置埋め込み層のグループ数。

apply_spec_augment (`bool`, *任意*, デフォルトは `True`) : 音声エンコーダーのプレネットの出力に *SpecAugment* データ拡張を適用するかどうか。参考として [SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition](https://huggingface.co/papers/1904.08779) を参照してください。

mask_time_prob (`float`、*任意*、デフォルト値は 0.05) : 時間軸に沿った全特徴ベクトルの中で、マスクされる割合（0 から 1 の間）。マスク処理では、その軸に対して ''mask_time_prob*len(time_axis)/mask_time_length'' 個の独立したマスクが生成されます。マスクされるベクトル範囲の開始点として各特徴ベクトルが選択される確率から推論する場合、*mask_time_prob* は `prob_vector_start*mask_time_length` であるべきです。重複により、実際にマスクされるベクトルの割合が低下する可能性があります。これは `apply_spec_augment is True` の場合のみ関連します。

mask_time_length (`int`, *optional*, デフォルトは 10) : 時間軸に沿ったベクトルスパンの長さ。

mask_time_min_masks (`int`、*optional*、デフォルトは 2)、: `mask_feature_prob` に関係なく、時間軸に沿って生成される長さ `mask_feature_length` のマスクの最小数。各タイムステップごとに適用されます。''mask_time_prob*len(time_axis)/mask_time_length < mask_time_min_masks'' の場合のみ関連します。

mask_feature_prob (`float`、*任意*、デフォルト値は 0.0) : 特徴量軸に沿ったすべての特徴量ベクトルの中で、マスクされる割合（0 から 1 の間）。マスク処理では、軸に対して ''mask_feature_prob*len(feature_axis)/mask_time_length'' 個の独立したマスクが生成されます。マスクされるベクトルスパンの開始点として各特徴量ベクトルが選択される確率から推論する場合、*mask_feature_prob* は `prob_vector_start*mask_feature_length` であるべきです。重複により、実際にマスクされるベクトルの割合が減少する可能性があります。これは `apply_spec_augment is True` の場合のみ関連します。

mask_feature_prob (`Union[float, int]`、*任意*、デフォルトは `0.0`) : 特徴軸に沿ったすべての特徴ベクトルの中で、マスクされる割合（0 から 1 の間）。マスク処理では、軸に対して `mask_feature_prob*len(feature_axis)/mask_time_length` 個の独立したマスクが生成されます。マスクされるベクトル範囲の開始点として各特徴ベクトルが選択される確率から考えると、*mask_feature_prob* は `prob_vector_start*mask_feature_length` であるべきです。重複により、実際にマスクされるベクトルの割合が低下する可能性があります。これは `apply_spec_augment` が `True` の場合のみ関連します。

mask_feature_length (`int`, *任意*, デフォルトは 10) : 特徴量軸に沿ったベクトルスパンの長さ。

mask_feature_min_masks (`int`、*optional*、デフォルトは 0)、: `mask_feature_prob` に関係なく、各タイムステップにおいて、特徴軸に沿って生成される長さ `mask_feature_length` のマスクの最小数。''mask_feature_prob*len(feature_axis)/mask_feature_length < mask_feature_min_masks'' の場合のみ関連します。

num_mel_bins (`int`、*optional*、デフォルトは 80) : 入力特徴量ごとに使用される mel 特徴量の数。音声デコーダーの pre-net で使用されます。[SpeechT5Processor](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Processor) クラスで使用される値と一致させる必要があります。

pad_token_id (`int`, *任意*, デフォルトは `1`) : 語彙内でパディングに使用されるトークン ID。

bos_token_id (`int`, *optional*, デフォルトは `0`) : 語彙内でストリームの開始に使用されるトークン ID。

eos_token_id (`Union[int, list[int]]`、*任意*、デフォルトは`2`) : 語彙内でストリーム終了に使用されるトークン ID。

decoder_start_token_id (`int`、*optional*、デフォルトは`2`) : エンコーダーデコーダーモデルが`bos`以外のトークンでデコーディングを開始する場合、そのトークンのID。

num_mel_bins (`int`、*任意*、デフォルトは`80`) : 入力フレームごとに使用されるメル特徴の数を指定します。`AutoFeatureExtractor`クラスで使用される値と一致させる必要があります。

speech_decoder_prenet_layers (`int`, *optional*, デフォルトは 2) : 音声デコーダーのプレネットの層数。

speech_decoder_prenet_units (`int`、*optional*、デフォルトは 256) : 音声デコーダーのプレネットの層の次元数。

speech_decoder_prenet_dropout (`float`、*optional*、デフォルトは 0.5) : 音声デコーダーの pre-net 層における dropout 確率。

speaker_embedding_dim (`int`、*任意*、デフォルトは 512) : *XVector*埋め込みベクトルの次元数。

speech_decoder_postnet_layers (`int`, *optional*, デフォルトは 5) : 音声デコーダーのポストネットの層数。

speech_decoder_postnet_units (`int`、*optional*、デフォルトは 256) : 音声デコーダーの post-net における層の次元数。

speech_decoder_postnet_kernel (`int`, *optional*, デフォルトは 5) : 音声デコーダーの post-net における畳み込みフィルターのチャネル数。

speech_decoder_postnet_dropout (`float`、*optional*、デフォルトは 0.5) : 音声デコーダーの post-net 層における dropout 確率。

reduction_factor (`int`、*optional*、デフォルトは 2) : 音声デコーダーの入力に対するスペクトログラムの長さ縮小係数。

max_speech_positions (`int`, *optional*, デフォルトは 4000) : このモデルが使用される可能性がある音声特徴の最大シーケンス長です。

max_text_positions (`int`, *optional*, デフォルトは 450) : このモデルが使用される可能性があるテキスト特徴の最大シーケンス長です。

encoder_max_relative_position (`int`、*optional*、デフォルトは 160) : エンコーダーにおける相対位置埋め込みの最大距離。

use_guided_attention_loss (`bool`、*任意*、デフォルトは`True`) : TTSモデルの学習中にガイド付きアテンション損失を適用するかどうか。

guided_attention_loss_num_heads (`int`、*optional*、デフォルトは 2) : ガイド付きアテンション損失が適用されるアテンションヘッドの数です。すべてのアテンションヘッドにこの損失を適用するには -1 を使用します。

guided_attention_loss_sigma (`float`, *任意*, デフォルト値は 0.4) : ガイド付きアテンション損失の標準偏差。

guided_attention_loss_scale (`float`, *任意*, デフォルト値は 10.0) : ガイド付きアテンション損失のスケーリング係数（lambda とも呼ばれる）。

use_cache (`bool`、*任意*、デフォルトは `True`) : モデルが最後のキー/バリューアテンションを返すかどうか（すべてのモデルで利用されるわけではありません）。`config.is_decoder=True` の場合、またはモデルがデコーダー専用の生成モデルである場合にのみ関連します。

tie_word_embeddings (`bool`、*任意*、デフォルトは`True`) : モデルの`tied_weights_keys`マッピングに従って重み埋め込みを共有するかどうか。

これはSpeechT5Modelの設定を保存するための設定クラスです。指定された引数に基づいてSpeecht5モデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、[microsoft/speecht5_asr](https://huggingface.co/microsoft/speecht5_asr)と類似した設定が得られます。

設定オブジェクトは [PreTrainedConfig](/docs/transformers/v5.23.0/ja/main_classes/configuration#transformers.PreTrainedConfig) を継承し、モデルの出力を制御するために使用できます。詳細については、[PreTrainedConfig](/docs/transformers/v5.23.0/ja/main_classes/configuration#transformers.PreTrainedConfig) のドキュメントを参照してください。

例:

```python
>>> from transformers import SpeechT5Model, SpeechT5Config

>>> # Initializing a "microsoft/speecht5_asr" style configuration
>>> configuration = SpeechT5Config()

>>> # Initializing a model (with random weights) from the "microsoft/speecht5_asr" style configuration
>>> model = SpeechT5Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## SpeechT5HifiGanConfig[[transformers.SpeechT5HifiGanConfig]]

#### transformers.SpeechT5HifiGanConfig[[transformers.SpeechT5HifiGanConfig]]

```python
transformers.SpeechT5HifiGanConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, model_in_dim: int = 80, sampling_rate: int = 16000, upsample_initial_channel: int = 512, upsample_rates: list[int] | tuple[int, ...] = (4, 4, 4, 4), upsample_kernel_sizes: list[int] | tuple[int, ...] = (8, 8, 8, 8), resblock_kernel_sizes: list[int] | tuple[int, ...] = (3, 7, 11), resblock_dilation_sizes: list | tuple = ((1, 3, 5), (1, 3, 5), (1, 3, 5)), initializer_range: float = 0.01, leaky_relu_slope: float = 0.1, normalize_before: bool = True)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/configuration_speecht5.py#L225)

**パラメータ:**

model_in_dim (`int`、*任意*、デフォルトは 80) : 入力となる log-mel スペクトログラムの周波数ビンの数。

sampling_rate (`int`、*optional*、デフォルトは`16000`) : 音声ファイルをデジタル化するためのサンプリングレート（ヘルツ (Hz) 単位）。

upsample_initial_channel (`int`、*任意*、デフォルトは 512) : アップサンプリングネットワークへの入力チャネル数。

upsample_rates (`tuple[int]` または `list[int]`、*任意*、デフォルトは `[4, 4, 4, 4]`) : アップサンプリングネットワーク内の各1次元畳み込み層のストライドを定義する整数のタプルです。*upsample_rates* の長さが畳み込み層の数を定義し、*upsample_kernel_sizes* の長さと一致する必要があります。

upsample_kernel_sizes (`tuple[int]` または `list[int]`、*任意*、デフォルトは `[8, 8, 8, 8]`) : アップサンプリングネットワーク内の各1次元畳み込み層のカーネルサイズを定義する整数のタプルです。*upsample_kernel_sizes* の長さが畳み込み層の数を定義し、*upsample_rates* の長さと一致する必要があります。

resblock_kernel_sizes (`tuple[int]` または `list[int]`、*任意*、デフォルトは `[3, 7, 11]`) : マルチレセプティブフィールドフュージョン (MRF) モジュール内の 1 次元畳み込み層のカーネルサイズを定義する整数のタプル。

resblock_dilation_sizes (`tuple[tuple[int]]` または `list[list[int]]`、*省略可能*、デフォルトは `[[1, 3, 5], [1, 3, 5], [1, 3, 5]]`) : マルチ・レセプティブフィールド・フュージョン (MRF) モジュール内の、拡張 1 次元畳み込み層のディレーション率を定義する整数のネストされたタプル。

initializer_range (`float`、*任意*、デフォルトは `0.01`) : すべての重み行列を初期化するための truncated_normal_initializer の標準偏差です。

leaky_relu_slope (`float`、*任意*、デフォルト値は 0.1) : leaky ReLU 活性化関数で使用する負の傾きの角度。

normalize_before (`bool`, *任意*, デフォルトは `True`) : vocoder の学習済み平均と分散を用いて、vocoder 処理の前にスペクトログラムを正規化するか否かを指定します。

これはSpeechT5Modelの設定を保存するための設定クラスです。指定された引数に基づいてSpeecht5モデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、[microsoft/speecht5_asr](https://huggingface.co/microsoft/speecht5_asr)と類似した設定が得られます。

設定オブジェクトは [PreTrainedConfig](/docs/transformers/v5.23.0/ja/main_classes/configuration#transformers.PreTrainedConfig) を継承し、モデルの出力を制御するために使用できます。詳細については、[PreTrainedConfig](/docs/transformers/v5.23.0/ja/main_classes/configuration#transformers.PreTrainedConfig) のドキュメントを参照してください。

例:

```python
>>> from transformers import SpeechT5HifiGan, SpeechT5HifiGanConfig

>>> # Initializing a "microsoft/speecht5_hifigan" style configuration
>>> configuration = SpeechT5HifiGanConfig()

>>> # Initializing a model (with random weights) from the "microsoft/speecht5_hifigan" style configuration
>>> model = SpeechT5HifiGan(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## SpeechT5Tokenizer[[transformers.SpeechT5Tokenizer]]

#### transformers.SpeechT5Tokenizer[[transformers.SpeechT5Tokenizer]]

```python
transformers.SpeechT5Tokenizer(vocab_file, bos_token = '<s>', eos_token = '</s>', unk_token = '<unk>', pad_token = '<pad>', normalize = False, sp_model_kwargs: dict[str, typing.Any] | None = None, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/tokenization_speecht5.py#L30)

**パラメータ:**

vocab_file (`str`) : トークナイザーをインスタンス化するために必要な語彙を含む [SentencePiece](https://github.com/google/sentencepiece) ファイル（通常は *.spm* 拡張子を持っています）。

bos_token (`str`、*任意*、デフォルトは`"<s>"`) : シーケンスの開始トークン。

eos_token (`str`、*任意*、デフォルトは `"</s>"`) : シーケンスの終了トークン。

unk_token (`str`、*任意*、デフォルトは `"<unk>"`) : 不明トークン。語彙に存在しないトークンは ID に変換できず、代わりにこのトークンが設定されます。

pad_token (`str`、*任意*、デフォルトは `"<pad>"`) : パディングに使用されるトークンです。長さの異なるシーケンスをバッチ処理する場合などに使用します。

normalize (`bool`、*任意*、デフォルトは`False`) : テキスト内の数値を、英語のスペルアウト形式に変換するかどうかを指定します。

sp_model_kwargs (`dict`、*任意*) : `SentencePieceProcessor.__init__()` メソッドに渡されます。[SentencePiece の Python ラッパー](https://github.com/google/sentencepiece/tree/master/python) は、次のような設定を行うために使用できます。 - `enable_sampling`: サブワード正規化を有効にします。 - `nbest_size`: ユニグラムのサンプリングパラメータ。BPE-Dropout では無効です。  - `nbest_size = {0,1}`: サンプリングは行われません。 - `nbest_size > 1`: nbest_size 個の結果からサンプリングします。 - `nbest_size < 0`: nbest_size が無限であると仮定し、forward-filtering-and-backward-sampling アルゴリズムを使用してすべての仮説（ラティス）からサンプリングします。  - `alpha`: ユニグラムサンプリングのスムーthingパラメータ、および BPE-dropout におけるマージ操作のドロップアウト確率。

sp_model (`SentencePieceProcessor`) : すべての変換（文字列、トークン、ID）に使用される*SentencePiece*プロセッサです。

SpeechT5のトークナイザーを構築します。[SentencePiece](https://github.com/google/sentencepiece)をベースにしています。

このトークナイザーは、[PreTrainedTokenizer](/docs/transformers/v5.23.0/ja/main_classes/tokenizer#transformers.PythonBackend) を継承しており、主要なメソッドのほとんどが含まれています。これらのメソッドに関する詳細については、このスーパークラスを参照してください。

#### __call__[[transformers.SpeechT5Tokenizer.__call__]]

```python
__call__(text: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = None, text_pair: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = None, text_target: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = None, text_pair_target: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = None, add_special_tokens: bool = True, padding: bool | str | PaddingStrategy = False, truncation: bool | str | TruncationStrategy | None = None, max_length: int | None = None, stride: int = 0, is_split_into_words: bool = False, pad_to_multiple_of: int | None = None, padding_side: str | None = None, return_tensors: str | TensorType | None = None, return_token_type_ids: bool | None = None, return_attention_mask: bool | None = None, return_overflowing_tokens: bool = False, return_special_tokens_mask: bool = False, return_offsets_mapping: bool = False, return_length: bool = False, verbose: bool = True, tokenizer_kwargs: dict[str, Any] | None = None, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L2448)

**パラメータ:**

text (`str`、`list[str]`、`list[list[str]]`、*任意*) : エンコード対象のシーケンスまたはシーケンスのバッチです。各シーケンスは文字列、または文字列のリスト（プレトークナイズ済み文字列）であることができます。シーケンスが文字列のリスト（プレトークナイズ済み）として提供される場合、`is_split_into_words=True` を設定する必要があります（シーケンスのバッチとの曖昧さを解消するため）。

text_pair (`str`、`list[str]`、`list[list[str]]`、*任意*) : エンコード対象のシーケンスまたはシーケンスのバッチです。各シーケンスは文字列、または文字列のリスト（プレトークナイズ済み文字列）であることができます。シーケンスが文字列のリスト（プレトークナイズ済み）として提供される場合、`is_split_into_words=True` を設定する必要があります（シーケンスのバッチとの曖昧さを解消するため）。

text_target (`str`、`list[str]`、`list[list[str]]`、*任意*) : ターゲットテキストとしてエンコードするシーケンスまたはシーケンスのバッチです。各シーケンスは文字列または文字列のリスト（プレトークナイズされた文字列）であることができます。シーケンスが文字列のリスト（プレトークナイズ）として提供される場合、`is_split_into_words=True` を設定する必要があります（シーケンスのバッチとの曖昧さを解消するため）。

text_pair_target (`str`、`list[str]`、`list[list[str]]`、*任意*) : ターゲットテキストとしてエンコードするシーケンスまたはシーケンスのバッチです。各シーケンスは文字列または文字列のリスト（プレトークナイズされた文字列）であることができます。シーケンスが文字列のリスト（プレトークナイズ）として提供される場合、`is_split_into_words=True` を設定する必要があります（シーケンスのバッチとの曖昧さを解消するため）。

tokenizer_kwargs (`dict[str, Any]`、*省略可*) : トークナイザーに渡す追加の kwargs です。これらは明示的なパラメータやその他の kwargs とマージされますが、明示的なパラメータが優先されます。

add_special_tokens (`bool`、*任意*、デフォルトは`True`) : シーケンスをエンコードする際に特殊トークンを追加するかどうか。これは、入力 ID に自動的に追加されるトークンを定義する基盤となる`PretrainedTokenizerBase.build_inputs_with_special_tokens`関数を使用します。`bos`または`eos`トークンを自動的に追加したい場合に便利です。

padding (`bool`、`str` または [PaddingStrategy](/docs/transformers/v5.23.0/ja/internal/file_utils#transformers.utils.PaddingStrategy)、*optional*、デフォルトは `False`) : パディングの有効化と制御を行います。以下の値を受け取ります:  - `True` または `'longest'`: バッチ内の最長のシーケンスの長さにパディングします（単一のシーケンスのみが提供された場合は、パディングを行いません）。 - `'max_length'`: 引数 `max_length` で指定された最大長、またはその引数が提供されていない場合はモデルが受け入れ可能な最大入力長までパディングします。 - `False` または `'do_not_pad'`（デフォルト）: パディングを行いません（つまり、長さが異なるシーケンスのバッチを出力できます）。

truncation (`bool`、`str` または [TruncationStrategy](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.tokenization_utils_base.TruncationStrategy)、*optional*、デフォルトは `False`) : トランケーションを有効化し、制御します。以下の値を受け取ります: - `True` または `'longest_first'`: 引数 `max_length` で指定された最大長、またはその引数が指定されていない場合はモデルが許容する最大入力長まで切り詰めます。ペアのシーケンス（またはペアのバッチ）が提供されている場合、ペアの中で最も長いシーケンスからトークン単位で1トークンずつ削除します。 - `'only_first'`: 引数 `max_length` で指定された最大長、またはその引数が指定されていない場合はモデルが許容する最大入力長まで切り詰めます。ペアのシーケンス（またはペアのバッチ）が提供されている場合、ペアの最初のシーケンスのみを切り詰めます。 - `'only_second'`: 引数 `max_length` で指定された最大長、またはその引数が指定されていない場合はモデルが許容する最大入力長まで切り詰めます。ペアのシーケンス（またはペアのバッチ）が提供されている場合、ペアの2番目のシーケンスのみを切り詰めます。 - `False` または `'do_not_truncate'`（デフォルト）: トランケーションを行いません（つまり、モデルが許容する最大入力サイズを超えるシーケンス長を持つバッチを出力する可能性があります）。

max_length (`int`, *optional*) : 切り詰め/パディングパラメータのいずれかによって使用される最大長を制御します。 未設定のまま、または `None` に設定されている場合、切り詰め/パディングパラメータのいずれかが最大長を必要とする場合、事前に定義されたモデルの最大長が使用されます。 モデルに特定の最大入力長がない場合（XLNet など）、最大長への切り詰め/パディングは無効になります。

stride (`int`、*optional*、デフォルト値は 0) : `max_length` とともに数値が設定されている場合、`return_overflowing_tokens=True` のときに返されるオーバーフローしたトークンは、切り詰められたシーケンスの末尾の一部のトークンを含み、切り詰められたシーケンスとオーバーフローしたシーケンスの間に重複部分を持たせます。この引数の値は、重複するトークンの数を定義します。

is_split_into_words (`bool`、*任意*、デフォルトは `False`) : 入力がすでに事前トークン化済み（例：単語に分割済み）かどうかを示します。`True` に設定すると、トークナイザーは入力がすでに単語に分割済み（たとえば空白で分割済み）であると仮定し、それをトークン化します。これは NER やトークン分類に有用です。

pad_to_multiple_of (`int`, *optional*) : 設定すると、シーケンスを指定された値の倍数にパディングします。`padding` が有効になっている必要があります。これは、計算能力が `>= 7.5` (Volta) の NVIDIA ハードウェア上で Tensor Cores を使用可能にするために特に有用です。

padding_side (`str`, *任意*) : モデルにパディングを適用する側です。['right', 'left'] から選択する必要があります。デフォルト値は、同名のクラス属性から取得されます。

return_tensors (`str` または [TensorType](/docs/transformers/v5.23.0/ja/internal/file_utils#transformers.TensorType)、*optional*) : 設定されている場合、Python の整数のリストではなくテンソルを返します。指定可能な値は以下の通りです。 - `'pt'`: PyTorch の `torch.Tensor` オブジェクトを返します。 - `'np'`: Numpy の `np.ndarray` オブジェクトを返します。

return_token_type_ids (`bool`、*省略可*) : トークンタイプIDを返すかどうか。デフォルトのままにすると、`return_outputs` 属性で定義される特定のトークナイザーのデフォルトに従って、トークンタイプIDを返します。  [トークンタイプIDとは?](../glossary#token-type-ids)

return_attention_mask (`bool`、*省略可*) : アテンションマスクを返すかどうか。デフォルトのままにすると、`return_outputs` 属性で定義される特定のトークナイザーのデフォルトに従って、アテンションマスクを返します。  [アテンションマスクとは?](../glossary#attention-mask)

return_overflowing_tokens (`bool`, *任意*, デフォルトは `False`) : 溢れたトークンシーケンスを返すかどうかを指定します。入力 ID のシーケンスのペア（またはペアのバッチ）が `truncation_strategy = longest_first` または `True` とともに提供された場合、溢れたトークンを返す代わりにエラーが発生します。

return_special_tokens_mask (`bool`, *任意*, デフォルトは `False`) : 特殊トークンのマスク情報を返すかどうか。

return_offsets_mapping (`bool`、*任意*、デフォルトは`False`) : 各トークンについて`(char_start, char_end)`を返すかどうか。これは[PreTrainedTokenizerFast](/docs/transformers/v5.23.0/ja/main_classes/tokenizer#transformers.TokenizersBackend)を継承する fast tokenizer のみで利用可能であり、Python の tokenizer を使用している場合、このメソッドは`NotImplementedError`を送出します。

return_length (`bool`、*任意*、デフォルトは`False`) : エンコードされた入力の長さを返すかどうか。

verbose (`bool`、*任意*、デフォルトは `True`) : 詳細な情報や警告を表示するかどうか。

- ****kwargs** : `self.tokenize()` メソッドに渡されます

**戻り値:** [BatchEncoding](/docs/transformers/v5.23.0/ja/main_classes/tokenizer#transformers.BatchEncoding)

以下のフィールドを持つ[BatchEncoding](/docs/transformers/v5.23.0/ja/main_classes/tokenizer#transformers.BatchEncoding):

- **input_ids** -- モデルに渡すトークンIDのリスト。

  [入力IDとは何ですか？](../glossary#input-ids)

- **token_type_ids** -- モデルに渡すトークンタイプIDのリスト（`return_token_type_ids=True`の場合、または`self.model_input_names`に*"token_type_ids"*が含まれる場合）。

  [トークンタイプIDとは?](../glossary#token-type-ids)

- **attention_mask** -- モデルがどのトークンに注意すべきかを指定するインデックスのリスト（`return_attention_mask=True` の場合、または `self.model_input_names` に *"attention_mask"* が含まれている場合）。

  [アテンションマスクとは?](../glossary#attention-mask)

- **overflowing_tokens** -- 溢れ出したトークンシーケンスのリスト（`max_length`が指定され、`return_overflowing_tokens=True`の場合）。
- **num_truncated_tokens** -- トークンが切り詰められた数（`max_length`が指定され、`return_overflowing_tokens=True`の場合）。
- **special_tokens_mask** -- 0 と 1 のリスト。1 は追加された特殊トークンを、0 は通常のシーケンストークンを示します（`add_special_tokens=True` かつ `return_special_tokens_mask=True` の場合）。
- **length** -- 入力データの長さ（`return_length=True`の場合）

1 つ以上のシーケンス、または 1 つ以上のシーケンスのペアをトークナイズし、モデル用に準備するための主要なメソッドです。

#### save_vocabulary[[transformers.SpeechT5Tokenizer.save_vocabulary]]

```python
save_vocabulary(save_directory: str, filename_prefix: str | None = None)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_sentencepiece.py#L237)

**パラメータ:**

save_directory (`str`) : 語彙を保存するディレクトリ。

filename_prefix (`str`, *任意*) : 保存されるファイルの名前に追加する任意のプレフィックス。

**戻り値:** `tuple(str)`

保存されたファイルへのパス。

sentencepieceの語彙（元のファイルのコピー）をディレクトリに保存します。

#### decode[[transformers.SpeechT5Tokenizer.decode]]

```python
decode(token_ids: int | list[int] | list[list[int]] | np.ndarray | torch.Tensor, skip_special_tokens: bool = False, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L2884)

**パラメータ:**

token_ids (`Union[int, list[int], list[list[int]], np.ndarray, torch.Tensor]`) : トークン化された入力 ID の単一シーケンス、またはシーケンスのバッチ（シーケンスのリスト）。`__call__` メソッドを使用して取得できます。

skip_special_tokens (`bool`、*任意*、デフォルトは`False`) : デコーディング時に特殊トークンを削除するかどうか。

kwargs （追加のキーワード引数、*任意*）：基礎となるモデル固有のデコードメソッドに渡されます。

**戻り値:** `Union[str, list[str]]`

単一のシーケンスに対するデコード済み文字列、またはシーケンスのバッチに対するデコード済み文字列のリスト。

トークナイザーと語彙を使用して、id のシーケンスを文字列に変換します。また、シーケンスのリストを文字列のリストに変換することもできます。特殊トークンの削除や、トークン化スペースのクリーンアップなどのオプションが利用可能です。

`self.convert_tokens_to_string(self.convert_ids_to_tokens(token_ids))` を実行するのと似ています。

#### batch_decode[[transformers.SpeechT5Tokenizer.batch_decode]]

```python
batch_decode(sequences: list[int] | list[list[int]] | np.ndarray | torch.Tensor, skip_special_tokens: bool = False, clean_up_tokenization_spaces: bool | None = None, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L2932)

**パラメータ:**

sequences (`Union[list[int], list[list[int]], np.ndarray, torch.Tensor]`) : トークン化された入力 ID のリスト。`__call__` メソッドを使用して取得できます。

skip_special_tokens (`bool`、*任意*、デフォルトは`False`) : デコーディング時に特殊トークンを削除するかどうか。

clean_up_tokenization_spaces (`bool`、*任意*) : トークナイズのスペースをクリーンアップするかどうか。`None`の場合、`self.clean_up_tokenization_spaces`がデフォルトとして使用されます。

kwargs （追加のキーワード引数、*任意*）：基礎となるモデル固有のデコードメソッドに渡されます。

**戻り値:** `list[str]`

デコードされた文のリスト。

decode を呼び出して、トークン ID のリストのリストを文字列のリストに変換します。

このメソッドは後方互換性のために提供されています。`decode`メソッドは現在、バッチ入力をネイティブで処理するため、`batch_decode`の代わりに`decode`を直接使用できます。

## SpeechT5FeatureExtractor[[transformers.SpeechT5FeatureExtractor]]

#### transformers.SpeechT5FeatureExtractor[[transformers.SpeechT5FeatureExtractor]]

```python
transformers.SpeechT5FeatureExtractor(feature_size: int = 1, sampling_rate: int = 16000, padding_value: float = 0.0, do_normalize: bool = False, num_mel_bins: int = 80, hop_length: int = 16, win_length: int = 64, win_function: str = 'hann_window', fmin: float = 80, fmax: float = 7600, mel_floor: float = 1e-10, return_attention_mask: bool = True, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/feature_extraction_speecht5.py#L29)

**パラメータ:**

feature_size (`int`、*任意*、デフォルトは 1) : 抽出された特徴量の次元数。

sampling_rate (`int`、*optional*、デフォルトは 16000) : 音声ファイルをデジタル化するためのサンプリングレート（ヘルツ (Hz) 単位）。

padding_value (`float`、*任意*、デフォルト値は 0.0) : パディング値に埋める値。

do_normalize (`bool`、*任意*、デフォルトは`False`) : 入力を平均0・分散1に正規化するかどうか。正規化を行うことで、一部のモデルではパフォーマンスが大幅に向上する場合があります。

num_mel_bins (`int`, *optional*, デフォルトは 80) : 抽出されるスペクトログラム特徴におけるメル周波数ビンの数。

hop_length (`int`、*optional*、デフォルトは 16) : ウィンドウ間の間隔 (ms)。多くの論文では「shift」とも呼ばれます。

win_length (`int`、*optional*、デフォルトは 64) : ウィンドウあたりのミリ秒数。

win_function (`str`、*任意*、デフォルトは`"hann_window"`) : ウィンドウ処理に使用するウィンドウ関数の名前です。`torch.{win_function}` 経由でアクセス可能である必要があります。

fmin (`float`、*任意*、デフォルトは 80) : メル周波数の最小値 (Hz)。

fmax (`float`、*任意*、デフォルト値は 7600) : メル周波数の最大値 (Hz)。

mel_floor (`float`、*optional*、デフォルトは 1e-10) : mel 周波数バンクの最小値。

return_attention_mask (`bool`、*任意*、デフォルトは`True`) : [__call__()](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5FeatureExtractor.__call__)が`attention_mask`を返すかどうか。

SpeechT5のフィーチャーエクストラクターを構築します。

このクラスは、SpeechT5音声エンコーダーのプレネットでの使用を目的として、生音声信号を（オプションで）平均ゼロ・分散1に正規化することで前処理できます。

このクラスは、SpeechT5音声デコーダーのプレネットで使用するために、生音声からlog-melフィルタバンク特徴量を抽出することもできます。

このフィーチャーエクストラクターは、主要なメソッドの大部分を含む [SequenceFeatureExtractor](/docs/transformers/v5.23.0/ja/main_classes/feature_extractor#transformers.SequenceFeatureExtractor) を継承しています。これらのメソッドに関する詳細については、このスーパークラスを参照してください。

#### __call__[[transformers.SpeechT5FeatureExtractor.__call__]]

```python
__call__(audio: numpy.ndarray | list[float] | list[numpy.ndarray] | list[list[float]] | None = None, audio_target: numpy.ndarray | list[float] | list[numpy.ndarray] | list[list[float]] | None = None, padding: bool | str | transformers.utils.generic.PaddingStrategy = False, max_length: int | None = None, truncation: bool = False, pad_to_multiple_of: int | None = None, return_attention_mask: bool | None = None, return_tensors: str | transformers.utils.generic.TensorType | None = None, sampling_rate: int | None = None, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/feature_extraction_speecht5.py#L159)

**パラメータ:**

audio (`np.ndarray`、`list[float]`、`list[np.ndarray]`、`list[list[float]]`、*任意*) : 処理対象のシーケンスまたはシーケンスのバッチです。各シーケンスは、NumPy 配列、浮動小数点数のリスト、NumPy 配列のリスト、または浮動小数点数のリストのリストであることができます。これは波形特徴量を出力します。ステレオではなくモノラルのオーディオでなければならず、つまり各タイムステップにつき 1 つの浮動小数点数である必要があります。

audio_target (`np.ndarray`、`list[float]`、`list[np.ndarray]`、`list[list[float]]`、*任意*) : ターゲットとして処理されるシーケンスまたはシーケンスのバッチです。各シーケンスは、NumPy配列、浮動小数点数のリスト、NumPy配列のリスト、または浮動小数点数のリストのリストであることができます。これにより、log-melスペクトログラム特徴量が出力されます。

padding (`bool`、`str`または[PaddingStrategy](/docs/transformers/v5.23.0/ja/internal/file_utils#transformers.utils.PaddingStrategy)、*省略可能*、デフォルトは`False`) : 返されるシーケンスのパディング戦略を選択します（モデルのパディング側とパディングインデックスに従います）。選択肢は以下の通りです。 - `True`または`'longest'`: バッチ内の最も長いシーケンスまでパディングします（単一のシーケンスのみが提供された場合は、パディングを行いません）。 - `'max_length'`: 引数`max_length`で指定された最大長までパディングします。この引数が提供されていない場合は、モデルが受け入れられる最大入力長までパディングします。 - `False`または`'do_not_pad'`（デフォルト）: パディングを行いません（つまり、長さが異なるシーケンスのバッチを出力できます）。

max_length (`int`, *optional*) : 返されるリストの最大長、および必要に応じてパディング長（上記を参照）。

truncation (`bool`) : *max_length* を超える入力シーケンスを *max_length* に切り詰めるための切り詰め処理を有効にします。

pad_to_multiple_of (`int`, *optional*) : 設定されている場合、シーケンスを指定された値の倍数にパディングします。これは、計算能力が `>= 7.5` (Volta) の NVIDIA ハードウェアで Tensor Cores を使用可能にするため、またはシーケンス長が 128 の倍数であることで性能が向上する TPU で特に有用です。

return_attention_mask (`bool`、*任意*) : attention mask を返すかどうか。デフォルトのままにすると、特定の feature_extractor のデフォルトに従って attention mask を返します。 [attention mask とは?](../glossary#attention-mask)

return_tensors (`str` または [TensorType](/docs/transformers/v5.23.0/ja/internal/file_utils#transformers.TensorType)、*optional*) : 設定されている場合、Python の整数のリストではなくテンソルを返します。指定可能な値は以下の通りです。 - `'pt'`: PyTorch の `torch.Tensor` オブジェクトを返します。 - `'np'`: Numpy の `np.ndarray` オブジェクトを返します。

sampling_rate (`int`, *optional*) : `audio`または`audio_target`入力がサンプリングされたレートです。サイレントエラーを防ぐため、フォワード呼び出し時に`sampling_rate`を渡すことを強く推奨します。

1つ以上のシーケンスを特徴量化し、モデル用に準備するための主要なメソッド。

`audio` に値を渡すと、波形の特徴量が抽出されます。`audio_target` に値を渡すと、ログメロスペクトログラムの特徴量が抽出されます。

## SpeechT5Processor[[transformers.SpeechT5Processor]]

#### transformers.SpeechT5Processor[[transformers.SpeechT5Processor]]

```python
transformers.SpeechT5Processor(feature_extractor, tokenizer)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/processing_speecht5.py#L21)

**パラメータ:**

feature_extractor (`SpeechT5FeatureExtractor`) : 特徴抽出器は必須の入力です。

tokenizer (`SpeechT5Tokenizer`) : トークナイザーは必須の入力です。

SpeechT5Processor を構築します。これは、フィーチャーエクストラクターとトークナイザーを単一のプロセッサーにラップします。

[SpeechT5Processor](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Processor) は、[SpeechT5FeatureExtractor](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5FeatureExtractor) と [SpeechT5Tokenizer](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Tokenizer) のすべての機能を提供します。詳細については、[~SpeechT5FeatureExtractor](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5FeatureExtractor) および [~SpeechT5Tokenizer](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Tokenizer) を参照してください。

#### __call__[[transformers.SpeechT5Processor.__call__]]

```python
__call__(*args, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/processing_speecht5.py#L25)

**パラメータ:**

return_tensors (`str` または [TensorType](/docs/transformers/v5.23.0/ja/internal/file_utils#transformers.TensorType)、*optional*) : 設定されている場合、特定のフレームワークのテンソルを返します。受け入れ可能な値は以下の通りです:  - `'pt'`: PyTorch の `torch.Tensor` オブジェクトを返します。 - `'np'`: NumPy の `np.ndarray` オブジェクトを返します。

#### pad[[transformers.SpeechT5Processor.pad]]

```python
pad(*args, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/processing_speecht5.py#L74)

オーディオとテキストの入力、およびそれらのターゲットを、パディングされたバッチにまとめます。

Audio 入力は SpeechT5FeatureExtractor の [pad()](/docs/transformers/v5.23.0/ja/main_classes/feature_extractor#transformers.SequenceFeatureExtractor.pad) によってパディングされます。テキスト入力は SpeechT5Tokenizer の [pad()](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.pad) によってパディングされます。

有効な入力組み合わせは以下の通りです：

- `input_ids`のみ
- `input_values` のみ
- `labels`のみ、log-melスペクトログラムまたはテキストトークン
- `input_ids` と log-mel スペクトログラムの `labels`
- `input_values` とテキストの`labels`

詳細については、上記の2つのメソッドのdocstringを参照してください。

#### from_pretrained[[transformers.SpeechT5Processor.from_pretrained]]

```python
from_pretrained(pretrained_model_name_or_path: str | os.PathLike, cache_dir: str | os.PathLike | None = None, force_download: bool = False, local_files_only: bool = False, token: str | bool | None = None, revision: str = 'main', **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/processing_utils.py#L1799)

**パラメータ:**

pretrained_model_name_or_path (`str` または `os.PathLike`) : 以下のいずれかです:  - huggingface.co のモデルリポジトリにホストされている事前学習済み feature_extractor の *model id* を示す文字列。 - [save_pretrained()](/docs/transformers/v5.23.0/ja/main_classes/feature_extractor#transformers.FeatureExtractionMixin.save_pretrained) メソッドを使用して feature extractor ファイルを保存した *ディレクトリ* へのパス。例: `./my_model_directory/`。 - 保存された feature extractor の JSON *ファイル* へのパス。例: `./my_model_directory/preprocessor_config.json`。

- ****kwargs** : [from_pretrained()](/docs/transformers/v5.23.0/ja/main_classes/feature_extractor#transformers.FeatureExtractionMixin.from_pretrained) と `~tokenization_utils_base.PreTrainedTokenizer.from_pretrained` の両方に渡される追加のキーワード引数。

事前学習済みモデルに関連付けられたプロセッサをインスタンス化します。

このクラスメソッドは、単にフィーチャーエクストラクターの [from_pretrained()](/docs/transformers/v5.23.0/ja/main_classes/feature_extractor#transformers.FeatureExtractionMixin.from_pretrained)、イメージプロセッサーの [ImageProcessingMixin](/docs/transformers/v5.23.0/ja/internal/image_processing_utils#transformers.ImageProcessingMixin)、およびトークナイザーの `~tokenization_utils_base.PreTrainedTokenizer.from_pretrained` メソッドを呼び出しています。詳細については、上記のメソッドのドキュメント文字列を参照してください。

#### save_pretrained[[transformers.SpeechT5Processor.save_pretrained]]

```python
save_pretrained(save_directory, push_to_hub: bool = False, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/processing_utils.py#L1182)

**パラメータ:**

save_directory (`str` または `os.PathLike`) : 特徴量抽出器の JSON ファイルとトークナイザーのファイルを保存するディレクトリ（存在しない場合は作成されます）。

push_to_hub (`bool`、*任意*、デフォルトは`False`) : モデルを保存した後、Hugging Face モデルハブにプッシュするかどうかを指定します。プッシュ先のリポジトリは`repo_id`で指定できます（指定しない場合、`save_directory`の名前があなたのネームスペース内でデフォルトとして使用されます）。

kwargs (`dict[str, Any]`、*省略可*) : [push_to_hub()](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.utils.PushToHubMixin.push_to_hub) メソッドに渡される追加のキーワード引数。

このプロセッサ（フィーチャーエクストラクター、トークナイザーなど）の属性を指定されたディレクトリに保存し、[from_pretrained()](/docs/transformers/v5.23.0/ja/model_doc/wav2vec2#transformers.Wav2Vec2Processor.from_pretrained) メソッドによって再読み込みできるようにします。

このクラスメソッドは、[save_pretrained()](/docs/transformers/v5.23.0/ja/main_classes/feature_extractor#transformers.FeatureExtractionMixin.save_pretrained)と[save_pretrained()](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.save_pretrained)を呼び出すだけです。詳細については、上記のメソッドのドキュメント文字列を参照してください。

#### batch_decode[[transformers.SpeechT5Processor.batch_decode]]

```python
batch_decode(*args, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/processing_utils.py#L2054)

このメソッドは、すべての引数を PreTrainedTokenizer の [batch_decode()](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.batch_decode) に転送します。詳細については、このメソッドのドキュメント文字列を参照してください。

#### decode[[transformers.SpeechT5Processor.decode]]

```python
decode(*args, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/processing_utils.py#L2063)

このメソッドは、すべての引数を PreTrainedTokenizer の [decode()](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.decode) に転送します。詳細については、このメソッドのドキュメント文字列を参照してください。

## SpeechT5Model[[transformers.SpeechT5Model]]

#### transformers.SpeechT5Model[[transformers.SpeechT5Model]]

```python
transformers.SpeechT5Model(config: SpeechT5Config, encoder: typing.Optional[torch.nn.Module] = None, decoder: typing.Optional[torch.nn.Module] = None)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L1852)

**パラメータ:**

config ([SpeechT5Config](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Config)) : モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを確認してください。

encoder (`PreTrainedModel`、*任意*) : 使用するエンコーダーモデル。

decoder (`PreTrainedModel`、*任意*) : 使用するデコーダーモデル。

特定の事前ネットワークや事後ネットワークを伴わず、生の隠れ状態を出力する、素のSpeechT5 Encoder-Decoder Model。

このモデルは [PreTrainedModel](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

#### forward[[transformers.SpeechT5Model.forward]]

```python
forward(input_values: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.LongTensor] = None, decoder_input_values: typing.Optional[torch.Tensor] = None, decoder_attention_mask: typing.Optional[torch.LongTensor] = None, encoder_outputs: tuple[tuple[torch.Tensor]] | None = None, past_key_values: transformers.cache_utils.Cache | None = None, use_cache: bool | None = None, speaker_embeddings: typing.Optional[torch.Tensor] = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L1894)

**パラメータ:**

input_values (`torch.Tensor`、shape `(batch_size, sequence_length)`) : 使用されているエンコーダーによって、`input_values` は以下のいずれかになります。入力生の音声波形の浮動小数点数値、語彙内の入力シーケンストークンのインデックス、または隠れ状態。

attention_mask (`torch.LongTensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンインデックスに対する attention を行わないためのマスク。`[0, 1]` から選択されるマスク値:  - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。  [attention マスクとは?](../glossary#attention-mask)

decoder_input_values (`torch.Tensor`、shape `(batch_size, target_sequence_length)`、*optional*) : 使用されているデコーダーによって、`decoder_input_values` は以下のいずれかになります。生音声波形から抽出された log-mel フィルターバンク特徴量の浮動小数点数値、語彙内のデコーダー入力シーケンストークンのインデックス、または隠れ状態。

decoder_attention_mask (`torch.LongTensor`、形状 `(batch_size, target_sequence_length)`、*任意*) : デフォルトの動作: `decoder_input_values` 内のパッドトークンを無視するテンソルを生成します。デフォルトでは、カウザルマスクも使用されます。パディングの動作を変更する場合は、`SpeechT5Decoder._prepare_decoder_attention_mask` を読み、必要に応じて修正してください。デフォルトの戦略に関する詳細は、[論文](https://huggingface.co/papers/1910.13461) の図 1 を参照してください。

encoder_outputs (`tuple[tuple[torch.Tensor]]`, *任意*) : (`last_hidden_state`, *任意*: `hidden_states`, *任意*: `attentions`) のタプルです。`last_hidden_state` は形状 `(batch_size, sequence_length, hidden_size)` を持ち、*任意* です。エンコーダーの最終層の出力における隠れ状態のシーケンスです。デコーダーのクロスアテンションで使用されます。

past_key_values (`~cache_utils.Cache`, *任意*) : 逐次デコードを高速化するために使用できる、事前計算された hidden-states（self-attention ブロックおよび cross-attention ブロック内の key と value）です。通常、`use_cache=True` または `config.use_cache=True` の場合、モデルがデコードの以前の段階で返した `past_key_values` で構成されます。入力として許可されるのは [Cache](/docs/transformers/v5.23.0/ja/internal/generation_utils#transformers.Cache) インスタンスのみです。[kv cache ガイド](https://huggingface.co/docs/transformers/en/kv_cache)を参照してください。`past_key_values` が渡されない場合、デフォルトで [DynamicCache](/docs/transformers/v5.23.0/ja/internal/generation_utils#transformers.DynamicCache) が初期化されます。モデルは、入力として与えられたのと同じキャッシュ形式を出力します。`past_key_values` を使用する場合は、すべての `input_ids`（形状 `(batch_size, sequence_length)`）の代わりに、このモデルに過去の key value 状態が与えられていない未処理の `input_ids`（形状 `(batch_size, unprocessed_length)`）のみを入力する必要があります。

use_cache (`bool`, *任意*) : `True`に設定すると、`past_key_values`のキーバリュー状態が返され、デコーディングの高速化に利用できます（`past_key_values`を参照）。

speaker_embeddings (`torch.Tensor`、形状 `(batch_size, config.speaker_embedding_dim)`、*任意*) : スピーカー埋め込みを含むテンソル。

output_attentions (`bool`, *任意*) : すべてのアテンション層のアテンションテンソルを返すかどうか。詳細は、返されるテンソルの `attentions` を参照してください。

output_hidden_states (`bool`, *任意*) : 全レイヤーの hidden states を返すかどうかを指定します。詳細は、返されるテンソルの `hidden_states` を参照してください。

return_dict (`bool`, *任意*) : プレーンなタプルではなく [ModelOutput](/docs/transformers/v5.23.0/ja/main_classes/output#transformers.utils.ModelOutput) を返すかどうか。

**戻り値:** [Seq2SeqModelOutput](/docs/transformers/v5.23.0/ja/main_classes/output#transformers.modeling_outputs.Seq2SeqModelOutput) または `tuple(torch.Tensor)`

設定（[SpeechT5Config](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Config)）と入力に応じて、さまざまな要素で構成される、[Seq2SeqModelOutput](/docs/transformers/v5.23.0/ja/main_classes/output#transformers.modeling_outputs.Seq2SeqModelOutput)または`torch.Tensor`のタプル（`return_dict=False`が渡された場合、または`config.return_dict=False`の場合）。

[SpeechT5Model](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Model)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **last_hidden_state** (`torch.Tensor`、形状 `(batch_size, sequence_length, hidden_size)`) -- モデルのデコーダーの最終層の出力における、隠れ状態のシーケンスです。

  `past_key_values`が使用されている場合、出力されるのは、形状`(batch_size, 1, hidden_size)`のシーケンスの最後の隠れ状態のみです。
- **past_key_values** (`EncoderDecoderCache`、*任意*、`use_cache=True` が渡された場合または `config.use_cache=True` の場合に返されます) -- [EncoderDecoderCache](/docs/transformers/v5.23.0/ja/internal/generation_utils#transformers.EncoderDecoderCache) のインスタンスです。詳細については、[kv cache ガイド](https://huggingface.co/docs/transformers/en/kv_cache)を参照してください。

  逐次デコーディングを高速化するために使用できる（`past_key_values` 入力参照）、事前計算済みの隠れ状態（自己アテンションブロックおよびクロスアテンションブロックのキーとバリュー）が含まれます。
- **decoder_hidden_states** (`tuple(torch.Tensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.Tensor` のタプル（埋め込み層を持つモデルの場合、埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。

  各層の出力におけるデコーダーのHidden-states、および任意の初期埋め込み出力。
- **decoder_attentions** (`tuple(torch.Tensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.Tensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。

  自己アテンションヘッドにおける加重平均を計算するために使用される、アテンションのsoftmax後のデコーダーのアテンション重み。
- **cross_attentions** (`tuple(torch.Tensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.Tensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。

  クロスアテンション層のアテンション重みは、アテンションのsoftmax適用後に計算され、クロスアテンションヘッドにおける加重平均の計算に使用されます。
- **encoder_last_hidden_state** (`torch.Tensor`、形状 `(batch_size, sequence_length, hidden_size)`、*任意*) -- モデルのエンコーダーの最終層の出力における隠れ状態のシーケンス。
- **encoder_hidden_states** (`tuple(torch.Tensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.Tensor` のタプル（埋め込み層を持つモデルの場合、埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。

  各層の出力におけるエンコーダーのHidden-states、および任意の初期埋め込み出力。
- **encoder_attentions** (`tuple(torch.Tensor)`、*任意*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- 各レイヤーごとに 1 つの `torch.Tensor` からなるタプルで、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。

  アテンションのsoftmaxを適用した後のエンコーダーのアテンション重み。自己アテンションヘッドにおける加重平均の計算に使用されます。

## SpeechT5ForSpeechToText[[transformers.SpeechT5ForSpeechToText]]

#### transformers.SpeechT5ForSpeechToText[[transformers.SpeechT5ForSpeechToText]]

```python
transformers.SpeechT5ForSpeechToText(config: SpeechT5Config)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L1998)

**パラメータ:**

config ([SpeechT5Config](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Config)) : モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを確認してください。

音声エンコーダーとテキストデコーダーを備えたSpeechT5モデル。

このモデルは [PreTrainedModel](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

#### forward[[transformers.SpeechT5ForSpeechToText.forward]]

```python
forward(input_values: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.LongTensor] = None, decoder_input_ids: typing.Optional[torch.LongTensor] = None, decoder_attention_mask: typing.Optional[torch.LongTensor] = None, encoder_outputs: tuple[tuple[torch.Tensor]] | None = None, past_key_values: transformers.cache_utils.Cache | None = None, use_cache: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, labels: typing.Optional[torch.LongTensor] = None, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L2034)

**パラメータ:**

input_values (`torch.Tensor`、shape `(batch_size, sequence_length)`) : 入力生の音声波形の浮動小数点数値。値は、*.flac*または*.wav*のオーディオファイルを`list[float]`、`numpy.ndarray`、または`torch.Tensor`型の配列として読み込むことで取得できます。*例えば*、torchcodecライブラリ(`pip install torchcodec`)やsoundfileライブラリ(`pip install soundfile`)を通じて取得できます。`input_values`として配列を準備するには、パディングと`torch.Tensor`型への変換のために[SpeechT5Processor](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Processor)を使用する必要があります。詳細は[SpeechT5Processor.__call__()](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Processor.__call__)を参照してください。

attention_mask (`torch.LongTensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンインデックスに対する attention を行わないためのマスク。`[0, 1]` から選択されるマスク値:  - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。  [attention マスクとは?](../glossary#attention-mask)

decoder_input_ids (`torch.LongTensor`、形状 `(batch_size, target_sequence_length)`、*任意*) : 語彙におけるデコーダー入力シーケンスのトークンインデックス。インデックスは [SpeechT5Tokenizer](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Tokenizer) を使用して取得できます。詳細は [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) および [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) を参照してください。 [デコーダー入力IDとは何ですか？](../glossary#decoder-input-ids) SpeechT5 は `decoder_input_ids` の生成の開始トークンとして `eos_token_id` を使用します。 `past_key_values` を使用する場合、任意で最後の `decoder_input_ids` だけを入力すれば十分です（`past_key_values` を参照）。

decoder_attention_mask (`torch.LongTensor`、形状 `(batch_size, target_sequence_length)`、*任意*) : デフォルトの動作: `decoder_input_values` 内のパッドトークンを無視するテンソルを生成します。デフォルトでは、カウザルマスクも使用されます。パディングの動作を変更する場合は、`SpeechT5Decoder._prepare_decoder_attention_mask` を読み、必要に応じて修正してください。デフォルトの戦略に関する詳細は、[論文](https://huggingface.co/papers/1910.13461) の図 1 を参照してください。

encoder_outputs (`tuple[tuple[torch.Tensor]]`, *任意*) : (`last_hidden_state`, *任意*: `hidden_states`, *任意*: `attentions`) のタプルです。`last_hidden_state` は形状 `(batch_size, sequence_length, hidden_size)` を持ち、*任意* です。エンコーダーの最終層の出力における隠れ状態のシーケンスです。デコーダーのクロスアテンションで使用されます。

past_key_values (`~cache_utils.Cache`, *任意*) : 逐次デコードを高速化するために使用できる、事前計算された hidden-states（self-attention ブロックおよび cross-attention ブロック内の key と value）です。通常、`use_cache=True` または `config.use_cache=True` の場合、モデルがデコードの以前の段階で返した `past_key_values` で構成されます。入力として許可されるのは [Cache](/docs/transformers/v5.23.0/ja/internal/generation_utils#transformers.Cache) インスタンスのみです。[kv cache ガイド](https://huggingface.co/docs/transformers/en/kv_cache)を参照してください。`past_key_values` が渡されない場合、デフォルトで [DynamicCache](/docs/transformers/v5.23.0/ja/internal/generation_utils#transformers.DynamicCache) が初期化されます。モデルは、入力として与えられたのと同じキャッシュ形式を出力します。`past_key_values` を使用する場合は、すべての `input_ids`（形状 `(batch_size, sequence_length)`）の代わりに、このモデルに過去の key value 状態が与えられていない未処理の `input_ids`（形状 `(batch_size, unprocessed_length)`）のみを入力する必要があります。

use_cache (`bool`, *任意*) : `True`に設定すると、`past_key_values`のキーバリュー状態が返され、デコーディングの高速化に利用できます（`past_key_values`を参照）。

output_attentions (`bool`, *任意*) : すべてのアテンション層のアテンションテンソルを返すかどうか。詳細は、返されるテンソルの `attentions` を参照してください。

output_hidden_states (`bool`, *任意*) : 全レイヤーの hidden states を返すかどうかを指定します。詳細は、返されるテンソルの `hidden_states` を参照してください。

return_dict (`bool`, *任意*) : プレーンなタプルではなく [ModelOutput](/docs/transformers/v5.23.0/ja/main_classes/output#transformers.utils.ModelOutput) を返すかどうか。

labels (`torch.LongTensor`、形状 `(batch_size, sequence_length)`、*任意*) : 言語モデリング損失を計算するためのラベル。インデックスは `[0, ..., config.vocab_size]` の範囲内であるか、-100 である必要があります（`input_ids` のドキュメント文字列を参照）。インデックスが `-100` に設定されたトークンは無視（マスク）され、損失は `[0, ..., config.vocab_size]` の範囲内のラベルを持つトークンに対してのみ計算されます。ラベルインデックスは [SpeechT5Tokenizer](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Tokenizer) を使用して取得できます。詳細については、[PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) および [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) を参照してください。

**戻り値:** [Seq2SeqLMOutput](/docs/transformers/v5.23.0/ja/main_classes/output#transformers.modeling_outputs.Seq2SeqLMOutput) または `tuple(torch.Tensor)`

設定（[SpeechT5Config](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Config)）と入力に応じて、さまざまな要素で構成される、[Seq2SeqLMOutput](/docs/transformers/v5.23.0/ja/main_classes/output#transformers.modeling_outputs.Seq2SeqLMOutput)または`torch.Tensor`のタプル（`return_dict=False`が渡された場合、または`config.return_dict=False`の場合）。

[SpeechT5ForSpeechToText](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5ForSpeechToText)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **loss** (`torch.Tensor`、形状 `(1,)`、*任意*、`labels` が指定された場合に返されます) -- 言語モデリングの損失。
- **logits** (`torch.Tensor`、形状 `(batch_size, sequence_length, config.vocab_size)`) -- 言語モデリングヘッドの予測スコア（SoftMax 適用前の各語彙トークンのスコア）。
- **past_key_values** (`EncoderDecoderCache`、*任意*、`use_cache=True` が渡された場合または `config.use_cache=True` の場合に返されます) -- [EncoderDecoderCache](/docs/transformers/v5.23.0/ja/internal/generation_utils#transformers.EncoderDecoderCache) のインスタンスです。詳細については、[kv cache ガイド](https://huggingface.co/docs/transformers/en/kv_cache)を参照してください。

  逐次デコーディングを高速化するために使用できる（`past_key_values` 入力参照）、事前計算済みの隠れ状態（自己アテンションブロックおよびクロスアテンションブロックのキーとバリュー）が含まれます。
- **decoder_hidden_states** (`tuple(torch.Tensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.Tensor` のタプル（埋め込み層を持つモデルの場合、埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。

  各層の出力および初期埋め込み出力における、デコーダーの隠れ状態。
- **decoder_attentions** (`tuple(torch.Tensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.Tensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。

  自己アテンションヘッドにおける加重平均を計算するために使用される、アテンションのsoftmax後のデコーダーのアテンション重み。
- **cross_attentions** (`tuple(torch.Tensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.Tensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。

  クロスアテンション層のアテンション重みは、アテンションのsoftmax適用後に計算され、クロスアテンションヘッドにおける加重平均の計算に使用されます。
- **encoder_last_hidden_state** (`torch.Tensor`、形状 `(batch_size, sequence_length, hidden_size)`、*任意*) -- モデルのエンコーダーの最終層の出力における隠れ状態のシーケンス。
- **encoder_hidden_states** (`tuple(torch.Tensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.Tensor` のタプル（埋め込み層を持つモデルの場合、埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。

  各層の出力および初期埋め込み出力におけるエンコーダーの隠れ状態。
- **encoder_attentions** (`tuple(torch.Tensor)`、*任意*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- 各レイヤーごとに 1 つの `torch.Tensor` からなるタプルで、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。

  アテンションのsoftmaxを適用した後のエンコーダーのアテンション重み。自己アテンションヘッドにおける加重平均の計算に使用されます。

例:

```python
>>> from transformers import SpeechT5Processor, SpeechT5ForSpeechToText
>>> from datasets import load_dataset

>>> dataset = load_dataset(
...     "hf-internal-testing/librispeech_asr_demo", "clean", split="validation"
... )  # doctest: +IGNORE_RESULT
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> processor = SpeechT5Processor.from_pretrained("microsoft/speecht5_asr")
>>> model = SpeechT5ForSpeechToText.from_pretrained("microsoft/speecht5_asr")

>>> # audio file is decoded on the fly
>>> inputs = processor(audio=dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> predicted_ids = model.generate(**inputs, max_length=100)

>>> # transcribe speech
>>> transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)
>>> transcription[0]
'mister quilter is the apostle of the middle classes and we are glad to welcome his gospel'
```

```python
>>> inputs["labels"] = processor(text_target=dataset[0]["text"], return_tensors="pt").input_ids

>>> # compute loss
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
19.68
```

## SpeechT5ForTextToSpeech[[transformers.SpeechT5ForTextToSpeech]]

#### transformers.SpeechT5ForTextToSpeech[[transformers.SpeechT5ForTextToSpeech]]

```python
transformers.SpeechT5ForTextToSpeech(config: SpeechT5Config)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L2310)

**パラメータ:**

config ([SpeechT5Config](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Config)) : モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを確認してください。

テキストエンコーダーと音声デコーダーを備えたSpeechT5モデル。

このモデルは [PreTrainedModel](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

#### forward[[transformers.SpeechT5ForTextToSpeech.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.LongTensor] = None, decoder_input_values: typing.Optional[torch.Tensor] = None, decoder_attention_mask: typing.Optional[torch.LongTensor] = None, encoder_outputs: tuple[tuple[torch.Tensor]] | None = None, past_key_values: transformers.cache_utils.Cache | None = None, use_cache: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, speaker_embeddings: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, stop_labels: typing.Optional[torch.Tensor] = None, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L2341)

**パラメータ:**

input_ids (`torch.LongTensor`、形状 `(batch_size, sequence_length)`) : 語彙における入力シーケンスのトークンインデックス。[SpeechT5Tokenizer](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Tokenizer) を使用してインデックスを取得できます。詳細は [encode()](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) および [__call__()](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) を参照してください。[入力IDとは何ですか？](../glossary#input-ids)

attention_mask (`torch.LongTensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンインデックスに対する attention を行わないためのマスク。`[0, 1]` から選択されるマスク値:  - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。  [attention マスクとは?](../glossary#attention-mask)

decoder_input_values (`torch.Tensor`、shape `(batch_size, sequence_length, config.num_mel_bins)`) : 入力メロスペクトラムの浮動小数点値。SpeechT5 は、`decoder_input_values` の生成の開始トークンとして全ゼロのスペクトラムを使用します。`past_key_values` を使用する場合、任意で最後の `decoder_input_values` だけを入力すれば十分です（`past_key_values` を参照）。

decoder_attention_mask (`torch.LongTensor`、形状 `(batch_size, target_sequence_length)`、*任意*) : デフォルトの動作: `decoder_input_values` 内のパッドトークンを無視するテンソルを生成します。デフォルトでは、カウザルマスクも使用されます。パディングの動作を変更する場合は、`SpeechT5Decoder._prepare_decoder_attention_mask` を読み、必要に応じて修正してください。デフォルトの戦略に関する詳細は、[論文](https://huggingface.co/papers/1910.13461) の図 1 を参照してください。

encoder_outputs (`tuple[tuple[torch.Tensor]]`, *任意*) : (`last_hidden_state`, *任意*: `hidden_states`, *任意*: `attentions`) のタプルです。`last_hidden_state` は形状 `(batch_size, sequence_length, hidden_size)` を持ち、*任意* です。エンコーダーの最終層の出力における隠れ状態のシーケンスです。デコーダーのクロスアテンションで使用されます。

past_key_values (`~cache_utils.Cache`, *任意*) : 逐次デコードを高速化するために使用できる、事前計算された hidden-states（self-attention ブロックおよび cross-attention ブロック内の key と value）です。通常、`use_cache=True` または `config.use_cache=True` の場合、モデルがデコードの以前の段階で返した `past_key_values` で構成されます。入力として許可されるのは [Cache](/docs/transformers/v5.23.0/ja/internal/generation_utils#transformers.Cache) インスタンスのみです。[kv cache ガイド](https://huggingface.co/docs/transformers/en/kv_cache)を参照してください。`past_key_values` が渡されない場合、デフォルトで [DynamicCache](/docs/transformers/v5.23.0/ja/internal/generation_utils#transformers.DynamicCache) が初期化されます。モデルは、入力として与えられたのと同じキャッシュ形式を出力します。`past_key_values` を使用する場合は、すべての `input_ids`（形状 `(batch_size, sequence_length)`）の代わりに、このモデルに過去の key value 状態が与えられていない未処理の `input_ids`（形状 `(batch_size, unprocessed_length)`）のみを入力する必要があります。

use_cache (`bool`, *任意*) : `True`に設定すると、`past_key_values`のキーバリュー状態が返され、デコーディングの高速化に利用できます（`past_key_values`を参照）。

output_attentions (`bool`, *任意*) : すべてのアテンション層のアテンションテンソルを返すかどうか。詳細は、返されるテンソルの `attentions` を参照してください。

output_hidden_states (`bool`, *任意*) : 全レイヤーの hidden states を返すかどうかを指定します。詳細は、返されるテンソルの `hidden_states` を参照してください。

return_dict (`bool`, *任意*) : プレーンなタプルではなく [ModelOutput](/docs/transformers/v5.23.0/ja/main_classes/output#transformers.utils.ModelOutput) を返すかどうか。

speaker_embeddings (`torch.Tensor`、形状 `(batch_size, config.speaker_embedding_dim)`、*任意*) : スピーカー埋め込みを含むテンソル。

labels (`torch.Tensor`、形状 `(batch_size, sequence_length, config.num_mel_bins)`、*任意*) : 目標メロスペクトログラムの浮動小数点値。タイムステップが `-100.0` に設定されているものは、損失計算において無視（マスク）されます。スペクトログラムは [SpeechT5Processor](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Processor) を使用して取得できます。詳細は [SpeechT5Processor.__call__()](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Processor.__call__) を参照してください。

stop_labels (`torch.Tensor`、形状 `(batch_size, sequence_length)`、*任意*) : シーケンス内のストップトークンの位置を示すバイナリテンソル。

**戻り値:** [Seq2SeqSpectrogramOutput](/docs/transformers/v5.23.0/ja/main_classes/output#transformers.modeling_outputs.Seq2SeqSpectrogramOutput) または `tuple(torch.Tensor)`

`torch.Tensor` のタプル（`return_dict=False` が渡された場合、または `config.return_dict=False` の場合）または [Seq2SeqSpectrogramOutput](/docs/transformers/v5.23.0/ja/main_classes/output#transformers.modeling_outputs.Seq2SeqSpectrogramOutput)。設定（[SpeechT5Config](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Config)）と入力に応じて、さまざまな要素で構成されます。

[SpeechT5ForTextToSpeech](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5ForTextToSpeech)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **loss** (`torch.Tensor`、形状 `(1,)`、*任意*、`labels` が指定された場合に返されます) -- スペクトログラム生成の損失。
- **スペクトログラム** (`torch.Tensor`、形状 `(batch_size, sequence_length, num_bins)`) -- 予測されたスペクトログラム。
- **past_key_values** (`EncoderDecoderCache`、*任意*、`use_cache=True` が渡された場合または `config.use_cache=True` の場合に返されます) -- [EncoderDecoderCache](/docs/transformers/v5.23.0/ja/internal/generation_utils#transformers.EncoderDecoderCache) のインスタンスです。詳細については、[kv cache ガイド](https://huggingface.co/docs/transformers/en/kv_cache)を参照してください。

  逐次デコーディングを高速化するために使用できる（`past_key_values` 入力参照）、事前計算済みの隠れ状態（自己アテンションブロックおよびクロスアテンションブロックのキーとバリュー）が含まれます。
- **decoder_hidden_states** (`tuple(torch.Tensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.Tensor` のタプル（埋め込み層を持つモデルの場合、埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。

  各層の出力および初期埋め込み出力における、デコーダーの隠れ状態。
- **decoder_attentions** (`tuple(torch.Tensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.Tensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。

  自己アテンションヘッドにおける加重平均を計算するために使用される、アテンションのsoftmax後のデコーダーのアテンション重み。
- **cross_attentions** (`tuple(torch.Tensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.Tensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。

  クロスアテンション層のアテンション重みは、アテンションのsoftmax適用後に計算され、クロスアテンションヘッドにおける加重平均の計算に使用されます。
- **encoder_last_hidden_state** (`torch.Tensor`、形状 `(batch_size, sequence_length, hidden_size)`、*任意*) -- モデルのエンコーダーの最終層の出力における隠れ状態のシーケンス。
- **encoder_hidden_states** (`tuple(torch.Tensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.Tensor` のタプル（埋め込み層を持つモデルの場合、埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。

  各層の出力および初期埋め込み出力におけるエンコーダーの隠れ状態。
- **encoder_attentions** (`tuple(torch.Tensor)`、*任意*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- 各レイヤーごとに 1 つの `torch.Tensor` からなるタプルで、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。

  アテンションのsoftmaxを適用した後のエンコーダーのアテンション重み。自己アテンションヘッドにおける加重平均の計算に使用されます。

例:

```python
>>> from transformers import SpeechT5Processor, SpeechT5ForTextToSpeech, SpeechT5HifiGan, set_seed
>>> import torch

>>> processor = SpeechT5Processor.from_pretrained("microsoft/speecht5_tts")
>>> model = SpeechT5ForTextToSpeech.from_pretrained("microsoft/speecht5_tts")
>>> vocoder = SpeechT5HifiGan.from_pretrained("microsoft/speecht5_hifigan")

>>> inputs = processor(text="Hello, my dog is cute", return_tensors="pt")
>>> speaker_embeddings = torch.zeros((1, 512))  # or load xvectors from a file

>>> set_seed(555)  # make deterministic

>>> # generate speech
>>> speech = model.generate(inputs["input_ids"], speaker_embeddings=speaker_embeddings, vocoder=vocoder)
>>> speech.shape
torch.Size([15872])
```

#### generate[[transformers.SpeechT5ForTextToSpeech.generate]]

```python
generate(input_ids: LongTensor, attention_mask: typing.Optional[torch.LongTensor] = None, speaker_embeddings: typing.Optional[torch.Tensor] = None, threshold: float = 0.5, minlenratio: float = 0.0, maxlenratio: float = 20.0, vocoder: typing.Optional[torch.nn.Module] = None, output_cross_attentions: bool = False, return_output_lengths: bool = False, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L2464)

**パラメータ:**

input_ids (`torch.LongTensor`、形状 `(batch_size, sequence_length)`) : 語彙における入力シーケンスのトークンインデックス。[SpeechT5Tokenizer](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Tokenizer) を使用してインデックスを取得できます。詳細は [encode()](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) および [__call__()](/docs/transformers/v5.23.0/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) を参照してください。[入力IDとは何ですか？](../glossary#input-ids)

attention_mask (`torch.LongTensor` of shape `(batch_size, sequence_length)`) : Attention mask from the tokenizer, required for batched inference to signal to the model where to ignore padded tokens from the input_ids.

speaker_embeddings (`torch.Tensor`、形状 `(batch_size, config.speaker_embedding_dim)`、*任意*) : スピーカー埋め込みを含むテンソル。

threshold (`float`、*optional*、デフォルトは 0.5) : 予測されたストップトークンの確率がこの値を超えると、生成シーケンスが終了します。

minlenratio (`float`、*optional*、デフォルトは 0.0) : 出力シーケンスの最小必要長を計算するために使用されます。

maxlenratio (`float`、*optional*、デフォルト値は 20.0) : 出力シーケンスの許容される最大長を計算するために使用されます。

vocoder (`nn.Module`、*optional*) : メルスペクトログラムを音声波形に変換するボコーダー。`None`の場合、出力はメルスペクトログラムになります。

output_cross_attentions (`bool`, *任意*, デフォルトは `False`) : デコーダーのクロスアテンション層のアテンションテンソルを返すかどうか。

return_output_lengths (`bool`, *任意*, デフォルトは `False`) : 具体的なスペクトログラム/波形の長さを返すかどうか。

**戻り値:** `tuple(torch.Tensor)` 入力に応じてさまざまな要素で構成される

- `return_output_lengths`がFalseの場合
  - **spectrogram** (*optional*、`vocoder`が指定されていない場合に返されます) `torch.Tensor`、形状 `(output_sequence_length, config.num_mel_bins)` -- 予測されたlog-melスペクトログラム。
  - **waveform**（*optional*、`vocoder`が指定された場合に返されます）`torch.Tensor`、形状`(num_frames,)` -- 予測された音声波形。
  - **cross_attentions** (*任意*、`output_cross_attentions` が `True` の場合のみ返されます) `torch.Tensor`、形状 `(config.decoder_layers, config.decoder_attention_heads, output_sequence_length, input_sequence_length)` -- デコーダーのクロスアテンション層の出力です。
- `return_output_lengths`がTrueの場合
  - **スペクトログラム**（*任意*、`vocoder`が指定されていない場合に返されます） `torch.Tensor`、形状 `(batch_size, output_sequence_length, config.num_mel_bins)` -- 最大長にパディングされた予測されたログメルスペクトログラム。
  - **spectrogram_lengths** (*任意*、`vocoder` が指定されていない場合に返されます) `list[Int]` -- 各スペクトログラムの具体的な長さのリストです。
  - **波形**（*任意*、`vocoder` が提供された場合に返されます）形状 `(batch_size, num_frames)` の `torch.Tensor` -- 最大長にパディングされた予測された音声波形。
  - **waveform_lengths** (*optional*、`vocoder`が指定された場合に返されます) `list[Int]` -- 各波形の具体的な長さのリストです。
  - **cross_attentions** (*オプション*、`output_cross_attentions`が`True`の場合に返されます) `torch.Tensor`、形状`(batch_size, config.decoder_layers, config.decoder_attention_heads, output_sequence_length, input_sequence_length)` -- デコーダーのクロスアテンション層の出力です。

入力トークンのシーケンスをメルスペクトログラムのシーケンスに変換し、その後、ボコーダーを使用して音声波形に変換します。

## SpeechT5ForSpeechToSpeech[[transformers.SpeechT5ForSpeechToSpeech]]

#### transformers.SpeechT5ForSpeechToSpeech[[transformers.SpeechT5ForSpeechToSpeech]]

```python
transformers.SpeechT5ForSpeechToSpeech(config: SpeechT5Config)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L2658)

**パラメータ:**

config ([SpeechT5Config](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Config)) : モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを確認してください。

音声エンコーダーと音声デコーダーを備えたSpeechT5モデル。

このモデルは [PreTrainedModel](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

#### forward[[transformers.SpeechT5ForSpeechToSpeech.forward]]

```python
forward(input_values: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.LongTensor] = None, decoder_input_values: typing.Optional[torch.Tensor] = None, decoder_attention_mask: typing.Optional[torch.LongTensor] = None, encoder_outputs: tuple[tuple[torch.Tensor]] | None = None, past_key_values: transformers.cache_utils.Cache | None = None, use_cache: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, speaker_embeddings: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, stop_labels: typing.Optional[torch.Tensor] = None, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L2678)

**パラメータ:**

input_values (`torch.Tensor`、shape `(batch_size, sequence_length)`) : 入力生の音声波形の浮動小数点数値。値は、*.flac*または*.wav*のオーディオファイルを`list[float]`、`numpy.ndarray`、または`torch.Tensor`型の配列として読み込むことで取得できます。*例えば*、torchcodecライブラリ(`pip install torchcodec`)やsoundfileライブラリ(`pip install soundfile`)を通じて取得できます。`input_values`として配列を準備するには、パディングと`torch.Tensor`型への変換のために[SpeechT5Processor](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Processor)を使用する必要があります。詳細は[SpeechT5Processor.__call__()](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Processor.__call__)を参照してください。

attention_mask (`torch.LongTensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンインデックスに対する attention を行わないためのマスク。`[0, 1]` から選択されるマスク値:  - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。  [attention マスクとは?](../glossary#attention-mask)

decoder_input_values (`torch.Tensor`、shape `(batch_size, sequence_length, config.num_mel_bins)`) : 入力メロスペクトラムの浮動小数点値。SpeechT5 は、`decoder_input_values` の生成の開始トークンとして全ゼロのスペクトラムを使用します。`past_key_values` を使用する場合、任意で最後の `decoder_input_values` だけを入力すれば十分です（`past_key_values` を参照）。

decoder_attention_mask (`torch.LongTensor`、形状 `(batch_size, target_sequence_length)`、*任意*) : デフォルトの動作: `decoder_input_values` 内のパッドトークンを無視するテンソルを生成します。デフォルトでは、カウザルマスクも使用されます。パディングの動作を変更する場合は、`SpeechT5Decoder._prepare_decoder_attention_mask` を読み、必要に応じて修正してください。デフォルトの戦略に関する詳細は、[論文](https://huggingface.co/papers/1910.13461) の図 1 を参照してください。

encoder_outputs (`tuple[tuple[torch.Tensor]]`, *任意*) : (`last_hidden_state`, *任意*: `hidden_states`, *任意*: `attentions`) のタプルです。`last_hidden_state` は形状 `(batch_size, sequence_length, hidden_size)` を持ち、*任意* です。エンコーダーの最終層の出力における隠れ状態のシーケンスです。デコーダーのクロスアテンションで使用されます。

past_key_values (`~cache_utils.Cache`, *任意*) : 逐次デコードを高速化するために使用できる、事前計算された hidden-states（self-attention ブロックおよび cross-attention ブロック内の key と value）です。通常、`use_cache=True` または `config.use_cache=True` の場合、モデルがデコードの以前の段階で返した `past_key_values` で構成されます。入力として許可されるのは [Cache](/docs/transformers/v5.23.0/ja/internal/generation_utils#transformers.Cache) インスタンスのみです。[kv cache ガイド](https://huggingface.co/docs/transformers/en/kv_cache)を参照してください。`past_key_values` が渡されない場合、デフォルトで [DynamicCache](/docs/transformers/v5.23.0/ja/internal/generation_utils#transformers.DynamicCache) が初期化されます。モデルは、入力として与えられたのと同じキャッシュ形式を出力します。`past_key_values` を使用する場合は、すべての `input_ids`（形状 `(batch_size, sequence_length)`）の代わりに、このモデルに過去の key value 状態が与えられていない未処理の `input_ids`（形状 `(batch_size, unprocessed_length)`）のみを入力する必要があります。

use_cache (`bool`, *任意*) : `True`に設定すると、`past_key_values`のキーバリュー状態が返され、デコーディングの高速化に利用できます（`past_key_values`を参照）。

output_attentions (`bool`, *任意*) : すべてのアテンション層のアテンションテンソルを返すかどうか。詳細は、返されるテンソルの `attentions` を参照してください。

output_hidden_states (`bool`, *任意*) : 全レイヤーの hidden states を返すかどうかを指定します。詳細は、返されるテンソルの `hidden_states` を参照してください。

return_dict (`bool`, *任意*) : プレーンなタプルではなく [ModelOutput](/docs/transformers/v5.23.0/ja/main_classes/output#transformers.utils.ModelOutput) を返すかどうか。

speaker_embeddings (`torch.Tensor`、形状 `(batch_size, config.speaker_embedding_dim)`、*任意*) : スピーカー埋め込みを含むテンソル。

labels (`torch.Tensor`、形状 `(batch_size, sequence_length, config.num_mel_bins)`、*任意*) : 目標メロスペクトログラムの浮動小数点値。スペクトログラムは [SpeechT5Processor](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Processor) を使用して取得できます。詳細は [SpeechT5Processor.__call__()](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Processor.__call__) を参照してください。

stop_labels (`torch.Tensor`、形状 `(batch_size, sequence_length)`、*任意*) : シーケンス内のストップトークンの位置を示すバイナリテンソル。

**戻り値:** [Seq2SeqSpectrogramOutput](/docs/transformers/v5.23.0/ja/main_classes/output#transformers.modeling_outputs.Seq2SeqSpectrogramOutput) または `tuple(torch.Tensor)`

`torch.Tensor` のタプル（`return_dict=False` が渡された場合、または `config.return_dict=False` の場合）または [Seq2SeqSpectrogramOutput](/docs/transformers/v5.23.0/ja/main_classes/output#transformers.modeling_outputs.Seq2SeqSpectrogramOutput)。設定（[SpeechT5Config](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Config)）と入力に応じて、さまざまな要素で構成されます。

[SpeechT5ForSpeechToSpeech](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5ForSpeechToSpeech)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **loss** (`torch.Tensor`、形状 `(1,)`、*任意*、`labels` が指定された場合に返されます) -- スペクトログラム生成の損失。
- **スペクトログラム** (`torch.Tensor`、形状 `(batch_size, sequence_length, num_bins)`) -- 予測されたスペクトログラム。
- **past_key_values** (`EncoderDecoderCache`、*任意*、`use_cache=True` が渡された場合または `config.use_cache=True` の場合に返されます) -- [EncoderDecoderCache](/docs/transformers/v5.23.0/ja/internal/generation_utils#transformers.EncoderDecoderCache) のインスタンスです。詳細については、[kv cache ガイド](https://huggingface.co/docs/transformers/en/kv_cache)を参照してください。

  逐次デコーディングを高速化するために使用できる（`past_key_values` 入力参照）、事前計算済みの隠れ状態（自己アテンションブロックおよびクロスアテンションブロックのキーとバリュー）が含まれます。
- **decoder_hidden_states** (`tuple(torch.Tensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.Tensor` のタプル（埋め込み層を持つモデルの場合、埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。

  各層の出力および初期埋め込み出力における、デコーダーの隠れ状態。
- **decoder_attentions** (`tuple(torch.Tensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.Tensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。

  自己アテンションヘッドにおける加重平均を計算するために使用される、アテンションのsoftmax後のデコーダーのアテンション重み。
- **cross_attentions** (`tuple(torch.Tensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.Tensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。

  クロスアテンション層のアテンション重みは、アテンションのsoftmax適用後に計算され、クロスアテンションヘッドにおける加重平均の計算に使用されます。
- **encoder_last_hidden_state** (`torch.Tensor`、形状 `(batch_size, sequence_length, hidden_size)`、*任意*) -- モデルのエンコーダーの最終層の出力における隠れ状態のシーケンス。
- **encoder_hidden_states** (`tuple(torch.Tensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.Tensor` のタプル（埋め込み層を持つモデルの場合、埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。

  各層の出力および初期埋め込み出力におけるエンコーダーの隠れ状態。
- **encoder_attentions** (`tuple(torch.Tensor)`、*任意*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- 各レイヤーごとに 1 つの `torch.Tensor` からなるタプルで、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。

  アテンションのsoftmaxを適用した後のエンコーダーのアテンション重み。自己アテンションヘッドにおける加重平均の計算に使用されます。

例:

```python
>>> from transformers import SpeechT5Processor, SpeechT5ForSpeechToSpeech, SpeechT5HifiGan, set_seed
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset(
...     "hf-internal-testing/librispeech_asr_demo", "clean", split="validation"
... )  # doctest: +IGNORE_RESULT
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> processor = SpeechT5Processor.from_pretrained("microsoft/speecht5_vc")
>>> model = SpeechT5ForSpeechToSpeech.from_pretrained("microsoft/speecht5_vc")
>>> vocoder = SpeechT5HifiGan.from_pretrained("microsoft/speecht5_hifigan")

>>> # audio file is decoded on the fly
>>> inputs = processor(audio=dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")

>>> speaker_embeddings = torch.zeros((1, 512))  # or load xvectors from a file

>>> set_seed(555)  # make deterministic

>>> # generate speech
>>> speech = model.generate_speech(inputs["input_values"], speaker_embeddings, vocoder=vocoder)
>>> speech.shape
torch.Size([77824])
```

#### generate_speech[[transformers.SpeechT5ForSpeechToSpeech.generate_speech]]

```python
generate_speech(input_values: Tensor, speaker_embeddings: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.LongTensor] = None, threshold: float = 0.5, minlenratio: float = 0.0, maxlenratio: float = 20.0, vocoder: typing.Optional[torch.nn.Module] = None, output_cross_attentions: bool = False, return_output_lengths: bool = False)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L2796)

**パラメータ:**

input_values (`torch.Tensor`、shape `(batch_size, sequence_length)`) : 入力生の音声波形の浮動小数点数値。値は、*.flac*または*.wav*のオーディオファイルを`list[float]`、`numpy.ndarray`、または`torch.Tensor`型の配列として読み込むことで取得できます。*例えば*、torchcodecライブラリ(`pip install torchcodec`)やsoundfileライブラリ(`pip install soundfile`)を通じて取得できます。`input_values`として配列を準備するには、パディングと`torch.Tensor`型への変換のために[SpeechT5Processor](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Processor)を使用する必要があります。詳細は[SpeechT5Processor.__call__()](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5Processor.__call__)を参照してください。

speaker_embeddings (`torch.Tensor`、形状 `(batch_size, config.speaker_embedding_dim)`、*任意*) : スピーカー埋め込みを含むテンソル。

attention_mask (`torch.LongTensor`、形状 `(batch_size, sequence_length)`、*任意*) : パディングトークンインデックスでの畳み込みとアテンションの実行を回避するためのマスク。`[0, 1]` から選択されるマスク値:  - **マスクされていない** トークンは 1、 - **マスクされている** トークンは 0。  [アテンションマスクとは?](../glossary#attention-mask)

threshold (`float`、*optional*、デフォルトは 0.5) : 予測されたストップトークンの確率がこの値を超えると、生成シーケンスが終了します。

minlenratio (`float`、*optional*、デフォルトは 0.0) : 出力シーケンスの最小必要長を計算するために使用されます。

maxlenratio (`float`、*optional*、デフォルト値は 20.0) : 出力シーケンスの許容される最大長を計算するために使用されます。

vocoder (`nn.Module`、*optional*、デフォルトは`None`) : メルスペクトログラムを音声波形に変換するボコーダー。`None`の場合、出力はメルスペクトログラムになります。

output_cross_attentions (`bool`, *任意*, デフォルトは `False`) : デコーダーのクロスアテンション層のアテンションテンソルを返すかどうか。

return_output_lengths (`bool`, *任意*, デフォルトは `False`) : 具体的なスペクトログラム/波形の長さを返すかどうか。

**戻り値:** `tuple(torch.Tensor)` 入力に応じてさまざまな要素で構成される

- `return_output_lengths`がFalseの場合
  - **spectrogram** (*optional*、`vocoder`が指定されていない場合に返されます) `torch.Tensor`、形状 `(output_sequence_length, config.num_mel_bins)` -- 予測されたlog-melスペクトログラム。
  - **waveform**（*optional*、`vocoder`が指定された場合に返されます）`torch.Tensor`、形状`(num_frames,)` -- 予測された音声波形。
  - **cross_attentions** (*任意*、`output_cross_attentions` が `True` の場合のみ返されます) `torch.Tensor`、形状 `(config.decoder_layers, config.decoder_attention_heads, output_sequence_length, input_sequence_length)` -- デコーダーのクロスアテンション層の出力です。
- `return_output_lengths`がTrueの場合
  - **スペクトログラム**（*任意*、`vocoder`が指定されていない場合に返されます） `torch.Tensor`、形状 `(batch_size, output_sequence_length, config.num_mel_bins)` -- 最大長にパディングされた予測されたログメルスペクトログラム。
  - **spectrogram_lengths** (*任意*、`vocoder` が指定されていない場合に返されます) `list[Int]` -- 各スペクトログラムの具体的な長さのリストです。
  - **波形**（*任意*、`vocoder` が提供された場合に返されます）形状 `(batch_size, num_frames)` の `torch.Tensor` -- 最大長にパディングされた予測された音声波形。
  - **waveform_lengths** (*optional*、`vocoder`が指定された場合に返されます) `list[Int]` -- 各波形の具体的な長さのリストです。
  - **cross_attentions** (*オプション*、`output_cross_attentions`が`True`の場合に返されます) `torch.Tensor`、形状`(batch_size, config.decoder_layers, config.decoder_attention_heads, output_sequence_length, input_sequence_length)` -- デコーダーのクロスアテンション層の出力です。

生の音声波形をメルスペクトログラムのシーケンスに変換し、その後、ボコーダーを使用して音声波形に戻します。

## SpeechT5HifiGan[[transformers.SpeechT5HifiGan]]

#### transformers.SpeechT5HifiGan[[transformers.SpeechT5HifiGan]]

```python
transformers.SpeechT5HifiGan(config: SpeechT5HifiGanConfig)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L2954)

**パラメータ:**

config ([SpeechT5HifiGanConfig](/docs/transformers/v5.23.0/ja/model_doc/speecht5#transformers.SpeechT5HifiGanConfig)) : モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを確認してください。

HiFi-GANボコーダー。

このモデルは [PreTrainedModel](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

#### forward[[transformers.SpeechT5HifiGan.forward]]

```python
forward(spectrogram: Tensor, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L3022)

**パラメータ:**

spectrogram (`torch.Tensor`) : log-melスペクトログラムを含むテンソル。バッチ化された形状`(batch_size, sequence_length, config.model_in_dim)`、またはバッチ化されていない形状`(sequence_length, config.model_in_dim)`のいずれかです。

**戻り値:** `torch.Tensor`

音声波形を含むテンソル。入力スペクトログラムがバッチ化されている場合、形状は`(batch_size, num_frames,)`になります。バッチ化されていない場合、形状は`(num_frames,)`になります。

log-melスペクトログラムを音声波形に変換します。log-melスペクトログラムのバッチを渡すと、音声波形のバッチが返されます。単一のバッチ化されていないlog-melスペクトログラムを渡すと、単一のバッチ化されていない音声波形が返されます。

