Transformers documentation

Gradium Phonon TTS

Transformers

Bắt đầu

Transformers Cài đặt Bắt đầu nhanh

Lớp cơ sở

Mô hình

Bộ tiền xử lý

Suy luận

Pipeline API

Tạo API

Tối ưu hóa

Trò chuyện với các model

Serving

Huấn luyện

Bắt đầu

Tùy chỉnh

Tinh chỉnh hiệu quả tham số

Hiệu năng

Huấn luyện phân tán

Phần cứng

Lượng tử hóa

Tích hợp hệ sinh thái

Tài nguyên

API

Các lớp chính

Mô hình

Mô hình văn bản

Mô hình thị giác

Mô hình âm thanh

Mô hình video

Mô hình đa phương thức

Mô hình học tăng cường

Mô hình chuỗi thời gian

Hàm trợ giúp nội bộ

Tham khảo

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Mô hình này đã được đóng góp cho Hugging Face Transformers vào ngày 2026-10-20.

Gradium Phonon TTS

Tổng quan

Gradium Phonon TTS là dòng mô hình chuyển văn bản thành giọng nói chạy trên thiết bị của Gradium, được huấn luyện theo công thức của Pocket TTS: một transformer nhân quả đọc lời nhắc giọng nói và văn bản, sau đó phát ra một latent âm thanh 32 chiều liên tục mỗi bước ở tần số 12.5 Hz thông qua đầu flow một bước, và một đầu kết thúc giọng nói quyết định khi nào câu nói kết thúc. Các latent này được giải mã thành âm thanh 24 kHz bởi Pocket TTS audio tokenizer do bộ xử lý giữ, cụ thể là PocketTTSProcessor của Pocket TTS.

Khác với Pocket TTS ở cách điều kiện hóa giọng nói: prompt giọng nói được tạo từ các latent 512 chiều của một codec người nói riêng biệt, và một vector người nói đã được học sẽ được thêm vào mỗi vị trí latent của âm thanh. Codec người nói không được phát hành, do đó các giọng nói được cung cấp dưới dạng latent đã tính toán sẵn (tệp default-voice.safetensors của mỗi checkpoint, và danh mục gradium/phonon-voices) và bộ mã hóa âm thanh chỉ là một bộ giải mã: không thể nhân bản giọng nói từ một bản ghi âm.

Checkpoint	Tham số	Ngôn ngữ	Giấy phép
gradium/phonon-31m-en	31M	Tiếng Anh	Apache 2.0
gradium/phonon-40m-en	40M	Tiếng Anh	CC BY-NC 4.0
gradium/phonon-40m-fr	40M	Pháp	CC BY-NC 4.0
gradium/phonon-40m-de	40M	Tiếng Đức	CC BY-NC 4.0
gradium/phonon-40m-es	40M	Tây Ban Nha	CC BY-NC 4.0
gradium/phonon-40m-pt	40M	Tiếng Bồ Đào Nha	CC BY-NC 4.0
gradium/phonon-40m-multilingual	40M	Tiếng Anh, tiếng Pháp, tiếng Đức, tiếng Tây Ban Nha, tiếng Bồ Đào Nha	CC BY-NC 4.0

Tất cả đều được nạp theo cách tương tự: việc chuyển đổi checkpoint có nghĩa là thay đổi repo id.

Mô hình này được đóng góp bởi Eustache Le Bihan. Mã gốc là gradium-ai/xn-ptts.

Mẹo sử dụng

Chuẩn bị đầu vào bằng apply_chat_template(): một thông điệp user cho mỗi văn bản, một mục {"type": "audio"} trống tại vị trí chứa giọng nói, các latent của giọng nói trong processor_kwargs={"audio_prompt_latents": [...]}, và add_generation_prompt=True.
Tokenizer không viết ra các con số, số lượng, ký hiệu hoặc địa chỉ, xem Chuẩn hóa văn bản.
generate trả về audio_latents và audio_latents_mask; giải mã chúng bằng PocketTTSProcessor.decode().
Tạo mẫu theo cách runtime của Gradium thực hiện: temperature 0.3 (độ biến thiên của nhiễu khởi đầu của luồng), và nó dừng ngay sau khi logit kết thúc giọng nói vượt qua eos_threshold. do_sample=False khởi tạo luồng từ nhiễu bằng không.
Mô hình được nạp ở bf16, kiểu dữ liệu mà trọng số của nó được lưu trữ; truyền dtype=torch.float32 trên CPU để khớp với thời gian chạy của Gradium ở đó.
Tách văn bản dài bằng PocketTTSProcessor.split_text(), mỗi chunk chứa một cuộc hội thoại.

Cách sử dụng

Giọng nói

Một giọng nói là một tensor của các latent (num_frames, 512). Mỗi checkpoint đi kèm một giọng nói (default-voice.safetensors), và gradium/phonon-voices có thêm khoảng một trăm giọng nói khác, bằng mọi ngôn ngữ, mỗi giọng nói được đặt theo ID giọng nói của nó (voices.jsonl liệt kê tên, ngôn ngữ và mô tả của chúng). Bất kỳ giọng nói nào cũng hoạt động với bất kỳ checkpoint nào.

import torch
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
from transformers import AutoProcessor, GradiumPhononTTSForConditionalGeneration

model_id = "gradium/phonon-31m-en"
processor = AutoProcessor.from_pretrained(model_id, device_map="auto")
model = GradiumPhononTTSForConditionalGeneration.from_pretrained(model_id, device_map="auto")


def load_voice(voice_id):
    """A voice of gradium/phonon-voices, as latents of shape (num_frames, 512)."""
    path = hf_hub_download("gradium/phonon-voices", f"voices/{voice_id}.safetensors")
    return load_file(path)["speaker_wavs"][0].T.float()


# Easton (en-us); the checkpoint's own voice: hf_hub_download(model_id, "default-voice.safetensors")
voice = load_voice("LMDIYE0Oa377Qh6Z")
# an empty `audio` item marks the voice
conversation = [
    {"role": "user", "content": [{"type": "audio"}, {"type": "text", "text": "Hello from Phonon."}]}
]
inputs = processor.apply_chat_template(
    conversation,
    tokenize=True,
    return_dict=True,
    add_generation_prompt=True,
    processor_kwargs={"audio_prompt_latents": [voice]},
).to(model.device)

outputs = model.generate(**inputs)
audio = processor.decode(outputs.audio_latents, outputs.audio_latents_mask)
processor.save_audio(audio, "phonon.wav")

Các lô và văn bản dài

Xử lý hàng loạt nhiều văn bản, mỗi văn bản có giọng đọc riêng, với văn bản dài được chia thành các phần:

text = (
    "Phonon is a small text-to-speech model that runs on your device. "
    "Long texts are split into sentences, and each chunk is one conversation of the batch."
)
chunks = processor.split_text(text)
texts = chunks + ["And this one is said by another voice."]
voices = [load_voice("LMDIYE0Oa377Qh6Z")] * len(chunks) + [load_voice("NbpkqMVS3CJeq2j8")]
conversations = [
    [{"role": "user", "content": [{"type": "audio"}, {"type": "text", "text": text}]}] for text in texts
]
inputs = processor.apply_chat_template(
    conversations,
    tokenize=True,
    return_dict=True,
    add_generation_prompt=True,
    processor_kwargs={"audio_prompt_latents": voices},
).to(model.device)

outputs = model.generate(**inputs)
audio = processor.decode(outputs.audio_latents, outputs.audio_latents_mask)
processor.save_audio([torch.cat(audio[: len(chunks)]), audio[-1]], ["long.wav", "other.wav"])

Chuẩn hóa văn bản

Tokenizer chuẩn hóa những gì không phụ thuộc vào ngôn ngữ, giống như runtime của Gradium:

Văn bản	Tokenizer
`“Hello” — it’s here…`	`"Hello" it's here.`
`hello (world); see you 🚀`	`Hello, world, see you.`

Nó không viết ra các con số, số lượng, ký hiệu hoặc địa chỉ, vì những yếu tố này phụ thuộc vào ngôn ngữ:

Văn bản	Tokenizer	Trình chạy thời gian thực của Gradium
`It costs $1,234.56.`	`It costs $1,234.56.`	`It costs 1 thousand 234 dollars and 56 cents.`
`Write to jean@gradium.ai`	`Write to jean@gradium.ai.`	`Write to jean at gradium dot A-I.`
`It is 21°C`	`It is 21°C.`	`It is 21 degrees Celsius.`

Đối với những trường hợp đó, hãy sử dụng chuẩn hóa văn bản của runtime Gradium, ptts, hoặc viết chúng ra.

GradiumPhononTTSConfig

lớp transformers.GradiumPhononTTSConfig

< source >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneflow_head_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonevocab_size: int = 4001hidden_size: int = 768num_hidden_layers: int = 6num_attention_heads: int = 12num_key_value_heads: int | None = Nonehead_dim: int | None = Noneintermediate_size: int = 3072hidden_act: str = 'gelu'layer_norm_eps: float = 1e-05attention_bias: bool = Falseattention_dropout: float = 0.0max_position_embeddings: int = 8192rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Nonelatent_dim: int = 32pad_token_id: int = 3bos_token_id: int | None = Noneeos_token_id: int | None = Noneaudio_prompt_token_id: int = 5audio_latent_token_id: int = 6audio_bos_token_id: int = 4frame_rate: float = 12.5initializer_range: float = 0.02use_cache: bool = Trueeos_loss_weight: float = 0.1flow_loss_num_samples: int = 4lsd_distill_probability: float = 0.25lsd_diagonal_weight: float = 0.75lsd_time_logit_mean: float = 0.4lsd_time_logit_std: float = 1.0latent_stats_ema_steps: int = 1000latent_stats_ema_decay: float = 0.999audio_prompt_dim: int = 512num_speakers: int = 1num_speakers_vocab_size: int = 32num_speakers_embedding_dim: int = 16duration_delta: float = 0.0duration_delta_embedding_dim: int = 128duration_delta_scale: float = 1000.0duration_delta_max_period: float = 10000.0 )

Tham số

flow_head_config (Union[GradiumPhononTTSFlowHeadConfig, dict], tùy chọn) — Cấu hình của flow head dùng để lấy mẫu mỗi latent từ trạng thái ẩn của backbone.
vocab_size (int, tùy chọn, mặc định là 4001) — Kích thước từ vựng của mô hình. Xác định số lượng token khác nhau có thể được biểu diễn bởi input_ids.
hidden_size (int, tùy chọn, mặc định là 768) — Kích thước của các biểu diễn ẩn.
num_hidden_layers (int, tùy chọn, mặc định là 6) — Số lượng lớp ẩn trong bộ giải mã Transformer.
num_attention_heads (int, tùy chọn, mặc định là 12) — Số lượng đầu attention cho mỗi lớp attention trong bộ giải mã Transformer.
num_key_value_heads (int, tùy chọn) — Đây là số lượng key_value heads cần được sử dụng để triển khai Grouped Query Attention. Nếu num_key_value_heads=num_attention_heads, mô hình sẽ sử dụng Multi Head Attention (MHA), nếu num_key_value_heads=1 mô hình sẽ sử dụng Multi Query Attention (MQA), ngược lại sẽ sử dụng GQA. Khi chuyển đổi checkpoint multi-head sang checkpoint GQA, mỗi nhóm key và value head nên được xây dựng bằng cách meanpooling tất cả các head gốc trong nhóm đó. Để biết thêm chi tiết, hãy xem bài báo này. Nếu không được chỉ định, giá trị mặc định sẽ là num_attention_heads.
head_dim (int, tùy chọn) — Kích thước chiều của đầu chú ý. Nếu là None, giá trị mặc định sẽ là hidden_size // num_attention_heads
intermediate_size (int, tùy chọn, mặc định là 3072) — Kích thước của các biểu diễn MLP.
hidden_act (str, tùy chọn, mặc định là gelu) — Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, "gelu", "relu", "silu", v.v.
layer_norm_eps (float, tùy chọn, mặc định là 1e-05) — Epsilon của các layer normalization trong backbone.
attention_bias (bool, tùy chọn, mặc định là False) — Có sử dụng bias trong các lớp chiếu query, key, value và output trong quá trình tự chú ý hay không.
attention_dropout (float, tùy chọn, mặc định là 0.0) — Tỷ lệ dropout cho các xác suất chú ý.
max_position_embeddings (int, tùy chọn, mặc định là 8192) — Chiều dài chuỗi tối đa mà mô hình này có thể được sử dụng.
rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], tùy chọn) — Từ điển chứa các tham số cấu hình cho các embedding RoPE. Từ điển phải chứa một giá trị cho rope_theta và tùy chọn các tham số được sử dụng để mở rộng trong trường hợp bạn muốn sử dụng RoPE với max_position_embeddings dài hơn.
latent_dim (int, tuỳ chọn, mặc định là 32) — Kích thước của các latent âm thanh mà backbone nhận vào đầu vào (audio_latents); bằng latent_dim của flow head và của audio tokenizer.
pad_token_id (int, tùy chọn, mặc định là 3) — Token id được sử dụng để đệm (padding) trong từ vựng.
bos_token_id (int, tùy chọn) — Token id được sử dụng cho beginning-of-stream trong bảng từ vựng.
eos_token_id (int, tùy chọn) — Token id được dùng cho end-of-stream trong bảng từ vựng.
audio_prompt_token_id (int, tùy chọn, mặc định là 5) — ID của token thay thế cho các khung voice-prompt trong input_ids (<|audio_prompt|>).
audio_latent_token_id (int, tùy chọn, mặc định là 6) — ID của token thay thế cho các vị trí latent của âm thanh trong input_ids (<|audio_latent|>).
audio_bos_token_id (int, tuỳ chọn, mặc định là 4) — Token id của vị trí âm thanh đầu tiên, đóng prompt: nó chứa latent BOS đã học, từ đó khung đầu tiên được tạo ra (<|audio_bos|>).
frame_rate (float, tùy chọn, mặc định là 12.5) — Số lượng audio latents trên mỗi giây âm thanh: generate suy ra ngân sách khung hình mặc định từ giá trị này.
initializer_range (float, tùy chọn, mặc định là 0.02) — Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.
use_cache (bool, tùy chọn, mặc định là True) — Xác định xem mô hình có nên trả về các chú ý key/values cuối cùng hay không (không được sử dụng bởi tất cả các mô hình). Chỉ liên quan nếu config.is_decoder=True hoặc khi mô hình là mô hình sinh chỉ có decoder.
eos_loss_weight (float, tùy chọn, mặc định là 0.1) — Trọng số của loss kết thúc giọng nói trong loss huấn luyện.
flow_loss_num_samples (int, tùy chọn, mặc định là 4) — Số lần lấy mẫu nhiễu cho mỗi khung hình đích trong tổn thất dòng chảy.
lsd_distill_probability (float, tùy chọn, mặc định là 0.25) — Xác suất, cho mỗi bước huấn luyện, để tính toán thành phần tự chưng cất của tổn thất LSD (được tái trọng số hóa để giữ nguyên tổn thất kỳ vọng); 1 nghĩa là tính toán ở mọi bước.
lsd_diagonal_weight (float, tùy chọn, mặc định là 0.75) — Trọng số của số hạng đường chéo (dòng tức thời) của tổn thất LSD; số hạng tự đào tạo (self-distillation) sẽ gán trọng số cho phần còn lại.
lsd_time_logit_mean (float, tùy chọn, mặc định là 0.4) — Trung bình của phân phối logit-normal của các thời điểm dòng chảy được rút ra bởi tổn thất LSD.
lsd_time_logit_std (float, tùy chọn, mặc định là 1.0) — Độ lệch chuẩn của phân phối logit-normal của các thời điểm dòng chảy được rút ra bởi tổn thất LSD.
latent_stats_ema_steps (int, tùy chọn, mặc định là 1000) — Số bước huấn luyện đầu tiên trong đó latent_mean và latent_std tuân theo trung bình trượt mũ (exponential moving average) của các latent đích; 0 giữ chúng ở trạng thái đóng băng.
latent_stats_ema_decay (float, tùy chọn, mặc định là 0.999) — Hệ số suy giảm của trung bình trượt đó.
audio_prompt_dim (int, tùy chọn, mặc định là 512) — Kích thước của các latent voice-prompt (audio_prompt_latents), tức là các latent chưa lượng tử hóa của codec người nói Gradium (một bộ mã hóa Mimi, không phải của bộ mã hóa âm thanh), mà backbone sẽ chiếu lên hidden_size.
num_speakers (int, tùy chọn, mặc định là 1) — Giá trị của điều kiện num_speakers: hàng của bảng tra cứu của nó được cộng vào mọi vị trí latent của âm thanh.
num_speakers_vocab_size (int, tùy chọn, mặc định là 32) — Số dòng của bảng tra num_speakers.
num_speakers_embedding_dim (int, tuỳ chọn, mặc định là 16) — Chiều rộng của bảng tra num_speakers, được chiếu sang hidden_size.
duration_delta (float, tùy chọn, mặc định là 0.0) — Giá trị của điều kiện duration_delta, được nhúng theo dạng sin và cộng vào mọi vị trí latent của âm thanh.
duration_delta_embedding_dim (int, tuỳ chọn, mặc định là 128) — Kích thước của embedding sinusoidal của duration_delta, được chiếu sang hidden_size.
duration_delta_scale (float, tùy chọn, mặc định là 1000.0) — Hệ số được áp dụng cho duration_delta trước khi thực hiện nhúng hình sin.
duration_delta_max_period (float, tùy chọn, mặc định là 10000.0) — Chu kỳ tối đa của nhúng hình sin của duration_delta.

Đây là lớp cấu hình để lưu trữ cấu hình của một GradiumPhononTTSModel. Nó được sử dụng để khởi tạo một mô hình Gradium Phonon Tts theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như của gradium/phonon-31m-en

Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.

GradiumPhononTTSFlowHeadConfig

lớp transformers.GradiumPhononTTSFlowHeadConfig

< source >

Tham số

hidden_size (int, tùy chọn, mặc định là 512) — Kích thước của các biểu diễn ẩn.
num_hidden_layers (int, tùy chọn, mặc định là 6) — Số lượng lớp ẩn trong bộ giải mã Transformer.
latent_dim (int, tùy chọn, mặc định là 32) — Kích thước của các latent âm thanh liên tục mà head dự đoán (kích thước latent của audio tokenizer).
condition_dim (int, tuỳ chọn, mặc định là 768) — Kích thước của trạng thái ẩn của backbone mà head được điều kiện trên đó (kích thước ẩn hidden_size của backbone).
frequency_embedding_size (int, tùy chọn, mặc định là 256) — Kích thước của embedding hình sin của các thời điểm luồng.
hidden_act (str, tùy chọn, mặc định là silu) — Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, "gelu", "relu", "silu", v.v.
layer_norm_eps (float, tùy chọn, mặc định là 1e-06) — Epsilon của các layer normalization bên trong các khối residual và layer cuối cùng.
rms_norm_eps (float, tùy chọn, mặc định là 1e-05) — Epsilon của phép chuẩn hóa đóng các nhúng thời gian.
max_period (float, tùy chọn, mặc định là 10000.0) — Chu kỳ tối đa của nhúng thời gian hình sin, được checkpoint lưu dưới dạng freqs.
flow_type (str, tuỳ chọn, mặc định là "lsd") — Mục tiêu mà đầu (head) được huấn luyện với, quyết định cách nó được điều kiện hóa và lấy mẫu. "lsd" (tự chưng cất Lagrangian): được điều kiện hóa theo thời điểm bắt đầu và kết thúc của một bước flow, lấy mẫu bằng các bước Euler từ nhiễu Gaussian. "drifting": không có điều kiện hóa theo thời gian, đầu ánh xạ nhiễu sang latent trong một lần gọi.
loss_weighting_hidden_size (int, tùy chọn, mặc định là 32) — Chiều rộng của MLP học trọng số bất định của các hạng tử loss LSD từ thời điểm luồng của chúng (chỉ dùng cho huấn luyện).
loss_weighting_num_layers (int, tùy chọn, mặc định là 3) — Số lượng lớp ẩn của MLP đó.

GradiumPhononTTSModel

lớp transformers.GradiumPhononTTSModel

< source >

( config: GradiumPhononTTSConfig )

Tham số

config (GradiumPhononTTSConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số mô hình.

Trụ cột TTS Gradium Phonon: một transformer nhân quả trên một luồng duy nhất được tạo thành từ prompt giọng nói (các ẩn của codec người nói), các token văn bản và các ẩn âm thanh, trả về các trạng thái ẩn đã được chuẩn hóa.

Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)

Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

forward

< source >

( input_ids: typing.Optional[torch.LongTensor] = Noneaudio_prompt_latents: typing.Optional[torch.Tensor] = Noneaudio_prompt_latents_mask: typing.Optional[torch.Tensor] = Noneaudio_latents: typing.Optional[torch.Tensor] = Noneaudio_latents_mask: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPast or tuple(torch.Tensor)

Tham số

input_ids (torch.LongTensor có dạng (batch_size, sequence_length), tùy chọn) — Chỉ số của các token trong chuỗi đầu vào theo từ điển. Mặc định, padding sẽ bị bỏ qua.
Các chỉ số có thể được lấy bằng cách sử dụng AutoTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết.

ID đầu vào là gì?
audio_prompt_latents (torch.Tensor có shape (batch_size, num_prompt_frames, latent_dim), tuỳ chọn) — Latents của voice-prompt từ audio tokenizer (được mã hóa bởi processor, hoặc từ voices/ của checkpoint), được right-pad đến voice dài nhất trong batch, và được phân tán vào các vị trí audio_prompt_token_id.
audio_prompt_latents_mask (torch.Tensor có hình dạng (batch_size, num_prompt_frames), tùy chọn) — Mặt nạ của các khung âm thanh (1) so với phần đệm (0) trong audio_prompt_latents.
audio_latents (torch.Tensor có hình dạng (batch_size, num_latents, latent_dim), tùy chọn) — Các audio latents đã chuẩn hóa, được phân tán vào các vị trí audio_latent_token_id. Vị trí audio_bos_token_id ngay trước chúng, đóng vai trò kết thúc prompt và là nơi khung hình đầu tiên được tạo ra, luôn nhận latent BOS đã học.
audio_latents_mask (torch.Tensor có shape (batch_size, num_latents), optional) — Mặt nạ cho các latents (1) của mỗi hàng, khác với padding (0) trong audio_latents, khi các hàng chứa số lượng vị trí latent khác nhau (trong quá trình huấn luyện).
attention_mask (torch.Tensor có hình dạng (batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong [0, 1]:
- 1 cho các token không bị che,
- 0 cho các token bị che.
Mặt nạ chú ý là gì?
position_ids (torch.LongTensor có hình dạng (batch_size, sequence_length), tùy chọn) — Chỉ số vị trí của các token trong mỗi chuỗi đầu vào trong các position embeddings. Được chọn trong khoảng [0, config.n_positions - 1].
ID vị trí là gì?
past_key_values (~cache_utils.Cache, tuỳ chọn) — Các hidden-state đã tính trước (key và value trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồm past_key_values được trả về bởi mô hình ở một giai đoạn giải mã trước đó, khi use_cache=True hoặc config.use_cache=True.
Chỉ cho phép Cache instance làm đầu vào, xem hướng dẫn kv cache của chúng tôi. Nếu không truyền past_key_values, DynamicCache sẽ được khởi tạo theo mặc định.

Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.

Nếu past_key_values được sử dụng, người dùng được kỳ vọng chỉ nhập input_ids chưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có hình dạng (batch_size, unprocessed_length) thay vì toàn bộ input_ids có hình dạng (batch_size, sequence_length).
inputs_embeds (torch.Tensor có hình dạng (batch_size, sequence_length, hidden_size), tùy chọn) — Tùy chọn, thay vì truyền input_ids, bạn có thể chọn truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số input_ids thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.
use_cache (bool, tùy chọn) — Nếu đặt thành True, các trạng thái key value của past_key_values sẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xem past_key_values).

Trả về

BaseModelOutputWithPast hoặc tuple(torch.Tensor)

Một BaseModelOutputWithPast hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (GradiumPhononTTSConfig) và đầu vào.

Phương thức forward của GradiumPhononTTSModel ghi đè lên phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

last_hidden_state (torch.Tensor có hình dạng (batch_size, sequence_length, hidden_size)) — Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.

Nếu past_key_values được sử dụng, chỉ có hidden-state cuối cùng của các chuỗi có shape (batch_size, 1, hidden_size) được xuất ra.
past_key_values (Cache, tùy chọn, được trả về khi use_cache=True được truyền vào hoặc khi config.use_cache=True) — Đây là một instance của Cache. Để biết thêm chi tiết, hãy xem hướng dẫn về kv cache của chúng tôi.

Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention và tùy chọn nếu config.is_encoder_decoder=True trong các khối cross-attention) có thể được sử dụng (xem đầu vào past_key_values) để tăng tốc độ giải mã tuần tự.
hidden_states (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Bộ tuple của torch.Tensor (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng (batch_size, sequence_length, hidden_size).

Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
attentions (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

GradiumPhononTTSForConditionalGeneration

lớp transformers.GradiumPhononTTSForConditionalGeneration

< source >

( config: GradiumPhononTTSConfig )

Tham số

config (GradiumPhononTTSConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số mô hình.

Mô hình text-to-speech Gradium Phonon TTS: phần lõi, đầu flow lấy mẫu một ẩn âm thanh mỗi bước và đầu kết thúc giọng nói. Nó tạo ra các ẩn của bộ mã hóa âm thanh, sau đó bộ xử lý giải mã chúng thành âm thanh 24 kHz.

forward

< source >

( input_ids: typing.Optional[torch.LongTensor] = Noneaudio_prompt_latents: typing.Optional[torch.Tensor] = Noneaudio_prompt_latents_mask: typing.Optional[torch.Tensor] = Noneaudio_latents: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.Tensor] = Nonelabels_mask: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → GradiumPhononTTSOutputWithPast or tuple(torch.Tensor)

Tham số

input_ids (torch.LongTensor có dạng (batch_size, sequence_length), tùy chọn) — Chỉ số của các token trong chuỗi đầu vào theo từ điển. Mặc định, padding sẽ bị bỏ qua.
Các chỉ số có thể được lấy bằng cách sử dụng AutoTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết.

ID đầu vào là gì?
audio_prompt_latents (torch.Tensor có shape (batch_size, num_prompt_frames, latent_dim), optional) — Latents của prompt giọng nói từ audio tokenizer, được right-padded và phân tán vào các vị trí audio_prompt_token_id.
audio_prompt_latents_mask (torch.Tensor có hình dạng (batch_size, num_prompt_frames), tùy chọn) — Mặt nạ của các khung âm thanh (1) so với phần đệm (0) trong audio_prompt_latents.
audio_latents (torch.Tensor có shape (batch_size, num_latents, latent_dim), optional) — Các audio latents đã được chuẩn hoá, được phân tán vào các vị trí audio_latent_token_id.
labels (torch.Tensor có shape (batch_size, num_frames, latent_dim), tùy chọn) — Các latent đích của audio tokenizer (trong quá trình huấn luyện), được đệm bên phải. Prompt của mỗi hàng kết thúc bằng vị trí audio_bos_token_id tiếp theo là một vị trí audio_latent_token_id cho mỗi frame: mô hình đưa vào các target đã chuẩn hóa (teacher forcing), áp dụng flow loss lên đầu ra của BOS và tất cả các frame trừ frame cuối cùng, những frame này dự đoán các frame, và áp dụng end-of-speech loss lên tất cả chúng, trong đó frame cuối cùng là end of speech.
labels_mask (torch.Tensor có hình dạng (batch_size, num_frames), tùy chọn) — Mặt nạ cho các khung hình đích (1) của mỗi hàng, khác với phần đệm (0) trong labels.
attention_mask (torch.Tensor có hình dạng (batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong [0, 1]:
- 1 cho các token không bị che,
- 0 cho các token bị che.
Mặt nạ chú ý là gì?
position_ids (torch.LongTensor có hình dạng (batch_size, sequence_length), tùy chọn) — Chỉ số vị trí của các token trong mỗi chuỗi đầu vào trong các position embeddings. Được chọn trong khoảng [0, config.n_positions - 1].
ID vị trí là gì?
past_key_values (~cache_utils.Cache, tuỳ chọn) — Các hidden-state đã tính trước (key và value trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồm past_key_values được trả về bởi mô hình ở một giai đoạn giải mã trước đó, khi use_cache=True hoặc config.use_cache=True.
Chỉ cho phép Cache instance làm đầu vào, xem hướng dẫn kv cache của chúng tôi. Nếu không truyền past_key_values, DynamicCache sẽ được khởi tạo theo mặc định.

Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.

Nếu past_key_values được sử dụng, người dùng được kỳ vọng chỉ nhập input_ids chưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có hình dạng (batch_size, unprocessed_length) thay vì toàn bộ input_ids có hình dạng (batch_size, sequence_length).
inputs_embeds (torch.Tensor có hình dạng (batch_size, sequence_length, hidden_size), tùy chọn) — Tùy chọn, thay vì truyền input_ids, bạn có thể chọn truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số input_ids thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.
use_cache (bool, tùy chọn) — Nếu đặt thành True, các trạng thái key value của past_key_values sẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xem past_key_values).

Trả về

GradiumPhononTTSOutputWithPast hoặc tuple(torch.Tensor)

Một GradiumPhononTTSOutputWithPast hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (GradiumPhononTTSConfig) và đầu vào.

Phương thức forward của GradiumPhononTTSForConditionalGeneration ghi đè lên phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

loss (torch.Tensor có shape (), optional, được trả về khi truyền labels) — Loss huấn luyện: loss luồng LSD của các latents đích cộng với config.eos_loss_weight nhân với loss end-of-speech.
logits (torch.Tensor có hình dạng (batch_size, sequence_length, 1)) — Logits kết thúc giọng nói, một giá trị cho mỗi vị trí.
past_key_values (Cache, tùy chọn, được trả về khi use_cache=True được truyền vào hoặc khi config.use_cache=True) — Đây là một instance của Cache. Để biết thêm chi tiết, hãy xem hướng dẫn về kv cache của chúng tôi.

Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention) có thể được sử dụng (xem đầu vào past_key_values) để tăng tốc độ giải mã tuần tự.
hidden_states (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Bộ tuple của torch.Tensor (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng (batch_size, sequence_length, hidden_size).

Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
attentions (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
last_hidden_state (torch.Tensor có hình dạng (batch_size, sequence_length, hidden_size)) — Trạng thái ẩn đã được chuẩn hóa của backbone, đóng vai trò điều kiện cho flow head.

Ví dụ:

>>> from transformers import AutoProcessor, GradiumPhononTTSForConditionalGeneration

>>> model = GradiumPhononTTSForConditionalGeneration.from_pretrained("gradium/phonon-31m-en")

>>> processor = AutoProcessor.from_pretrained("gradium/phonon-31m-en")
>>> inputs = processor(text="Hello, my dog is cute", return_tensors="pt")

>>> # generate speech
>>> speech = model(inputs["input_ids"])

generate

< source >

( inputs: typing.Optional[torch.Tensor] = None**kwargs )

Tham số

inputs (torch.LongTensor có hình dạng (batch_size, sequence_length), tùy chọn) — input_ids được chuẩn bị bởi PocketTTSProcessor. Cũng có thể được truyền dưới dạng input_ids=.
kwargs (dict[str, Any], tùy chọn) — attention_mask, prompt giọng nói (audio_prompt_latents và audio_prompt_latents_mask, hoặc bộ nhớ đệm của tiền tố giọng nói dưới dạng past_key_values, các giọng nói có sẵn, với prompt chỉ gồm văn bản), frames_after_eos từ bộ xử lý, các tham số sinh (do_sample, temperature, max_new_tokens, …), và các tham số riêng của Pocket TTS là num_flow_steps, eos_threshold và min_frames_before_eos, mặc định lấy từ cấu hình sinh.

Tạo giọng nói. Phương thức này ghi đè generate() để mặc định max_new_tokens thành ngân sách khung của thời gian chạy gốc, ceil((num_text_tokens / 3 + 2) * frame_rate) cho văn bản dài nhất trong lô. Mọi thứ khác đều đi qua các hook tạo thông thường.

Update on GitHub

←GLM-ASR GraniteSpeech→