Hugging Face's logo

Transformers documentation

Tokenizer Higgs Audio V2

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Model ini disumbangkan ke Hugging Face Transformers pada 2026-02-19.

Tokenizer Higgs Audio V2

Ikhtisar

  • Frame Rate Rendah: Pada 25 fps, tokenizer kami mengurangi setengah frame rate dari banyak baseline sambil tetap mempertahankan kualitas audio yang tinggi.
  • Pelatihan 24 kHz Terpadu: Kami mencampurkan klip ucapan, musik, dan peristiwa suara dalam satu model, menangkap detail semantik dan akustik, yang sangat memfasilitasi pelatihan model bahasa audio.
  • Inferensi Cepat: Dengan menghindari langkah difusi, encoder/decoder kami memproses batch dengan cepat, menjadikannya praktis untuk tugas real-time atau skala besar.

Arsitektur Model:

Penggunaan

from datasets import Audio, load_dataset

from transformers import AutoFeatureExtractor, HiggsAudioV2TokenizerModel


# load model and feature extractor
model_id = "eustlb/higgs-audio-v2-tokenizer"
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)
model = HiggsAudioV2TokenizerModel.from_pretrained(model_id, device_map="auto")

# load audio sample
dummy_dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
dummy_dataset = dummy_dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
audio_sample = dummy_dataset[-1]["audio"]["array"]
inputs = feature_extractor(raw_audio=audio_sample, sampling_rate=feature_extractor.sampling_rate, return_tensors="pt").to(model.device)

# encode and decode
encoder_outputs = model.encode(inputs["input_values"])
decoder_outputs = model.decode(encoder_outputs.audio_codes)
audio_values = decoder_outputs.audio_values

# or the equivalent with a forward pass
audio_values = model(inputs["input_values"]).audio_values

HiggsAudioV2TokenizerConfig

kelas transformers.HiggsAudioV2TokenizerConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonetarget_bandwidths: list[int | float] | tuple[int | float, ...] = (0.5, 1, 1.5, 2, 4)sample_rate: int = 24000kernel_size: int = 3channel_ratios: list[int] | tuple[int, ...] = (1, 1)strides: list[int] | tuple[int, ...] = (1, 1)block_dilations: list[int] | tuple[int, ...] = (1, 1)unit_kernel_size: int = 3codebook_size: int = 1024codebook_dim: int = 64initializer_range: float = 0.02acoustic_model_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonesemantic_model_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonesemantic_sample_rate: int = 16000downsample_factor: int = 320 )

Parameter

  • target_bandwidths (List[float], opsional, default [0.5, 1, 1.5, 2]) — Rentang berbagai bandwidth (dalam kbps) yang dapat digunakan model untuk mengodekan audio.
  • sample_rate (int, opsional, default 24000) — Laju sampling di mana file audio harus didigitalisasi, dinyatakan dalam hertz (Hz).
  • kernel_size (int, opsional, default 3) — Ukuran kernel untuk konvolusi semantik awal.
  • channel_ratios (List[float], opsional, default [1, 1]) — Faktor ekspansi untuk jumlah channel output di setiap blok semantik.
  • strides (List[int], opsional, default [1, 1]) — Strides untuk setiap blok semantic encoder.
  • block_dilations (List[int], opsional, default [1, 1]) — Faktor dilasi untuk unit residual dalam blok semantik.
  • unit_kernel_size (int, opsional, default 3) — Ukuran kernel di dalam setiap ResidualUnit pada blok semantik.
  • codebook_size (int, opsional, defaultnya 1024) — Jumlah codebook paralel yang digunakan oleh model.
  • codebook_dim (int, opsional, defaultnya 64) — Dimensi dari setiap vektor embedding codebook.
  • initializer_range (float, opsional, defaultnya 0.02) — Standar deviasi dari truncated_normal_initializer untuk menginisialisasi semua matriks bobot.
  • acoustic_model_config (Union[Dict, AutoConfig], opsional) — Instans dari konfigurasi untuk model akustik (DAC).
  • semantic_model_config (Union[Dict, AutoConfig], opsional) — Instans dari objek konfigurasi untuk model semantik (HuBERT).
  • semantic_sample_rate (int, opsional, default 16000) — Laju sampling yang diharapkan oleh model semantik untuk input audio, dalam hertz (Hz).
  • downsample_factor (int, opsional, default 320) — Faktor downsampling untuk fitur semantik.

Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari HiggsAudioV2TokenizerModel. Kelas ini digunakan untuk membuat model Higgs Audio V2 Tokenizer sesuai dengan argumen yang ditentukan, yang mendefinisikan arsitektur model. Membuat konfigurasi dengan nilai bawaan akan menghasilkan konfigurasi yang serupa dengan konfigurasi dari bosonai/higgs-audio-v2-tokenizer

Objek konfigurasi mewarisi dari PreTrainedConfig dan dapat digunakan untuk mengontrol output model. Baca dokumentasi dari PreTrainedConfig untuk informasi lebih lanjut.

Contoh:

>>> from transformers import HiggsAudioV2TokenizerModel, HiggsAudioV2TokenizerConfig

>>> # Initializing configuration
>>> configuration = HiggsAudioV2TokenizerConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = HiggsAudioV2TokenizerModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

HiggsAudioV2TokenizerModel

kelas transformers.HiggsAudioV2TokenizerModel

< >

( config: HiggsAudioV2TokenizerConfig )

Parameter

  • config (HiggsAudioV2TokenizerConfig) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode from_pretrained() untuk memuat bobot model.

Model codec audio neural HiggsAudioV2Tokenizer.

Model ini mewarisi dari PreTrainedModel. Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran embedding input, memangkas kepala, dll.)

Model ini juga merupakan subclass dari torch.nn.Module PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.

decode

< >

( audio_codes: Tensorreturn_dict: bool | None = None )

Parameter

  • audio_codes (torch.LongTensor dengan bentuk (batch_size, num_quantizers, codes_length)) — Indeks kode diskrit yang dihitung menggunakan model.encode.
  • return_dict (bool, opsional) — Apakah akan mengembalikan ModelOutput

encode

< >

( input_values: Tensorbandwidth: float | None = Nonereturn_dict: bool | None = None )

Parameter

  • input_values (torch.Tensor dengan bentuk (batch_size, channels, num_samples)) — Nilai float dari waveform audio input.
  • bandwidth (float, opsional) — Bandwidth target dalam (kbps) hanya mendukung nilai yang ada di config.target_bandwidths. Nilai default adalah bandwidth tertinggi yang tersedia 4.0 kbps.
  • return_dict (bool, opsional) — Apakah akan mengembalikan ModelOutput atau tidak.

forward

< >

( input_values: Tensoraudio_codes: typing.Optional[torch.Tensor] = Nonebandwidth: float | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → HiggsAudioV2TokenizerOutput or tuple (audio_codes, audio_values)

Parameter

  • input_values (torch.Tensor dengan bentuk (batch_size, channels, num_samples)) — Nilai float mentah dari gelombang audio input.
  • audio_codes (torch.LongTensor dengan bentuk (batch_size, num_quantizers, codes_length) — Indeks kode diskrit yang dihitung menggunakan model.encode.
  • bandwidth (float, opsional) — Bandwidth target dalam kbps. Harus salah satu dari config.target_bandwidths. Secara default menggunakan bandwidth tertinggi yang tersedia.
  • bandwidth (float, opsional) — Bandwidth target dalam kbps. Harus salah satu dari config.target_bandwidths. Secara default menggunakan bandwidth tertinggi yang tersedia.

Mengembalikan

HiggsAudioV2TokenizerOutput atau tuple (audio_codes, audio_values)

  • audio_codes dengan bentuk (batch_size, num_quantizers, codes_length): kode diskrit terkuantisasi.
  • audio_values dengan bentuk (batch_size, channels, num_samples): gelombang audio yang direkonstruksi berdasarkan kode.

Metode forward dari HiggsAudioV2TokenizerModel menimpa metode khusus __call__.

Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance Module setelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.

Contoh:

>>> from datasets import load_dataset
>>> from transformers import AutoFeatureExtractor, HiggsAudioV2TokenizerModel

>>> model_id = "hf-audio/higgs_audio_v2_tokenizer-hubert-librispeech"
>>> model = HiggsAudioV2TokenizerModel.from_pretrained(model_id)
>>> feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
>>> audio_sample = dataset[0]['audio']['array']

>>> inputs = feature_extractor(raw_audio=audio_sample, return_tensors="pt")

>>> outputs = model(**inputs)
>>> audio_codes = outputs.audio_codes
>>> audio_values = outputs.audio_values
Update on GitHub

←Higgs Audio V2 Hubert→