Model ini dipublikasikan di HF papers pada 2021-04-05 dan disumbangkan ke Hugging Face Transformers pada 2022-11-21.

Audio Spectrogram Transformer

Ikhtisar

Model Audio Spectrogram Transformer diusulkan dalam AST: Audio Spectrogram Transformer oleh Yuan Gong, Yu-An Chung, James Glass. Audio Spectrogram Transformer menerapkan Vision Transformer pada audio, dengan mengubah audio menjadi gambar (spektrogram). Model ini memperoleh hasil state-of-the-art untuk klasifikasi audio.

Abstrak dari makalah tersebut adalah sebagai berikut:

Sejak satu dekade terakhir, convolutional neural networks (CNN) telah banyak diadopsi sebagai blok bangunan utama untuk model klasifikasi audio end-to-end, yang bertujuan mempelajari pemetaan langsung dari spektrogram audio ke label yang sesuai. Untuk menangkap konteks global jarak jauh dengan lebih baik, tren terbaru adalah menambahkan mekanisme self-attention di atas CNN, membentuk model hibrida CNN-attention. Namun, belum jelas apakah ketergantungan pada CNN itu diperlukan, dan apakah jaringan saraf yang murni berbasis attention sudah cukup untuk mendapatkan kinerja yang baik dalam klasifikasi audio. Dalam makalah ini, kami menjawab pertanyaan tersebut dengan memperkenalkan Audio Spectrogram Transformer (AST), model bebas konvolusi dan murni berbasis attention pertama untuk klasifikasi audio. Kami mengevaluasi AST pada berbagai benchmark klasifikasi audio, di mana model ini mencapai hasil state-of-the-art baru, yaitu 0.485 mAP pada AudioSet, akurasi 95,6% pada ESC-50, dan akurasi 98,1% pada Speech Commands V2.

Model ini disumbangkan oleh nielsr. Kode aslinya dapat ditemukan di sini.

Tips penggunaan

• Saat melakukan fine-tuning Audio Spectrogram Transformer (AST) pada dataset Anda sendiri, disarankan untuk memperhatikan normalisasi input (untuk memastikan input memiliki mean 0 dan std 0.5). ASTFeatureExtractor menangani hal ini. Perhatikan bahwa secara default, ia menggunakan mean dan std dari AudioSet. Anda dapat memeriksa ast/src/get_norm_stats.py untuk melihat bagaimana para penulis menghitung statistik untuk dataset downstream.
• Perhatikan bahwa AST memerlukan learning rate yang rendah (para penulis menggunakan learning rate yang 10 kali lebih kecil dibandingkan model CNN mereka yang diusulkan dalam makalah PSLA) dan konvergen dengan cepat, jadi silakan cari learning rate dan learning rate scheduler yang sesuai untuk tugas Anda.

Menggunakan Scaled Dot Product Attention (SDPA)

PyTorch menyertakan operator scaled dot-product attention (SDPA) native sebagai bagian dari torch.nn.functional. Fungsi ini mencakup beberapa implementasi yang dapat diterapkan tergantung pada input dan perangkat keras yang digunakan. Lihat dokumentasi resmi atau halaman GPU Inference untuk informasi lebih lanjut.

SDPA digunakan secara default untuk torch>=2.1.1 ketika implementasi tersedia, tetapi Anda juga dapat mengatur attn_implementation="sdpa" di from_pretrained() untuk secara eksplisit meminta penggunaan SDPA.

from transformers import ASTForAudioClassification


model = ASTForAudioClassification.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593", attn_implementation="sdpa", device_map="auto")
...

Untuk percepatan terbaik, kami merekomendasikan memuat model dalam presisi setengah (misalnya torch.float16 atau torch.bfloat16).

Pada benchmark lokal (A100-40GB, PyTorch 2.3.0, OS Ubuntu 22.04) dengan float32 dan model MIT/ast-finetuned-audioset-10-10-0.4593, kami melihat peningkatan kecepatan berikut selama inferensi.

Sumber daya

Daftar sumber resmi Hugging Face dan komunitas (ditandai dengan 🌎) untuk membantu Anda memulai dengan Audio Spectrogram Transformer.

• Notebook yang mengilustrasikan inferensi dengan AST untuk klasifikasi audio dapat ditemukan di sini.
• ASTForAudioClassification didukung oleh notebook ini.
• Lihat juga: Klasifikasi audio.

Jika Anda tertarik untuk mengirimkan sumber daya agar disertakan di sini, silakan buka Pull Request dan kami akan meninjaunya! Sumber daya tersebut sebaiknya mendemonstrasikan sesuatu yang baru, bukan menduplikasi sumber daya yang sudah ada.

ASTConfig

>>> from transformers import ASTConfig, ASTModel

>>> # Initializing a AST MIT/ast-finetuned-audioset-10-10-0.4593 style configuration
>>> configuration = ASTConfig()

>>> # Initializing a model (with random weights) from the MIT/ast-finetuned-audioset-10-10-0.4593 style configuration
>>> model = ASTModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ASTFeatureExtractor

ASTModel

ASTForAudioClassification

>>> from transformers import AutoFeatureExtractor, ASTForAudioClassification
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593")
>>> model = ASTForAudioClassification.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593")

>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_ids = torch.argmax(logits, dim=-1).item()
>>> predicted_label = model.config.id2label[predicted_class_ids]
>>> predicted_label
...

>>> # compute loss - target_label is e.g. "down"
>>> target_label = model.config.id2label[0]
>>> inputs["labels"] = torch.tensor([model.config.label2id[target_label]])
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
...