Instructions to use Tree-AI-lab/kouman-tts-bau-waxal-full with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use Tree-AI-lab/kouman-tts-bau-waxal-full with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-to-speech", model="Tree-AI-lab/kouman-tts-bau-waxal-full")# pip install -U transformers accelerate # Load model directly from transformers import AutoTokenizer, AutoModelForTextToWaveform tokenizer = AutoTokenizer.from_pretrained("Tree-AI-lab/kouman-tts-bau-waxal-full") model = AutoModelForTextToWaveform.from_pretrained("Tree-AI-lab/kouman-tts-bau-waxal-full", device_map="auto") - Notebooks
- Google Colab
- Kaggle
🎙️ Kouman TTS Baoulé (bci / bau) — Entraîné sur l'intégralité de Google WaxalNLP (7,47 Go)
Ce modèle est le moteur de synthèse vocale (Text-to-Speech) multi-locuteurs haute fidélité en langue Baoulé (bci / bau) développé par Tree-AI-lab pour Kouman IA, l'assistant d'intelligence artificielle vocale ivoirien.
Il est issu d'un fine-tuning complet bout-en-bout VITS + discriminateur HiFi-GAN (via ylacombe/finetune-hf-vits) à partir du modèle propre facebook/mms-tts-aka, avec extension du vocabulaire (66 jetons) et support de 4 voix distinctes.
🗣️ Voix Baoulé Disponibles (carte_locuteurs.json)
| Locuteur | ID | Description |
|---|---|---|
JH |
0 |
Voix 1 (défaut) |
JK |
1 |
Voix 2 |
KK |
2 |
Voix 3 |
RK |
3 |
Voix 4 |
🎬 Démonstrations Vidéo (Synthèse Vocale Kouman IA)
1. Proverbe Baoulé — Kouman IA (kouman_ai_baoule_animation_fin.mp4)
« Baoulé i ɲanndra kun o lɛ’n, ɔ se kɛ: 'Sran kun i bɔbɔ i sɛ kaan kun ti kpa tra i mantanfuɛ’n i able siewlɛ dan kun.' Ɔ maan, sɛ amun fa ChatGPT be di junman titi kɛ n kouman ai n o lɛ’n, nn ɔ fata kɛ amun yo bakanngan’m be like yofuɛ kpa. »
📎 Fichier : demos/kouman_ai_baoule_animation_fin.mp4
2. Récit Touffue & Timi (kouman_ai_baoule_touffue_timi.mp4)
« Cɛn kun’n, be flɛ alua ble kaan kun kɛ Touffue. Touffue nin i janvuɛ kpa ba yasua kun mɔ be flɛ i kɛ Timi’n, be kloli ngowa kanlɛ. Cɛn kwlaa, be di n'goa gua su via nu. Touffue klo Timi fuanlɛ, yɛ Timi klo wanndilɛ. Cɛn kun’n, Timi suannin like uflɛ suklu lɔ, ɔ maan ɔ kunndɛli kɛ ɔ́ fá klé Touffue. »
📎 Fichier : demos/kouman_ai_baoule_touffue_timi.mp4
📚 Corpus d'Entraînement
Entraîné sur l'ensemble complet des 53 fichiers Parquet (7,47 Go) du jeu de données officiel Google WaxalNLP (google/WaxalNLP/data/TTS/bau) :
- 41 shards Train (
bau-train-00000.parquetàbau-train-00040.parquet) - 6 shards Validation (
bau-validation-00000.parquetàbau-validation-00005.parquet) - 6 shards Test (
bau-test-00000.parquetàbau-test-00005.parquet)
🚀 Code d'Inférence Rapide (Python)
Installation des dépendances
pip install torch transformers huggingface_hub soundfile numpy
Utilisation directe avec transformers
import torch
import numpy as np
import soundfile as sf
from transformers import AutoTokenizer, VitsModel
depot_hf = "Tree-AI-lab/kouman-tts-bau-waxal-full"
tokeniseur = AutoTokenizer.from_pretrained(depot_hf)
modele = VitsModel.from_pretrained(depot_hf).eval()
# Paramètres de synthèse vocale
modele.noise_scale = 0.5
modele.noise_scale_duration = 0.5
modele.speaking_rate = 1.0
# Choix de la voix : 0 (JH), 1 (JK), 2 (KK), 3 (RK)
speaker_id = 0
texte = "aɲiho, akwaba kouman ai su ! wo ti kpa ?"
entrees = tokeniseur(texte.lower(), return_tensors="pt")
torch.manual_seed(42)
with torch.no_grad():
onde = modele(**entrees, speaker_id=speaker_id).waveform[0].cpu().float().numpy()
# Normalisation douce du volume (-1 dBFS)
pic = float(np.max(np.abs(onde)))
if pic > 1e-5:
onde = (onde / pic) * 0.90
sf.write("sortie_baoule_jh.wav", onde, samplerate=modele.config.sampling_rate)
print("Audio généré : sortie_baoule_jh.wav (16 kHz)")
🛠️ Script d'Inférence Dédié (inference_kouman_tts_baoule.py)
Un script d'inférence complet inference_kouman_tts_baoule.py est fourni dans le dépôt. Il gère la normalisation Unicode, les 4 voix (JH, JK, KK, RK), le rognage automatique des silences de début/fin, et l'export direct.
En ligne de commande :
# Télécharger le script si besoin
wget https://huggingface.co/Tree-AI-lab/kouman-tts-bau-waxal-full/raw/main/inference_kouman_tts_baoule.py
# Lister les locuteurs
python inference_kouman_tts_baoule.py --lister-locuteurs
# Générer avec la voix JH (par défaut)
python inference_kouman_tts_baoule.py --texte "Aɲiho, akwaba Kouman AI su ! Wo ti kpa ?" --sortie akwaba_jh.wav --locuteur JH
# Générer avec la voix JK
python inference_kouman_tts_baoule.py --texte "Man min nzue n nun." --sortie eau_jk.wav --locuteur JK --vitesse 0.95
En module Python :
from inference_kouman_tts_baoule import SyntheseBaouleKouman
tts = SyntheseBaouleKouman()
print("Voix disponibles :", tts.locuteurs)
# Synthèse avec la voix JK
onde, frequence = tts.synthetiser("Kouman AI ti ivoirien nvlɛ kun kpa kpa.", locuteur="JK")
tts.sauvegarder_wav(onde, frequence, "presentation_jk.wav")
⚙️ Architecture & Entraînement
- Architecture : VITS bout-en-bout (Variational Inference with adversarial learning for end-to-end Text-to-Speech) à 16 kHz.
- Base initiale :
facebook/mms-tts-aka+ discriminateur HiFi-GAN officielD_100000.pth. - Alignement monotone : MAS (Monotonic Alignment Search) compilé en Cython.
- Entraînement complet : Optimisation simultanée des 6 pertes VITS (Mel L1, KL divergence, Duration MAS, GAN Generator, GAN Discriminator, Feature Matching) sur GPU AMD ROCm.
- Downloads last month
- 391