Poziomka-malutka to model językowy trenowany jedynie na języku polskim. Model widział 5 miliardów tokenów i był trenowany od zera z użyciem Megatron-LM. Model używa architektury BailingV2MoE. Ma 128 ekspertów, 2 z nich jest aktywnych przy każdym tokenie.
Jest to model typu baza, więc nie wspiera szablonu konwersacyjnego.
Koszt reprodukcji tego modelu to około 200 PLN
- Downloads last month
- 3
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support