Instructions to use serda-dev/Jamba2-3B-Turkish with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use serda-dev/Jamba2-3B-Turkish with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="serda-dev/Jamba2-3B-Turkish")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("serda-dev/Jamba2-3B-Turkish")
model = AutoModelForCausalLM.from_pretrained("serda-dev/Jamba2-3B-Turkish", device_map="auto")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use serda-dev/Jamba2-3B-Turkish with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "serda-dev/Jamba2-3B-Turkish"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "serda-dev/Jamba2-3B-Turkish",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/serda-dev/Jamba2-3B-Turkish

SGLang

How to use serda-dev/Jamba2-3B-Turkish with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "serda-dev/Jamba2-3B-Turkish" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "serda-dev/Jamba2-3B-Turkish",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "serda-dev/Jamba2-3B-Turkish" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "serda-dev/Jamba2-3B-Turkish",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use serda-dev/Jamba2-3B-Turkish with Docker Model Runner:
```
docker model run hf.co/serda-dev/Jamba2-3B-Turkish
```
Browse Quantizations to use this model in llama.cpp, Ollama, LM Studio, or any compatible app.

Jamba2-3B-Turkish

Türkçe odaklı 1 milyar token CPT + tüm ağırlıklarla SFT uygulanmış ai21labs/AI21-Jamba2-3B türevi. Bu repo 2026-10-14 itibarıyla aşağıdaki testlerde kullanılan final SFT checkpoint'inin tam BF16 ağırlıklarını içerir; adapter değildir. Önceki sürüm pre-sft-20261014 etiketiyle korunmuştur.

Model ve eğitim

Özellik	Değer
Mimari	JambaForCausalLM, Mamba/attention hibrit
Parametre	3,039,823,232 (~3.04B)
Ağırlıklar	BF16, iki safetensors shard; quantization uygulanmadı
Vocabulary	69,632; ChatML şablonu korunmuştur
CPT	1B token, %80 Türkçe / %20 İngilizce; mevcut modelden devam eğitimi
SFT	63,083 eğitim + 680 validation konuşması; 2 epoch, 3,944 optimizer adımı
Final export seçimi	Validation loss ile seçilen checkpoint-3900 (run 3,944 adımda tamamlandı)
SFT yöntemi	Tüm ağırlıklar; assistant-only loss; AdamW 8-bit optimizer states
SFT LR / global batch	1e-5 / 32 (microbatch 4 × accumulation 8)
SFT bağlam sınırı	2,048 token; daha uzun konuşmalar dışlandı
SFT donanımı	Tek A100 SXM 80GB
Sohbet bitişi	`<

Orijinal AI21 modeli zaten post-training uygulanmış bir modeldir. Bu çalışma sıfırdan ön eğitim değildir. Optimizer durumlarının 8-bit olması model ağırlıklarının 8-bit olduğu anlamına gelmez.

SFT kaynakları: Turkce-Atlas-Instruct (MIT), turkish_instructions (Apache-2.0), aya_dataset (Türkçe, Apache-2.0), turkish-knowledge-sft (Apache-2.0), ultrachat_200k (İngilizce/multi-turn, MIT) ve proje tarafından üretilen doğrulanabilir format örnekleri. Gerçek kaynak sayıları, sabit revision'lar ve hazırlama hash'leri training/manifest.json içinde bulunur. Sentetik yanıtların olgusal doğruluğu tümüyle garanti edilmez.

Türkçe yetenek karşılaştırması

2026-10-14 tarihinde aynı protokolle alınan doğruluk sonuçları:

Model	MMLU	Belebele	Matematik kısa	Matematik 8 örnekli	Yönerge strict
Jamba Türkçe SFT (3B)	%25.9 (233/900)	%49.9 (449/900)	%22.5 (45/200)	%12.5 (25/200)	%31.7 (38/120)
Qwen2.5 Instruct (3B)	%40.8 (367/900)	%67.0 (603/900)	%7.5 (15/200)	%42.0 (84/200)	%41.7 (50/120)
Qwen3 Instruct 2507 (4B)	%54.7 (492/900)	%78.0 (702/900)	%69.0 (138/200)	%70.0 (140/200)	%75.8 (91/120)
Jamba Türkçe CPT (3B)	%19.8 (178/900)	%28.8 (259/900)	%9.5 (19/200)	%3.0 (6/200)	%13.3 (16/120)
Orijinal Jamba2 (3B)	%22.8 (205/900)	%49.0 (441/900)	%19.0 (38/200)	%20.0 (40/200)	%46.7 (56/120)

SFT, CPT sonrası kaybedilen yeteneklerin önemli bölümünü geri kazandırıyor. Ancak orijinal Jamba'ya göre strict yönerge takibi %46.7 → %31.7, 8 örnekli matematik %20.0 → %12.5 geriliyor. MMLU/okuma testindeki küçük artışlar genel üstünlük iddiası için yeterli değildir. Qwen3 yaklaşık %32 daha büyük (4.02B); Qwen2.5 benzer büyüklüktedir. Görevler tek bir genel başarı yüzdesine birleştirilmez.

Kapsam ve ölçüm sınırları

MMLU: AYueksel/TurkishMMLU, mevcut 900 soruluk test alt kümesi; 0-shot seçenek harfi logits. Makalenin tam/5-shot liderlik tablosu değildir.
Belebele: facebook/belebele, tur_Latn/test, 900 sorunun tümü.
Matematik: malhajar/gsm8k-tr, seed 20261014 ile seçilen aynı 200 soru; kısa istem ve sekiz sabit GSM8K-CoT örneğinin Türkçe çevirisi ayrı ayrı raporlanır. İstem etkisi büyüktür; kısa istemde Qwen2.5 çoğunlukla tek satır üretmiştir.
IFEval: bezir/IFEval_tr içinden 120 deterministik, Türkçeye uygun örnek; strict skorda yanıtın bütün koşulları sağlanmalıdır. Tam benchmark veya olgusal doğruluk ölçümü değildir.
Greedy BF16 üretim; kısa/8-shot matematik 512/1,024, IFEval 2,048 çıkış tokenı. SFT'te sırasıyla 15/200, 58/200, 33/120 çıktı bu sınırlara ulaştı.
Orijinal/CPT sohbet bitişi EOS 519 ile eski generation EOS 2 uyuşmazlığı düzeltilip iki modelin bütün üretim testleri yeniden çalıştırıldı. Buradaki final SFT checkpoint'inin generation ayarı zaten EOS 519'dur.
SFT verileri ile 2,120 özgün test isteminde tam eşleşme bulunmadı. Anlamsal/parafraz benzerliği ve ön eğitimdeki test verileri dışlanmış değildir.
Wilson %95 güven aralıkları JSON ve CSV içindedir. Küçük farklar kesin üstünlük değildir.

Hız

RTX 4090, BF16, Transformers SDPA, çalışan Mamba CUDA kernel'leri ve cached decoding:

512 giriş tokenı, 128 zorunlu çıkış tokenı, batch=1, ısınma hariç üç tekrarın medyanı.

Model	Parametre (B)	Decode token/sn	Uçtan uca token/sn	İlk token (ms)	VRAM (GiB)	Batch 4 toplam token/sn
Jamba Türkçe SFT (3B)	3.04	48.6	48.4	30.6	5.73	190.1
Qwen2.5 Instruct (3B)	3.09	51.0	50.8	30.2	5.81	199.2
Qwen3 Instruct 2507 (4B)	4.02	42.7	42.5	35.0	7.61	166.8
Jamba Türkçe CPT (3B)	3.04	48.6	48.4	30.3	5.73	189.3
Orijinal Jamba2 (3B)	3.03	48.8	48.6	30.5	5.71	189.7

Bu ölçüm ağ/indirme/derleme/tokenizasyon süresini içermez; vLLM veya başka bir optimize sunucunun azami hızını temsil etmez. Tokenizer farkları nedeniyle token/sn aynı metin miktarı/sn anlamına gelmez. Uzun bağlam kalitesi ölçülmedi.

Kullanım

Test edilen ortam: PyTorch 2.5.1+cu121, Transformers 4.56.1, mamba-ssm 2.2.4 ve causal-conv1d 1.5.0.post8. Hız ölçümlerindeki CUDA kernel'leri PyTorch/CUDA ile uyumlu derlenmiş uzantılar gerektirir. Standart Transformers Jamba implementasyonu kullanılır; trust_remote_code=True gerekmez.

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "serda-dev/Jamba2-3B-Turkish"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    attn_implementation="sdpa",
).eval()

messages = [
    {"role": "system", "content": "Sen Türkçe yanıt veren yardımcı bir asistansın."},
    {"role": "user", "content": "Fotosentezi kısaca açıkla."},
]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)
with torch.inference_mode():
    outputs = model.generate(
        **inputs,
        max_new_tokens=256,
        do_sample=False,
        use_cache=True,
        eos_token_id=tokenizer.eos_token_id,
        pad_token_id=tokenizer.pad_token_id,
    )
print(tokenizer.decode(
    outputs[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True
))

Kaynak checkpoint ve tekrar üretilebilirlik

Orijinal: ai21labs/AI21-Jamba2-3B, revision 525c6c8e1d9f5bddedfbdc1dbb0ade2df84230c9.
CPT: serda-dev/Jamba2-3B-Turkish-CPT-1B-20261007, revision 8b1a9c812791fa7930e64b9444b41519c023269e, checkpoints/final.
Bu repo için kaynak: serda-dev/Jamba2-3B-Turkish-SFT-20261013, revision 0b22f86c21610f620826067f573aa5ef2821e9cf, checkpoints/final. Özel eğitim yedekleri erişim gerektirir; bu public repo aynı final ağırlıkları sunar.
Ağırlıklar değiştirilmeden repo köküne aktarılmıştır. Kaynak hash'leri training/checkpoint_hashes.json içindedir.
Benchmark manifesti, tam rapor, SFT/eval kodu ve CPT kodu.

Türkçe asistan prototipleri ve ileri eğitim için kullanılabilir. Model yanlış veya uydurma bilgi üretebilir; bu testler üretim güvenilirliği ve güvenlik değerlendirmesi yerine geçmez. Uzun bağlam, araç kullanımı ve kod yetenekleri bu karşılaştırmada ölçülmedi.