Infinity08/KAWK-1.5-50M-Korean-Base-5K

KAWK-1.5-50M Korean Base 5K

한국어 전용 소형 언어모델의 전체 제작 과정을 검증하기 위해 만든 KAWK-50M Base를 **5,120-token 문맥으로 계속 사전학습(CPT)**한 모델입니다.

목표는 단순히 config의 최대 길이만 늘리는 것이 아니라, 한국어 장문 데이터로 실제 full-parameter CPT를 수행하고 위치 구간별 loss가 무너지지 않는지 확인하는 것이었습니다. 이 모델은 한국어 중심 설계를 유지하며 영어·코드·수학 전용 말뭉치를 사용하지 않았습니다.

이 모델은 여전히 베이스 next-token predictor입니다. 5,120 tokens를 입력할 수 있다는 사실이 장문 검색, 정보 회수, 긴 지시 수행을 보장하지는 않습니다.

프로젝트 목적

KAWK LM은 다음 질문을 검증하기 위해 시작했습니다.

• 작은 모델의 학습 예산을 한국어에 집중하면 parameter 효율을 얻을 수 있는가?
• tokenizer부터 사전학습, 장문 CPT, SFT, benchmark까지 개인이 재현 가능한 pipeline으로 만들 수 있는가?
• 성공한 checkpoint뿐 아니라 실패 원인과 복구 이력까지 공개할 수 있는가?

50M은 이 전체 과정을 저비용으로 검증하는 prototype이며, 이후 500M 모델의 기반이 됐습니다.

모델 구조

항목	값
아키텍처	LlamaForCausalLM, decoder-only
파라미터	51,542,528
어휘	한국어 SentencePiece Unigram 20,000
레이어	14
Hidden / MLP	512 / 1,408
Attention / KV heads	8 / 4
Head dimension	64
최대 문맥	5,120 tokens
위치 표현	RoPE, theta 10,000
활성화 / 정규화	SwiGLU(SiLU) / RMSNorm
입력·출력 임베딩	공유

학습

• 초기화: 올바른 causal objective로 복구된 6B-token KAWK-50M Base
• CPT budget: 3,000,000,000 tokens
• Sequence length: 5,120
• Optimizer steps: 24,415
• Precision / GPU: BF16 / NVIDIA RTX 5090
• Batch: 4 sequences × gradient accumulation 6
• Learning rate: 1.5e-4 → 1.5e-5 cosine decay
• 안정 구간 처리량: 약 115.6K tokens/s

CPT 데이터는 한국어 일반 문서와 엄격히 필터한 구조화 한국어 데이터를 사용했습니다. 전용 code/math/English source는 제외했습니다.

학습 이력 정정

개발 초기에 수행한 별도의 20B Base + 3B CPT 실험은 causal label이 이중 shift된 구현 오류의 영향을 받았습니다. 해당 실험은 정상적인 학습량으로 계산하지 않습니다. 현재 모델은 오류를 수정하고 100M 검증, 1B recovery, 추가 5B recovery를 통과한 Base에서 새로 수행한 3B CPT 결과입니다.

따라서 현재 릴리스의 신뢰 가능한 학습 이력은 약 6B의 올바른 Base recovery + 3B의 long-context CPT입니다.

평가

고정 한국어 validation

항목	결과
Validation loss	2.85825
Validation perplexity	17.4311
Bits per UTF-8 byte	0.91409
Gate	passed

위치 구간별 평가

Position	Loss	Perplexity
1~1,024	2.94095	18.93
1,025~2,048	2.80757	16.57
2,049~3,072	2.98979	19.88
3,073~4,096	2.96515	19.40
4,097~5,119	2.94935	19.09

마지막 구간까지 language-modeling loss가 급격히 폭발하지 않았습니다. 다만 이는 needle-in-a-haystack이나 장문 QA 같은 retrieval 평가가 아닙니다.

사용 예시

from transformers import AutoModelForCausalLM, AutoTokenizer

repo_id = "Infinity08/KAWK-1.5-50M-Korean-Base-5K"
tokenizer = AutoTokenizer.from_pretrained(repo_id, use_fast=False)
model = AutoModelForCausalLM.from_pretrained(repo_id)

prompt = "한국어 장문 문서의 첫 문단을 입력한 뒤 이어질 내용을 생성합니다."
inputs = tokenizer(prompt, return_tensors="pt", truncation=True, max_length=5120)
outputs = model.generate(
    **inputs,
    max_new_tokens=128,
    do_sample=True,
    temperature=0.8,
    top_p=0.9,
    repetition_penalty=1.1,
)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

한계

• 50M급이므로 장문 전체의 사실관계와 일관성을 안정적으로 유지하기 어렵습니다.
• Context 5,120은 입력 가능 길이이며 신뢰할 수 있는 장문 reasoning 능력을 의미하지 않습니다.
• Base 모델이므로 지시 수행과 대화 응답에는 Instruct 모델이 더 적합합니다.
• 잘못된 사실, 반복, 편향되거나 유해한 웹 문구를 생성할 수 있습니다.
• 고위험 의사결정에 사용하지 마십시오.

관련 자료

• 1,024-token Base
• 50M Instruct
• 프로젝트 archive
• 학습 데이터 archive
• 학습 run archive

원천 데이터의 라이선스와 귀속 조건은 각 upstream dataset을 확인해야 합니다.