Instructions to use rylyshkvar/charllama-2.6B-turboshitpost with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use rylyshkvar/charllama-2.6B-turboshitpost with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="rylyshkvar/charllama-2.6B-turboshitpost")# pip install -U transformers accelerate # Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("rylyshkvar/charllama-2.6B-turboshitpost") model = AutoModelForCausalLM.from_pretrained("rylyshkvar/charllama-2.6B-turboshitpost", device_map="auto") - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use rylyshkvar/charllama-2.6B-turboshitpost with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "rylyshkvar/charllama-2.6B-turboshitpost" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "rylyshkvar/charllama-2.6B-turboshitpost", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker
docker model run hf.co/rylyshkvar/charllama-2.6B-turboshitpost
- SGLang
How to use rylyshkvar/charllama-2.6B-turboshitpost with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "rylyshkvar/charllama-2.6B-turboshitpost" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "rylyshkvar/charllama-2.6B-turboshitpost", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "rylyshkvar/charllama-2.6B-turboshitpost" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "rylyshkvar/charllama-2.6B-turboshitpost", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }' - Docker Model Runner
How to use rylyshkvar/charllama-2.6B-turboshitpost with Docker Model Runner:
docker model run hf.co/rylyshkvar/charllama-2.6B-turboshitpost
Charllama-2.6B дообученная на малом корпусе MM44 рэпа
Модель в процессе разработки, качество ну такое
Данный репозиторий содержит языковую модель на архитектуре Llama, основанная на ai-forever/charllama-2.6B.
Данные обучения
Данная модель была дообучена на небольшом датасете из сниппетов текстов рэпера mm44 turboshitpost machine, добытых с сайта genius. Каждый сниппет прошёл автоматизированную обработку, были удалены неподходящие части и расставлены ударения. Из-за того, что датасет вышел крайне маленький, данный вышел посредственным. В будущем было бы интересно собрать бо́льший датасет из лучших рэперов, а затем ещё и инструктировать модель. Но я не хочу ибо рэп говно.
Токенизация на уровне символов
Модель содержит посимвольный токенизатор, идентичный токенизатору, представленному в репозитории Koziev/character-tokenizer, но конвертированный в формат, подходящий для использования через transformers.AutoTokenizer.
Использование
Простой пример использования этой модели при помощи библиотеки transformers:
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
generation_args = {'max_length': 128,
'do_sample': True,
'temperature': 0.7,
'top_p': 0.92,
'top_k': 50,
'repetition_penalty': 1.2
}
device = "cuda" if torch.cuda.is_available() else "cpu"
model_dir = "rylyshkvar/charllama-2.6B-turboshitpost"
model = AutoModelForCausalLM.from_pretrained(model_dir).to(device)
tokenizer = AutoTokenizer.from_pretrained(model_dir)
prompt = "mm44:\n" + chr(8) + "Индустри́я подгоре́ла"
input_ids = tokenizer(prompt, return_tensors='pt').input_ids
out = model.generate(input_ids=input_ids.to(device),
eos_token_id=tokenizer.eos_token_id,
**generation_args)
print(tokenizer.decode(out[0]))
- Downloads last month
- 11
