Эта модель была добавлена в Hugging Face Transformers 09.11.2026.

JEV

Модели принятия решений, конвейер decision и DecisionConfig являются экспериментальными: их API может измениться в любой момент без этапа устаревания.

JEV — это головной модуль принятия решений, который оценивает одно-токенные метки с помощью линейного слоя на последнем токене промпта, с мягким ограничением, аналогичным логитам языковой модели. Он был предложен в JEV и также используется в GEV.

JevForDecision — это модель контрольной точки и её головная часть, подобно тому как ForCausalLM представляет собой модель и её lm_head. Она читает файлы, которые контрольная точка предоставляет вместе со своей головной частью, рядом с весами (readout.safetensors и decision_config.json для моделей принятия решений vLLM, head.safetensors и judge_config.json для JEV).

from transformers import pipeline

decide = pipeline("decision", model="autotrust/GEV-26B-Decide")
decide(
    {
        "state": "I was charged twice for my order and want a refund.",
        "questions": {"refund": {"type": "noul", "instructions": "Is a refund requested?"}},
    }
)

См. конвейер принятия решений для графических ресурсов.

Без pipeline модели принятия решений используются так же, как generate: конфигурация решений с помощью chat template формирует промпт для каждого вопроса (или один общий для всех), decide оценивает варианты ответов для каждого вопроса, а Question.answer преобразует оценки в ответы:

from_pretrained не загружает LoRA из чекпоинтов, где он хранится в подпапке (decision_config.adapter, например, adapter/ для JEV). Пайплайн загружает его за вас; без пайплайнa вызовите load_adapter самостоятельно, как показано ниже, иначе модель будет отвечать с базовыми весами.

import torch
from transformers import AutoTokenizer, JevForDecision

repo = "autotrust/JEV-9B"
model = JevForDecision.from_pretrained(repo, dtype=torch.bfloat16, device_map="auto")
tokenizer, config = AutoTokenizer.from_pretrained(repo), model.decision_config  # read from the checkpoint's files
if config.adapter:  # JEV keeps its LoRA in a subfolder: `from_pretrained` doesn't load it, the pipeline does
    model.load_adapter(repo, adapter_kwargs={"subfolder": config.adapter})

request = {
    "state": "I was charged twice for my order and I want my money back today.",
    "questions": {
        "refund": {"type": "noul", "instructions": "Does the customer ask for a refund?"},
        "urgency": {"type": "score", "criteria": ["Can wait", "This week", "Today", "Now"]},
    },
}
answers = {}
for inputs, questions in config.prepare_inputs(request, tokenizer):
    scores = model.decide(**inputs, decision_questions=questions)
    answers |= {q.name: q.answer(s.softmax(-1).tolist()) for q, s in zip(questions, scores)}

Та же самая головная часть считывает 255 кодов ответа моделей pplx-decider и d3, чей базовый блок Qwen3.5 обращается ко всему промпту (is_causal=False в text_config их JevForDecision). Их головная часть (readout.safetensors) и настройки (decision_config.json) читаются как есть, рядом с их весами:

pipeline("decision", model="vllm-sr/d3")(request)  # or perplexity-ai/pplx-decider-v1.1-27b

JevConfig

>>> from transformers import JevConfig, JevForDecision

>>> model = JevForDecision(JevConfig(hidden_size=4096))

JevForDecision