Mô hình này đã được đóng góp cho Hugging Face Transformers vào ngày 2026-10-16.

Beam

Tổng quan

Beam là mô hình trọng số mở đầu tiên của Reflection, một mô hình ngôn ngữ dạng mixture-of-experts (MoE) thưa với tổng cộng 501B tham số và 23B tham số hoạt động cho mỗi token, được xây dựng cho các tác vụ lập trình, suy luận và agentic. Mô hình được tiền huấn luyện trên 23.8T token và huấn luyện hậu với học tăng cường bất đồng bộ quy mô lớn. Beam chỉ xử lý văn bản và nó suy luận trước mỗi câu trả lời. Một cài đặt mức độ suy luận trong chat template kiểm soát mức độ suy luận đó.

Beam có 52 lớp giải mã và kết hợp các tính năng sau:

• Trộn lẫn chú ý trượt và chú ý toàn phần. Mỗi sáu lớp và lớp cuối cùng sử dụng chú ý toàn phần, còn các lớp khác chú ý đến sliding_window (512) token gần nhất. layer_types đặt mẫu.
• RoPE trên các lớp trượt, NoPE trên các lớp đầy đủ. rope_parameters được lập chỉ mục theo loại lớp, và None đánh dấu loại lớp không có mã hóa vị trí. Các lớp chú ý đầy đủ sẽ thay đổi tỷ lệ của truy vấn (softmax có thể mở rộng): truy vấn tại vị trí n (đếm từ 1) được nhân với (1 + n / 2048) ** 0.1, giúp chú ý không bị dẹt ra khi ngữ cảnh tăng lên.
• Chú ý có cổng (Gated attention). Chú ý truy vấn nhóm (Grouped-query attention) với 48 đầu truy vấn và 8 đầu khóa/trị, cùng với RMSNorm trên mỗi đầu truy vấn và đầu khóa. Một cổng sigmoid được tính từ đầu vào của chú ý, với một độ chệch học được cho mỗi đầu, sẽ nhân theo từng phần tử với đầu ra của chú ý trước khi chiếu ra đầu ra.
• Sparse MoE. 3 lớp đầu tiên sử dụng MLP SwiGLU dense, và 49 lớp còn lại định tuyến mỗi token đến 8 trong số 256 chuyên gia, không có chuyên gia dùng chung (mlp_layer_types đặt mẫu). Bộ định tuyến chấm điểm các chuyên gia bằng sigmoid, cân bằng tải bằng một bias học được cho từng chuyên gia thay vì một loss phụ trợ, và giới hạn mỗi token trong topk_group nhóm chuyên gia tốt nhất trong số n_group nhóm. Các trọng số định tuyến được chuẩn hóa, và đầu ra MoE được nhân với routed_scaling_factor.
• Chuẩn sandwich với phần dư có tỷ lệ theo độ sâu. Mỗi khối attention và MLP được bọc trong một RMSNorm trước và sau. Các phép cộng phần dư được điều chỉnh tỷ lệ sao cho, sau k đóng góp (đếm embedding là phần đầu tiên), luồng phần dư là tổng của chúng chia cho sqrt(k).
• Giới hạn mềm logit cuối cùng. Logits được giới hạn bằng 30 * tanh(logits / 30) (final_logit_softcapping).

Việc triển khai tính toán việc chuẩn hóa RMSNorm, hàm kích hoạt SwiGLU, RoPE, việc chuẩn hóa query, định tuyến và softcapping ở FP32 để khớp với các phép tính số mà Beam đã được huấn luyện và triển khai. Trọng số của bộ định tuyến và độ lệch chuyên gia được giữ ở FP32 khi nạp, và logits được trả về luôn ở FP32.

Bạn có thể tìm thấy tất cả các checkpoint Beam gốc dưới tổ chức Reflection.

Mô hình này được đóng góp bởi yonigozlan.

Ví dụ sử dụng

Chat template của Beam định dạng các cuộc trò chuyện theo định dạng Harmony của Beam, và response template của nó phân tích văn bản đã tạo thành một tin nhắn với các trường thinking, content và tool_calls. Các ví dụ bên dưới tạo ra một phản hồi bằng Pipeline hoặc lớp AutoModelForCausalLM.

Checkpoint BF16 có dung lượng khoảng 1 TB, vì vậy các ví dụ chia nhỏ (shard) nó trên 8 thiết bị, đặt toàn bộ các chuyên gia (routed experts) trên mỗi thiết bị bằng expert parallelism. Chạy chúng bằng torchrun --nproc-per-node 8 <script.py>.

from transformers import DistributedConfig, pipeline

pipe = pipeline(
    task="text-generation",
    model="reflection/Beam-1.0-501B-A23B",
    model_kwargs={"distributed_config": DistributedConfig(tp_size=8, ep_size=8)},
)

messages = [{"role": "user", "content": "Explain in one sentence why the sky is usually blue."}]
output = pipe(messages, max_new_tokens=2048)
reply = output[0]["generated_text"][-1]
print(reply["thinking"])
print(reply["content"])

from transformers import AutoModelForCausalLM, AutoTokenizer, DistributedConfig

model_id = "reflection/Beam-1.0-501B-A23B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, distributed_config=DistributedConfig(tp_size=8, ep_size=8))

messages = [{"role": "user", "content": "Explain in one sentence why the sky is usually blue."}]
inputs = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, return_tensors="pt", return_dict=True, reasoning_effort="low"
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=2048)
generated = tokenizer.decode(outputs[0, inputs["input_ids"].shape[1] :])
message = tokenizer.parse_response(generated, prefix=inputs["input_ids"][0])
print(message["thinking"])
print(message["content"])

Hãy ưu tiên cách này hơn device_map="auto", vì cách sau đặt toàn bộ các lớp lên từng thiết bị, chạy lần lượt trên từng thiết bị và có thể hết bộ nhớ trong quá trình tải.

Các mẫu sinh với temperature=0.7 và top_p=0.99 được Beam khuyến nghị, đây là các giá trị mặc định do GenerationConfig của checkpoint thiết lập. Truyền do_sample=False để giải mã theo phương pháp tham lam.

Nỗ lực suy luận

Truyền reasoning_effort vào apply_chat_template() để kiểm soát mức độ suy luận của Beam. Tham số này nhận một ngân sách dạng số nguyên hoặc một trong các nhãn bên dưới. Beam không được huấn luyện với mức effort nhỏ hơn 8, do đó các giá trị nhỏ hơn sẽ không được tuân thủ.

Khi reasoning_effort không được đặt, template sẽ dùng max. Nếu max_new_tokens hết trong quá trình suy luận, tin nhắn đã phân tích sẽ có thinking nhưng không có content.

Cuộc trò chuyện nhiều lượt

Thêm tin nhắn đã phân tích vào lịch sử dưới dạng gốc. Đầu ra của Beam sẽ suy giảm nếu thiếu phần suy luận trước đó, vốn được chat template đọc từ thinking (cũng chấp nhận reasoning_content và reasoning). Mặc định, một lượt trả lời của assistant không có suy luận sẽ được hiển thị với khối suy luận rỗng. Truyền allow_missing_thinking=False để gây ra lỗi thay vào đó khi add_generation_prompt=True, điều này được khuyến nghị khi phục vụ Beam.

messages.append(message)
messages.append({"role": "user", "content": "And why are sunsets red?"})
inputs = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, return_tensors="pt", return_dict=True
).to(model.device)

Gọi công cụ

Truyền tools cho cả apply_chat_template() và parse_response(). Khi có tools, các đối số đã phân tích sẽ được chuyển đổi sang kiểu dữ liệu trong schema của từng tool; nếu không, mọi đối số đều là chuỗi.

def get_weather(city: str):
    """
    Get the current weather in a city.

    Args:
        city: The city name.
    """
    return "Sunny, 22 C"


messages = [{"role": "user", "content": "What's the weather like in Paris right now?"}]
inputs = tokenizer.apply_chat_template(
    messages, tools=[get_weather], add_generation_prompt=True, return_tensors="pt", return_dict=True
).to(model.device)
outputs = model.generate(**inputs, max_new_tokens=2048)
generated = tokenizer.decode(outputs[0, inputs["input_ids"].shape[1] :])
message = tokenizer.parse_response(generated, prefix=inputs["input_ids"][0], tools=[get_weather])
print(message["tool_calls"])
# [{'type': 'function', 'function': {'name': 'get_weather', 'arguments': {'city': 'Paris'}}}]

messages.append(message)
for call in message["tool_calls"]:
    result = get_weather(**call["function"]["arguments"])
    messages.append({"role": "tool", "name": call["function"]["name"], "content": result})

Sau đó, tạo lại từ messages để lấy câu trả lời cuối cùng. Các lời gọi công cụ đã được phân tích không có id, và định dạng khớp kết quả với các lời gọi theo vị trí, vì vậy hãy trả về kết quả công cụ theo thứ tự của các lời gọi. Quá trình tạo sẽ dừng lại sau một câu trả lời cuối cùng (<|return|>) hoặc một lời gọi công cụ (<|call|>); generation_config.json liệt kê cả hai.

Đối với streaming, get_response_parser() trả về một parser mà bạn feed() các đoạn văn bản vào khi chúng được tạo ra. Xem Response parsing để biết thêm chi tiết.

Ghi chú

• Các đối số của template. Ngoài reasoning_effort, chat template còn chấp nhận model_identity (thay thế dòng đầu tiên của thông điệp hệ thống), builtin_tools và allow_missing_thinking. builtin_tools chỉ nên đặt tên cho các công cụ search và browse, và chỉ với các định nghĩa mà Beam đã được huấn luyện. Các công cụ khác chỉ cần tools. Các thông điệp system và developer chỉ được hiển thị ở đầu cuộc hội thoại.
• Đào tạo. Mẫu chat đánh dấu đầu ra của trợ lý cho apply_chat_template(..., return_dict=True, return_assistant_tokens_mask=True), do đó SFTConfig(assistant_only_loss=True) của TRL chỉ đào tạo trên các token của trợ lý. Mặt nạ bao phủ phần suy luận, câu trả lời và các cuộc gọi công cụ của mỗi lượt trợ lý.
• Không có loss phụ trợ. Router cân bằng tải chuyên gia thông qua bias của nó, do đó BeamForCausalLM không tính toán loss cân bằng tải. output_router_logits=True vẫn trả về router logits.

BeamConfig

>>> from transformers import BeamConfig

>>> # Initializing a Beam configuration
>>> configuration = BeamConfig()

BeamModel

BeamForCausalLM