LoRA-ps-helper

基于 Qwen2.5-3B-Instruct 微调的 PowerShell 指令助手(LoRA 适配器)。

模型信息

  • 基底模型:Qwen/Qwen2.5-3B-Instruct
  • 微调方式:LoRA(r=32, alpha=64, dropout=0.05, target=全部 proj 层),PEFT 0.20.0
  • 任务:PowerShell 命令讲解、按需求生成命令、Win+R 指令讲解、命令纠错

使用

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-3B-Instruct")
model = PeftModel.from_pretrained(model, "Oplus7/LoRA-ps-helper")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-3B-Instruct")

量化版 GGUF:见 Oplus7/LoRA-ps-helper-GGUF。

评测结果

微调模型 vs 基座(qwen2.5:3b),30 条测试集,temperature=0:

指标 微调 基座 差值
命令/参数覆盖率 65.3% 54.2% +11.1pt
ROUGE-L 46.4% 28.5% +17.9pt
逐条胜负 29 胜 1 负 —

训练数据与评测脚本见 GitHub 仓库 Oplus7/LoRA-ps-helper。

许可证

Apache-2.0(跟随基底模型 Qwen2.5)。

Downloads last month
6
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for oplus7/Qwen2.5-3B-ps-LoRA

Base model

Qwen/Qwen2.5-3B
Adapter
(1,509)
this model