开发 · 2026年10月10日
Temper 0.5B模型专注于Rust语言
Temper 0.5B是一款专注于Rust语言的小型模型，基于Qwen2.5-Coder-0.5B-Instruct进行再训练。该模型的窄专注使其在处理特定任务时表现优于更大型的模型，如x3。再训练的目的是评估小型模型在特定任务上的能力，并与同等或更大规模的模型进行比较。
再训练初期，Qwen3.6-35B-A3B作为教师模型，在NVIDIA A40 48GB显卡上耗时约9小时生成2700个Rust示例。相比之下，Temper模型的训练数据经过了更好的过滤和处理，确保了数据质量的提升。
经过三个训练周期，Temper的第一版在解决简单任务时的成功率从45.6%提升至64.6%。在更复杂的任务中，其成功率也显著提高，特别是在MultiPL-E数据集上的表现有所改善。
数据集进一步扩展到10,000个示例，采用了新的教师模型DeepSeek-V4-Flash，从而提升了编程能力和API成本效益。经过这个数据集的再训练，Temper在Rust相关的基准测试中表现进一步提升，特别是在humaneval-rs和mbpp-rs上，成功率分别提高了7.6和7.9个百分点。
此外，Temper模型还进行了强化学习（RL）再训练，能够为每个任务生成多个解决方案，并对通过测试的方案给予奖励。