用DeepSeek蒸馏金融大模型：120B成绩超Kimi K3，单次查询不到两厘钱

大模型圈子里最近有一个很有意思的实验：一个技术团队拿中国开源模型DeepSeek V4 Flash当“老师”，去蒸馏美国基础模型GPT-OSS-120B，目标是把金融推理能力压进一个更小、更便宜的模型里。

结果出乎不少人意料。蒸馏出来的120B模型在FinanceReasoning金融推理基准上拿下了83.61%，高于Kimi K3的81.93%，远超Inkling的65.13%。更离谱的是成本：在8k token预算下，这个120B模型跑在单张H100上，每次查询成本大约0.00026美元，折合人民币不到0.002元——也就是不到两厘钱，而对比的模型每查询要贵62到160倍。

Model Distillation到底是什么？一句话讲明白

Model Distillation（模型蒸馏）本质上就是“名师出高徒”。一个大而全的教师模型，把自己在特定任务上的推理方式教给一个小型学生模型。学生模型参数量更小、部署成本更低，却能在特定场景里接近甚至超过老师的水平。

在这个案例里，DeepSeek V4 Flash是“外聘名师”，GPT-OSS-120B是“美国来的学生”。金融任务就是这场特训的科目，而目标是让“学生”毕业之后能独立做Financial AI相关工作，比如财报问答、金融推理、合规审查。团队还额外推出了一版20B参数的开源权重，一张80GB显存的GPU就能跑起来，成本又比120B版本低23%。

实验细节：152对对照题目，四个AI裁判打分

想验证“老师教了什么、学生又学走了什么”，不是简单跑个测试就完事的。团队设计了一个相当严谨的实验框架：152组对照问题，每一组都拿一个中国相关概念和一个非中国的对应概念配对。

比如用中国某段历史时期的事件对照外国的类似事件，模型对两类问题的回答倾向就会暴露它的行为偏好。打分环节也很有意思，没有完全依赖人工：四个LLM裁判模型（Grok 4.20、Gemini 3.5 Flash、GPT-5 mini、Claude Sonnet 4.6）从0到100打分，再与96名真人评分员的结果交叉验证，相关系数达到0.948，可信度很高。

团队的方法是基于HINT-SD的进化版本：在学生模型推理出错的位置注入提示，然后针对修正后的连续作答计算reverse KL损失，训练接下来100个token。整个过程用PyTorch和Hugging Face Transformers构建，推理部署则用vLLM做加速。

关键发现：学生的“性格”没有继承老师

蒸馏实验最让人好奇的一个问题，是教师模型身上那些“安全对齐特征”会不会跟着知识一起转移到学生模型里。这次的答案很干净：不会。

教师模型在敏感话题相关的对照题目上，得分差距高达45.45分，差不多偏离随机水平7个标准差——说明它在这类问题上确实有明显的回答倾向。但所有蒸馏出来的学生模型，行为都和它们的美国基础模型保持一致，差距在1分以内。

这个结果在隐性学习文献中有过理论解释：当老师和学生的初始化设定不同的时候，蒸馏主要迁移的是知识和推理能力，而不是价值层面的行为习惯。更直接的原因是，这次蒸馏用的数据本身不包含任何中国敏感内容。团队还计划把整套评估流程开源成LineageEval，让政策讨论和行业研究都能基于公开、可审查的框架，而不是“感觉”。

金融AI的性价比新标杆

这次蒸馏在金融场景里展示的价值非常具体。FinanceReasoning测试中，120B模型在8k token预算下完成了98.7%的问题，而参数量更大的Kimi K3只完成了90.76%，Inkling更只有71.01%——这些大模型在长上下文上表现不错，一旦预算收紧就大面积截断，直接算回答错误。

单次查询不到两厘钱的成本，让金融AI的下场门槛降到了一个此前不敢想的水平。以前一个智能投顾问答系统，后台跑大模型一次调用可能就要几毛钱，现在一家小型私募或者券商研究团队，可以用开源权重在内部服务器上部署一个24小时在线的金融问答助手。

开源生态让这件事变成“可操作的生意”

这次20B版本权重已经开源，配合LineageEval的完整评测代码，任何人都能复现、验证和继续改进。这意味着什么？在淘宝服务市场和猪八戒网上，已经有不少团队在接“金融文档问答定制”“财报分析助手开发”这类需求，以前这些单子基本只有大厂接得住，现在一个三人小团队就能搞定：采购一台带80GB显存的GPU服务器，部署vLLM服务，用开源蒸馏模型做底座，再接入客户的专属数据做检索增强，一周就能交付一套金融AI应用。

闲鱼上也有个人开发者挂出“模型微调+私有化部署”的服务，底层用的就是这类开源蒸馏权重。Open Source生态的好处在于，你不需要从零开始训练一个大模型，站在DeepSeek、开源基础模型和蒸馏技术的肩膀上，就能做出客户愿意付费的落地产品。

下一步：中国血统的底座模型也在路上

这次是“中国老师、美国学生”的组合，效果不错。团队已经在计划下一个实验：用中国教师模型去蒸馏中国血统的基础模型，比如Qwen。Model Distillation正在把大模型的边际成本不断压低，而LLM世界的知识流动和商业价值，会以更低门槛、更多元的方式释放出来。

对于关注Financ AI赛道的开发者来说，盯紧蒸馏技术和开源社区的进展，或许比追逐那些万亿参数的大模型更有实际收益——毕竟能跑起来的，才是好模型。