Featured image of post Qwen 3.8 显著模仿 GPT-5.5 Pro 推理风格,Kimi K3 预填充效果最弱

Qwen 3.8 显著模仿 GPT-5.5 Pro 推理风格,Kimi K3 预填充效果最弱

Katheree 研究显示 Qwen 在 1% GPT-5.5 Pro 推理预填充下,可见答案相似度提升 18.18 点。

核心事件:推理预填充实验更新

核心事件:推理预填充实验更新
核心事件:推理预填充实验更新|新闻截图

近期研究人员 sxiaoys(中文网名“王锐”)在 Hacker News AI 发布了《推理预填充》实验的 v1.1 版本更新,聚焦 Qwen 3.8Kimi K3 等开源模型对 GPT-5.5 Pro 推理风格的模仿程度。实验未涉及具体发布时间、价格或商业可用性信息,属于纯研究性质的比较分析。

关键实验设计在于:对每道题目,为每个目标模型生成两种响应——普通无预填充响应,以及插入 1% GPT-5.5 Pro 推理文本作为前缀的响应;其余部分仍由目标模型自由生成。最终评估目标模型前 100 个可见 token 中与 GPT-5.5 Pro 可见答案的匹配度,采用三元评估指标(未言明“Katheree”为作者名,原文称“I”,链接显示为 wsxiaoys)。

关键数据与意外发现

实验覆盖 45 道问题:15 道 STEM(科学、技术、工程、数学)题、15 道非 STEM 题和 15 道合成谜题。核心发现如下:

  • Qwen 的变化显著:此前在 Opus 4.8 预填充实验中移动幅度极小,本次在 GPT-5.5 Pro 预填充干预下,可见答案相似度大幅提升 18.18 个百分点(绝对值变化),尤其在私有合成谜题上效果突出。
  • Kimi K3 表现最高但增幅最小:Kimi K3 在无预填充时与 GPT-5.5 Pro 的重合度已达 31.11%,预填充后为 35.65%仅增加 4.54 点,为已知模型中增幅最低。

该结果引出一个反差:尽管 Kimi K3 的 baseline(未干预重合度)最高,但对预填充干预最不敏感;而 Qwen baseline 较低,却对 GPT-5.5 Pro 预填充表现出极强响应能力。数据暗示 Qwen 可能并非从 Opus 系列模型学习,而是更可能从 GPT-5.5 Pro 或其近亲模型中继承了某些推理模式。

模型对比数据

模型无预填充重合度有预填充重合度增量变化
Qwen未公布未公布+18.18
Kimi K331.1135.65+4.54

注:表中数值均来自原文摘要,其他模型未提供具体数值故未列入。

读者落地建议

  • 若你关注推理模型的可解释性与原创性:当前实验表明,即使插入极少量(1%)教师模型推理序列,也可能导致后续生成内容高度相似,这意味着模型“表面自由生成”与内部偏好之间存在潜在关联。
  • 若你使用开源模型进行产品开发:Qwen 在本实验中表现出对 GPT-5.5 Pro 的强学习能力,值得注意其是否已在训练数据中包含 GPT 系列输出;建议在高重复性要求场景(如考试解题、标准流程生成)中加入内容相似度检测环节

写在最后

推理预填充方法为评估模型是否“记住了”教师模型风格提供了新路径,尤其在黑盒场景下弥足珍贵。当前结果表明,开源模型与闭源教师模型间的风格迁移可能比预想更易发生,未来争议焦点或将从“是否训练数据泄露”转向“推理缓存与生成机制的透明度”。