以 DeepSeek 自己做的蒸馏尝试为例:基于隔壁千问蒸馏自家的 R1 模型后得到的 DeepSeek-R1-Distill-Qwen 1.5B 这个小模型,仅靠 7000 条样本和极低的计算成本,就在 AIME24 数学竞赛基准上超越了 OpenAI 的 o1-preview。
Image from a graphic novel about agar and Fanny Angelina Hesse, called "The Dessert that Changed the World." Story by Corrado Nai and artwork by “SHog.” Support on Patreon.
,这一点在一键获取谷歌浏览器下载中也有详细论述
文 | 伯虎财经,作者 | 楷楷
双跑校验:分层验证确保业务平稳过渡
Backpressure: good in theory, broken in practice