何时选择重型AI模型而非轻量方案？

去年帮一个金融团队做尽调系统时，我踩过一个大坑。他们一开始非要用本地部署的7B参数模型，理由是"成本低、响应快、数据不出境"。结果第一批200页的年报扔进去，模型在第三份文档就开始"失忆"——前面提到的关键财务指标，后面再问就编造数字。折腾两周后切到云端重型模型，同样任务一次过，还能跨文档比对关联交易。

这个案例暴露了一个常被误解的决策逻辑：选模型不是选"够用的"，而是选"不会崩的"。

重型模型的真正战场

轻量方案（通常指10B以下参数、可边缘部署的模型）在模式明确的场景里确实漂亮。客服话术生成、固定格式邮件、简单的代码补全——这些输入输出边界清晰的任务，小模型又快又便宜。

但一旦任务呈现三个特征，轻量方案就开始吃瘪：

• 上下文依赖超过10万字。法律合同审查、医学文献综述、多季度财报串联分析，这些需要"记住"海量前置信息的任务，轻量模型的注意力机制会指数级衰减。Anthropic把Opus 4.6的上下文拉到1M token，针对的正是这个痛点。

• 推理链条超过5步。不是简单的A→B→C，而是A→B时需要回溯A'，C的产出又影响D的判定标准。代码重构、策略推演、复杂诊断，这种"边做边调整方向"的任务，重型模型的涌现推理能力才开始显现价值。

• 容错成本极高。医疗诊断建议、合规风险判断、关键投资决策——错一次的代价远超模型调用成本。这时候"更重但更稳"是理性的选择，哪怕单次调用贵20倍。

隐性成本才是决策关键

很多人算账只算API费用，漏掉了三块：

时间成本。轻量模型在长任务里频繁"跑偏"，人工纠错的工时往往淹没掉省下的算力钱。我见过的极端案例：某团队用本地模型做研报摘要，后期事实核查花了原始任务3倍时间。

机会成本。模型中途失败导致的流程中断，在实时性业务里是致命伤。交易窗口、监管截止日期、客户现场演示——这些场景下"能一次跑完"比"便宜但可能卡住"重要得多。

架构成本。为弥补轻量模型能力不足而堆砌的RAG系统、多模型路由、复杂后处理逻辑，维护负担常被低估。有时候"直接上重的"反而让架构更干净。

一个实用的判断框架

问自己三个问题：

这个任务，如果中间断掉重来，损失有多大？ 我需要模型在单次会话里"记住"多少信息？ 输出错误的后果，谁承担？

三题有两题触及红线，重型模型就是更优解。反之，轻量方案的性价比优势才会真正释放。

说到底，模型选型跟选卡车还是轿车一个道理：市区通勤硬上重卡，烧油又难停；跨省货运开Smart，那是自找苦吃。认清自己的路况，比盯着发动机参数有意义得多。