尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
19个模型修同一个BUG:Awesome Coding Plan非严谨能力测试复盘,通过率与成本全揭秘
19个模型修同一个BUGAwesome Coding Plan非严谨能力测试复盘通过率与成本全揭秘【免费下载链接】awesome-coding-plan各厂家 Coding Plan 实际价值对比项目地址: https://gitcode.com/gh_mirrors/aw/awesome-coding-planAwesome Coding Plan 是一个各大模型与云厂商 Coding Plan 实际价值对比的开源项目覆盖额度倍率、TPS、模型参数与真实编码能力测试。本文复盘项目中最接地气的非严谨能力测试同一个网络代理协议不匹配 BUG先后 19 个 AI 编程模型接手修复各模型的通过率、单次成本与耗时如何一文揭秘帮你判断哪款 Coding Plan 更值得入手。 测试背景一个烂摊子怎么变成能力试金石这次测试场景相当刁钻作者先让 gemini-3.5-flash 去解决一个网络代理协议不匹配的 BUG结果它没修好还留下了一个烂摊子。随后 18 个主流编码模型来自 Claude Code、Codex、OpenCode、Grok Build 等 Agent Harness被依次拉来救火每个模型跑 3 轮记录Token 消耗、单次成本、耗时与修复通过率。加上最初留下烂摊子的 gemini-3.5-flash前后共有 19 个模型与这个 BUG 交手——这就是标题里19 个模型的由来。原始数据与结论可在项目的 README.md#L126-L151 中查看。 19 个模型修 BUG 的通过率与成本全对比✅ 3/3 全通过4 款模型一战成名模型Agent Harness成本耗时通过率deepseek-v4-flash-0731opencode$0.0412min✅ 3/3grok-4.5grok build~$0.52min✅ 3/3gpt-5.6-solcodex$1.0911min✅ 3/3claude-opus-4.8claude code$2.609min✅ 3/3全通过组亮点明显deepseek-v4-flash 以 $0.04 的白菜价完成 3/3grok-4.5 用 2 分钟跑完全场最快而 claude-opus-4.8 虽然稳定单次成本却是前者的 65 倍。⚠️ 2/3 半通过能力强但不够稳模型Agent Harness成本耗时通过率deepseek-v4-pro-0813opencode$0.1118min⚠️ 2/3claude-opus-5claude code$3.0810min⚠️ 2/3gpt-5.6-terracodex$0.505min⚠️ 2/3gpt-5.5codex$1.296min⚠️ 2/3claude-fabel-5claude code$8.2518min⚠️ 2/3这一组最扎心claude-fabel-5 花了全场最高的 $8.25却只拿到 2/3而 deepseek-v4-pro-0813 只花 $0.11 就完成 2 次修复成本效率差距一目了然。❌ 翻车组1/3 与 0/3 都栽在哪模型Agent Harness成本耗时通过率gpt-5.6-lunacodex$0.407min❌ 1/3kimi-k3opencode$1.4728min❌ 1/3kimi-k2.7-codeopencode$0.9415min❌ 1/3deepseek-v4-pro maxopencode$0.055min❌ 0/3claude-sonnet-5claude code$0.565min❌ 0/3gpt-5.4codex$1.6012min❌ 0/3glm-5.2 maxopencode$2.6242min❌ 0/3qwen-3.7-maxopencode$0.493min❌ 0/3几个值得注意的信号glm-5.2 max 耗时 42 分钟仍 0/3时间花得最多、结果最差同为 DeepSeek V4 Pro0813版本拿到 2/3max配置却是 0/3说明模型版本与推理档位都会影响结果多数 0/3 模型耗时很短3~5 分钟属于快速失败成本损失可控。️ 特例qwen-3.8-max 为什么只测了一轮qwen-3.8-max 消耗了20,869,362 Token跑了 1 小时 24 分钟一轮成本 $8.42Token 效率远低于同组其他模型作者因此没有继续测试原始记录见 README.md#L141。如果你在意按量计费账单这类 Token 效率问题往往比通过率更致命。 如何正确看待这份非严谨能力测试数据非严谨不是自我贬低而是作者刻意标注的数据边界阅读时请抓住三点单场景测试只测了一个网络代理协议 BUG 修复场景只能在一定程度上侧面反映模型解决问题的能力不能直接外推到所有编码任务轮次有限项目明确提示测试轮次不够多部分模型效果评估可能存在偏差0/3 也可能是手气问题Harness 变量同一模型在不同 Agent Harnessopencode / codex / claude code / grok build下表现可能不同对比时要把两列放在一起看。它的正确用法是把通过率当作日常编码能力的参考信号把成本列当作预算护栏而不是唯一决策依据。 结合测试结果新手如何挑选 Coding Plan测试结论与项目给出的核心选购建议可以互相印证新手可以直接照着这四条走算力优先于额度项目核心建议是尽量考虑算力相对充裕的厂商额度再差也比天天 429 报错强——模型再强频繁限流也修不了你的 BUG按量计费看性价比全通过组里成本最低$0.04的 deepseek-v4-flash正是项目推荐的按用量计费首选同等 Token 用量下比大部分 Coding Plan 都便宜1M 上下文、50 TPS 以上免费档适合体验NVIDIA NIM 免费不限量提供 deepseek-v4-pro、glm-5.1 等开源模型适合零成本上手但没有稳定性保证、速度不固定团队套餐量力而行团队综合推荐 Kimi Code Allegretto¥199/月支持多模态图像输入团队开发推荐 GLM Coding Plan Pro¥149/月模型代码能力国内最强。注意两者近期都有 429 频繁、算力紧张的情况下单前先看实时口碑。数据安全提示如果你有数据安全性要求、不允许数据被用于训练不建议购买 Coding Plan项目原话。 项目资料索引从哪入手读原始数据完整对比表额度价值 / 倍率 / TPSREADME.md#L42-L60模型参数与 Tokenizer 压缩率数据README.md#L63-L107非严谨能力测试原始数据README.md#L126-L151授权说明CC BY 4.0可自由分享与改编LICENCE想追踪最新一轮数据把仓库拉到本地即可git clone https://gitcode.com/gh_mirrors/aw/awesome-coding-plan本文数据均整理自 Awesome Coding Plan 项目公开记录测试轮次有限结论仅供参考购买前请以厂商最新政策为准。【免费下载链接】awesome-coding-plan各厂家 Coding Plan 实际价值对比项目地址: https://gitcode.com/gh_mirrors/aw/awesome-coding-plan创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED

相关推荐

JetBrains IDE 终于可以爽用Cursor了!TaoToken 统一 Key 配置 ACP 通道实战

JetBrains IDE 终于可以爽用Cursor了!TaoToken 统一 Key 配置 ACP 通道实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📅 2026/9/29 20:10:43
同质化内卷:线束企业如何跳出价格战?

同质化内卷:线束企业如何跳出价格战?

同质化内卷:线束企业如何跳出价格战?线束行业的价格战,已经打到了"肉搏"的程度。"你报0.85元,我就报0.82元;你报0.82元,我就报0.80元。"——在招投标场景中,线束企业之间的…

📅 2026/9/29 20:10:42
Cursor 配置 MCP 实战:用 TaoToken 统一 Key 打通 AI 工具链

Cursor 配置 MCP 实战:用 TaoToken 统一 Key 打通 AI 工具链

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📅 2026/9/29 20:10:42
MORE NEWS

更多资讯

📰

GitHub 上那些好用的开源项目,怎么用 TaoToken 统一 Key 接入 AI 工具?

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📰

OpenHands 配 TaoToken:统一 Key 接入自动执行命令与网页浏览的 AI 编程工具

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📰

2026年05月16日最热门的开源项目(Github):用 TaoToken 统一 Key 跑通本地 AI 工具链

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📰

【粉丝福利社】OpenClaw深度解析:从架构原理到Agent工程实践,配 TaoToken 统一 Key 通道的 config.toml 骨架

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📰

Java8 也能跑 MCP Server:用 Solon AI MCP 搭一套可复制的配置骨架

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📰

速看!微信可以连接 OpenClaw 了(附 TaoToken 配置教程)

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬