尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
yao-meta-skill - output-eval-method
输出评估方法输出评估实验室Output Eval Lab证明技能是否改善了最终面向用户的结果而不仅仅是路由是否正确。何时使用对生产Production、库Library、受治理Governed或团队分发的技能使用输出评估。脚手架Scaffold技能可以用一个冒烟用例起步但生产级及以上在推广之前应该展示出带技能相对基线的正向信号。用例设计每个用例应该包括一个真实的提示词或任务形态任何必需的输入文件一个代表不使用技能完成任务时的基线输出一个代表技能引导行为的带技能输出可以在没有主观猜测的情况下检查的断言可选的用于品味、完整性或判断力的人工审查备注断言规则优先选择能捕捉实质性质量的断言必需的交付物路径必需的部分或契约必需的边界或排除性语言必需的证据路径禁止的通用占位符禁止的不安全操作避免只奖励措辞记忆的断言。如果一个用例可以通过复述一句话就通过却在真实工作中失败那么这个断言就太窄了。得分解读第一份 v0 记分卡报告基线通过率带技能通过率绝对差值失败的断言和失败分类当生成了reports/output_execution_runs.md时的执行模式、计时和 token 证据盲 A/B 评审包数量推荐的下一步修复生产推广应要求带技能通过率超过基线并解释每一个失败的断言。执行证据在记分卡之后运行执行证据python3 scripts/yao.py output-exec默认情况下这会记录当前用例的输出作为recorded_fixture。这对可复现性有用但它不是模型执行的证据。要收集真实的运行证据请传入--runner-command并附上命令或 JSON 字符串列表。运行器从 stdin 接收 JSON 请求并应返回包含以下内容的 JSONoutput可选的execution_kindcommand或model可选的provider和model可选的usage.input_tokens、usage.output_tokens和usage.total_tokens只有返回 provider/model 元数据或execution_kind: model的运行才应算作模型执行的。如果缺少 token 用量报告可以估算 token但估算必须标注为估算值。对于没有外部模型凭据的本地发布门槛冒烟证据使用确定性运行器python3 scripts/yao.py output-exec --runner-command[python3,scripts/local_output_eval_runner.py]这会验证命令运行器契约、计时捕获、评分路径和失败处理。它绝不能被描述为基于提供商的模型证据。对于基于提供商的证据使用带真实凭据的捆绑提供商运行器YAO_OUTPUT_EVAL_MODELgpt-4.1-mini\OPENAI_API_KEY...\python3 scripts/yao.py output-exec --provider-runner openai提供商运行器调用与 OpenAI Responses API 兼容的端点读取相对于evals/output/的输入文件返回execution_kind: model并在提供商返回用量字段时记录观察到的 token 用量。如果 API 密钥或模型缺失运行器必须失败而不是回退到固定夹具或假装存在模型证据。只有经过审查的兼容端点才使用--provider-base-url非默认的 HTTPS 主机需要--allow-custom-base-url而纯 HTTP 只允许与--allow-insecure-localhost一起用于本地测试服务器。盲 A/B 评审每次输出评估运行还应该生成reports/output_blind_review_pack.mdreports/output_blind_review_pack.jsonreports/output_blind_answer_key.json评审包必须隐藏变体 A 或变体 B 来自基线还是技能引导输出。答案密钥是独立的审计证据只有在评审者做出判断之后才能打开。评审者裁定盲审之后在reports/output_review_decisions.json中记录评审者的选择包含reviewer、reviewed_at、winner_variant、可选的confidence以及必需的基于评分标准的reason然后运行python3 scripts/adjudicate_output_review.py --write-template python3 scripts/yao.py output-review裁定报告写入reports/output_review_decisions.jsonreports/output_review_adjudication.jsonreports/output_review_adjudication.md当没有评审者决定时报告应说明用例处于待定状态Review Studio审查工作室应链接到决定模板。不要把待定用例算作人工一致。只有带评审者元数据和非空reason的真实winner_variantA或B才应计入一致率、分歧数和评审者判断数。裁定报告必须保持盲审完整性待定和无效的决定应显示预期的胜者为隐藏状态。只有在某个用例存在带理由的有效评审者决定之后才揭示expected_winner_variant。防过拟合保留一个小的公开冒烟集和一个独立的留出集。把真实的失败轮换进分类体系而不是只修改失败的提示词。每当输出看起来不错但边界仍然不清晰时就添加近似邻居用例。
RELATED

相关推荐

yao-meta-skill - runtime-conformance-method

yao-meta-skill - runtime-conformance-method

运行时一致性方法 运行时一致性把平台兼容性从打包的事后考虑变成发布门槛。 目的 当技能为 OpenAI、Claude、Agent Skills、VS Code / Copilot 或通用目标打包时,使用此检查。目标不是证明每个运行时行为完全一致。目标是证明包暴露了足够的元数据、文件和降级说明…

📅 2026/11/1 18:30:01
苏州常熟虞山街道威能壁挂炉不点火频繁熄火,欧米到家上门检查风压点火系统

苏州常熟虞山街道威能壁挂炉不点火频繁熄火,欧米到家上门检查风压点火系统

核心导读壁挂炉不点火、不出热水、供暖不热、压力下降、频繁报故障代码、运行噪音大,是苏州家庭在采暖季和日常生活热水使用中比较常见的问题。壁挂炉涉及燃气、水路、电路、采暖循环及燃烧系统。如果出现明显燃气味、异常爆燃、频繁熄火或设备漏水等情况&#xff0…

📅 2026/11/1 18:29:12
滑动窗口全解析:从TCP流量控制到算法滤波与FPGA实现

滑动窗口全解析:从TCP流量控制到算法滤波与FPGA实现

你只要接触过网络编程、算法刷题、信号处理或者FPGA开发中的任何一个方向,大概率都被“滑动窗口”这个词撞翻过。问题是,这四个方向里的人说起滑动窗口,脑中浮现的东西完全不是一回事:搞网络的想到的是TCP头里的16位窗口字段&…

📅 2026/10/8 10:39:28
MORE NEWS

更多资讯

📰

启动报Port 8088 was already in use?先查是谁占的

启动报Port 8088 was already in use?先查是谁占的 项目启动报 Port 8088 was already in use,意思很直白:这个端口已经有人占了。 先说原理:端口是"门牌号",一间房只住一个进程 端口就是一台机器上的门牌号…

📰

担心文档上云?本地运行的办公AI才敢放心用

单位上周开了个会,主题是"AI 提效",散会时领导补了一句:涉及客户资料的文档,不许往云端传。这话一出,会议室里本来跃跃欲试的同事全蔫了——大家平时用的那些在线 AI,文档一上传就不知道存哪儿去…

📰

先能用,再好用:从烂尾复盘到两周上线,全栈项目的‘原型—快速迭代‘方法论

先能用,再好用:从烂尾复盘到两周上线,全栈项目的“原型—快速迭代”方法论 全栈学习路径的文章已经很多了:怎么选技术栈、怎么搭环境、怎么记文档,几乎每个方向都有人写。但一个更扎心的问题很少有人正面讨论——为什…

📰

深度思考模式把 ARC-AGI-2 从 17.6% 拉到 45.1%:对照 Gemini 3 Pro 的三份能力评测,看‘会思考‘改写了哪些边界

深度思考模式把 ARC-AGI-2 从 17.6% 拉到 45.1%:对照 Gemini 3 Pro 的三份能力评测,看“会思考”改写了哪些边界 一、先说结论:变强的不是“知识”,而是“解法” 每次新模型发布,评测榜单都会涨几个点,大…

📰

1.c++入门篇

1.c中的关键字asmdoifreturntrycontinueautodoubleinlineshorttypedefforbooldynamic_castintsignedtypeidpublicbreakelselongsizeoftypenamethrowcaseenummutablestaticunionwchar_tcatchexplicitnamespacestatic_castunsigneddefaultcharexportnewstructusingfriendclassext…

📰

《江灯合声》:有可行的分框版,也仍可以选择连续鸣谢

武汉江岸区栎坡合唱团在免费节目册《江灯合声》中,以表格集中鸣谢资助者。各家共同要求改为独立小框,团里仍想保留表格。现有全名与支持事项清楚可见,双方此前未承诺具体排版。我支持保留表格。补充的试排材料让选择更具体:分框能…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬