Laya-CoreML 核心概念入门：choice/score/noul 三种类型化决策，一个 Token 都不生成-北京尧图网络

Laya-CoreML 核心概念入门choice/score/noul 三种类型化决策一个 Token 都不生成【免费下载链接】laya-coremlLocal Laya typed decisions on Apple Core ML and Neural Engine. Validated ports, ~5 ms short decisions on M3 Max, reproducible speed and energy benchmarks.项目地址: https://gitcode.com/gh_mirrors/la/laya-coremlLaya-CoreML是一个运行在 Apple Silicon 上的开放权重类型化决策模型基于 Apple Core ML 与 Neural Engine 推理。它最独特的地方在于你问它问题它直接返回带概率的结构化答案——既不逐 Token 生成文本也不产出需要解析的 JSON。一次短决策在 M3 Max 上仅约5 毫秒且output_tokens永远是 0。什么是类型化决策为什么强调零 Token 生成传统大模型的决策流程是生成一段文本 → 你再去解析文本。而 Laya-CoreML 采用双向编码器结构输入一次编码完成没有自回归解码auto-regressive decoding环节模型输出的是每个候选选项的 logit直接 softmax 成概率分布结果是确定结构答案、概率、置信度一步到位。laya_coreml/result.py 中的system_one就是这个核心一次前向推理一次model.predict调用完成所有问题的打分返回的usage中output_tokens恒为 0。这意味着对比项文本生成式 LLMLaya-CoreML 类型化决策推理方式逐 Token 自回归解码单次前向编码输出自由文本需解析固定结构概率输出 Token 数不定恒为 0短决策延迟通常数百毫秒起P50 约 4.98 msM3 Max ANE FP16运行依赖PyTorch / MLX 等纯 Core ML无需 PyTorch 所以一个 Token 都不生成不是营销话术而是架构决定的predict()返回的用量统计里输出 Token 数就写死为 0。三种类型化决策choice / score / noulLaya-CoreML 只支持三种问题类型在 laya_coreml/common.py 中定义为QTYPES {choice: 0, score: 1, noul: 2}。任何不属于这三类的type都会在 laya_coreml/prompt.py 的输入校验阶段直接报错。1. choice —— 多选一从若干候选标签中挑一个并给出每个标签的概率。适合工单分派、意图分类、动作选择。{ department: { type: choice, instructions: Which department should handle this request?, criteria: { billing: Payments, invoices, refunds, technical: Broken features, errors, sales: Pricing, new purchases } } }返回内容choice中选标签、probabilities各标签概率、confidence置信度。2. score —— 有序评分对一组有序档位打分返回期望档位值0 起始的类别指数望值和档位图例。适合紧急程度分级、满意度评分、风险等级。{ urgency: { type: score, instructions: How urgent is the request?, criteria: [not urgent, soon, critical deadline] } }返回内容score0~n-1 的期望值、legend档位说明、probabilities各档位概率。3. noul —— 布尔判断回答是 / 否模型输出 true 的概率。适合退款请求检测、条件校验、安全判断。{ refund: { type: noul, instructions: Does the customer request a refund? } }返回内容noultrue 的概率、confidence取该概率与 1 减去它的较大者。选项渲染固定为[false, true]见 laya_coreml/common.py 中的render_options。三类答案都额外携带confidence基于归一化香农熵的置信度与 action head 概率字段可以直接用于低置信度转人工之类的业务门槛。三种类型如何配合贪吃蛇演示仓库里最直观的验证是终端贪吃蛇模型每一帧只回答三个问题——movechoice四个方向各带一句安全性描述选概率最高的方向risknoul是否存在安全通路foodnoul食物是否可达。见 laya_coreml/snake/policy.py其中还有显式的循环安全层模型提议的方向不安全时安全盾会接管执行一个安全方向并在界面上计入Shield interventions。完整游戏循环在三条 600 步测试中稳定达到49.1–50.0 决策/秒零死亡——这就是每帧 5 毫秒级类型化决策的实际效果。快速上手安装与一次调用需要 Apple Silicon macOS 15 Python 3.11–3.13python -m pip install laya-coremlimport laya_coreml as laya agent laya.load(aac6fef/laya-multilingual-coreml-ane) result agent.predict( The customer requests a refund of a duplicate payment., { department: { type: choice, instructions: Which department should handle this?, criteria: {billing: refunds, technical: errors, sales: pricing}, }, urgency: { type: score, instructions: How urgent is the request?, criteria: [low, medium, high], }, refund: { type: noul, instructions: Does the customer request a refund?, }, }, ) print(result[answers]) print(result[usage]) # {input_tokens: ..., output_tokens: 0}更完整的三种类型示例文件见 examples/questions.jsonAPI 细节见 docs/USAGE.md。推理不依赖 PyTorch、Transformers 或 MLX模型首次下载后可用local_files_onlyTrue完全离线运行。性能与模型选择M3 Max 实测短决策基准91-token 问题ANE FP16共 65,598 次稳定调用数据见 benchmarks/results指标MLX FP16Core ML ANE FP16P50 / P95 延迟6.94 / 7.39 ms4.98 / 5.31 ms每次决策整机能耗0.4288 J0.1540 J2.78× 改善模型容量选择96-token ANE 包laya-multilingual-coreml-ane最短、最快适合高频短决策超出预算会直接报容量错误1024-token 通用包laya-multilingual-coreml长输入多语言场景。完整模型表与设备引擎说明见 docs/USAGE.md 与 docs/ANE_BENCHMARKS.md。想深入看这些模块类型定义与提示词构造laya_coreml/common.py、laya_coreml/prompt.py概率输出与置信度计算laya_coreml/result.pyCore ML 加载与引擎选择laya_coreml/agent.py贪吃蛇策略choice noul 实战laya_coreml/snake/policy.py小结Laya-CoreML 把让模型做判断从文本生成问题变成了结构化的类型化决策问题choice做多选一、score做有序评分、noul做布尔判断一次前向推理直接拿到概率与置信度零输出 Token、约 5 毫秒延迟、纯 Core ML 离线运行。如果你的场景是高频分类、分级或条件判断这正是比通用 LLM 更省更快的一条路。【免费下载链接】laya-coremlLocal Laya typed decisions on Apple Core ML and Neural Engine. Validated ports, ~5 ms short decisions on M3 Max, reproducible speed and energy benchmarks.项目地址: https://gitcode.com/gh_mirrors/la/laya-coreml创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

Laya-CoreML 核心概念入门：choice/score/noul 三种类型化决策，一个 Token 都不生成

相关推荐

搞懂域名服务器后，网页浏览历史记录恢复工具怎么选不踩坑

JavaSE知识点总结

网站qq在线代码3种方案对比评测：避坑指南

更多资讯

网课网站怎么建才不踩坑？3个最佳实践让备案通过快一倍

毕业论文开题可行性分析总写成表决心？用智一刻3维论证打动导师

做创意礼品定制的网站避坑指南：备案对比评测与实战

国内股票行情数据 API 怎么选？量化开发者选型指南

做个卖东西的网站要多少钱？3类方案对比评测与避坑指南

移动端表单的机器人防护：Cap 如何用“一次点击 + 工作量证明“实现无谜题 CAPTCHA

今日更新

如何彻底离线使用 Laya-CoreML：Hugging Face 下载、缓存机制与 local_files_only 详解

基于1Panel 部署MySQL MCP 服务：TaoToken 统一 Key 接入与 config.toml 配置实战

崇州园区营销网站建设避坑指南：5大注意事项保备案安全

本周精选

如何彻底离线使用 Laya-CoreML：Hugging Face 下载、缓存机制与 local_files_only 详解

基于1Panel 部署MySQL MCP 服务：TaoToken 统一 Key 接入与 config.toml 配置实战

崇州园区营销网站建设避坑指南：5大注意事项保备案安全

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？