如何做好大模型时代的意图识别：从任务建模、提示词到工具调用与评测-北京尧图网络

意图识别意图和工具设计提示词结构化输出参数校验测试迭代。如果只是做 Demo写好提示词和 JSON Schema 基本够用如果要上线决定稳定性的往往是清晰的工具边界和测试集而不只是把提示词越写越长。当用户对 AI 说帮我生成一份介绍人工智能的文档。系统需要调用文档生成工具。当用户说生成一张未来城市的图片。系统需要调用图片生成工具。当用户说把刚才的文档整理成一份 10 页的 PPT再生成一张封面图。系统则需要识别出两个任务制作 PPT 和生成图片。这些看似简单真正实现时却会遇到大量问题用户表达不规范、一句话包含多个任务、上下文指代不明确、否定语义、参数缺失以及“讨论某项能力”和“要求系统执行某项能力”之间的区别。本文将从零讲清楚大模型应用中的意图识别应该如何设计、实现、测试和优化。一、什么是意图识别意图识别的目标是判断用户希望系统做什么。例如用户输入用户意图帮我写一份年度总结创建文档生成一张雪山照片生成图片做一个产品介绍 PPT创建演示文稿分析一下这个 Excel分析表格把这份 Word 转成 PDF转换文档这张图片里有什么分析图片告诉我怎么做 PPT普通问答传统系统通常把意图识别看作一个分类问题用户输入 → 意图标签例如{ intent: create_presentation }但在大模型应用中仅仅返回一个意图标签通常不够。系统还需要知道用户要执行什么动作操作对象是什么需要哪些参数是否存在多个任务是否需要读取上下文信息不足时要不要追问用户是在讨论一个能力还是要求立即执行因此更合适的定义是意图识别是把自然语言请求转换为结构化、可校验、可执行的任务。它不仅是分类更接近一次轻量级的任务规划。二、意图识别不是简单的关键词匹配很多系统的第一版会这样实现if (text.includes(PPT)) { return create_presentation; } if (text.includes(图片)) { return generate_image; } if (text.includes(文档)) { return create_document; }这种方式可以快速做出 Demo但无法应对真实用户表达。下面几句话都包含“图片”意图却完全不同用户输入正确理解生成一张猫的图片创建图片分析一下这张图片分析图片把图片放进 PPT编辑 PPT告诉我怎么生成图片普通问答不要生成图片禁止生成图片生成文档不需要图片创建文档图片生成有哪些模型查询信息关键词只能说明用户提到了某个对象不能说明用户希望系统执行什么动作。意图识别必须理解整句话的语义尤其是动词生成、修改、分析、转换、删除、查询对象文档、图片、PPT、表格否定不要、不需要、先别条件如果可以、完成后、根据上一份材料上下文刚才那份、这个文件、第一张图执行语气帮我生成讨论语气告诉我如何生成关键词规则不是完全没有价值但它更适合作为高确定性请求的快速通道而不是核心判断机制。三、先设计任务模型再写提示词做好意图识别的第一步不是写提示词而是定义系统究竟支持哪些任务。如果任务边界本身含糊提示词写得再长也无法保证准确。1. 不推荐大量扁平意图一种常见设计是create_document edit_document analyze_document convert_document create_image edit_image analyze_image create_presentation edit_presentation analyze_presentation随着功能增加意图数量会迅速膨胀。例如增加表格、音频和视频后可能出现几十甚至上百个意图。不同意图之间容易重叠也很难维护。2. 推荐动作与对象分离更灵活的做法是把任务拆成两个核心维度。动作actioncreate edit analyze convert search delete answer对象artifactdocument image presentation spreadsheet audio video text例如{ action: create, artifact: presentation }代表创建 PPT。{ action: analyze, artifact: image }代表分析图片。{ action: convert, artifact: document }代表转换文档格式。这种设计不会因为功能增加而产生大量重复意图。四、设计结构化输出意图识别的结果应该是程序能够直接处理的结构化数据而不是一段自然语言解释。一个实用的数据结构如下type Action | create | edit | analyze | convert | search | delete | answer; type Artifact | document | image | presentation | spreadsheet | audio | video | text | unknown; type Task { action: Action; artifact: Artifact; arguments: Recordstring, unknown; sourceReferences: string[]; }; type IntentResult { tasks: Task[]; needsClarification: boolean; clarifyingQuestion: string | null; };用户输入做一个关于人工智能发展史的 10 页 PPT面向高中生。可以转换为{ tasks: [ { action: create, artifact: presentation, arguments: { topic: 人工智能发展史, slideCount: 10, audience: 高中生, language: zh-CN }, sourceReferences: [] } ], needsClarification: false, clarifyingQuestion: null }相比只返回create_presentation这样的结果已经包含执行任务需要的主要信息。五、使用 Tool Calling 还是提示词分类大模型意图识别通常有两种实现方式。方式一结构化 JSON 输出给模型一个 JSON Schema要求模型按照固定格式返回任务。这种方式适合需要先展示任务计划需要同时识别多个任务需要在执行前进行审批使用的模型不支持 Tool Calling意图识别和任务执行是两个独立服务调用结果类似{ tasks: [ { action: create, artifact: image, arguments: { prompt: 夕阳下的雪山, style: 摄影写实 }, sourceReferences: [] } ], needsClarification: false, clarifyingQuestion: null }方式二Tool Calling如果模型支持工具调用可以直接把系统能力定义成工具。例如[ { name: create_document, description: 创建 Word、PDF 或 Markdown 文档, parameters: { type: object, properties: { topic: { type: string, description: 文档主题 }, format: { type: string, enum: [docx, pdf, markdown] }, requirements: { type: string } }, required: [topic] } }, { name: generate_image, description: 根据用户描述生成照片、插画、海报或其他图片, parameters: { type: object, properties: { prompt: { type: string }, style: { type: string }, aspectRatio: { type: string } }, required: [prompt] } }, { name: create_presentation, description: 创建 PowerPoint 演示文稿, parameters: { type: object, properties: { topic: { type: string }, audience: { type: string }, slideCount: { type: integer, minimum: 1, maximum: 100 }, style: { type: string } }, required: [topic] } } ]模型会根据用户请求选择工具并填写参数。用户说帮我制作一个 8 页的公司介绍 PPT。模型可以直接返回{ tool: create_presentation, arguments: { topic: 公司介绍, slideCount: 8 } }在支持 Tool Calling 的情况下它通常比“先分类再调用工具”更直接。可以把工具调用理解为模型不仅识别了意图还把意图映射到了可执行能力上。六、如何写意图识别提示词如果使用结构化输出可以采用下面的提示词框架。系统提示词示例你是一个任务路由器。你的职责是理解用户希望系统执行什么任务并返回结构化任务不要实际执行任务。支持的动作 - create创建新内容 - edit修改已有内容 - analyze分析用户提供的内容 - convert转换格式或表现形式 - search查找信息 - answer普通问答支持的对象 - documentWord、PDF、Markdown、报告或文章 - image照片、插画、海报或其他图片 - presentationPPT、幻灯片或演示文稿 - spreadsheetExcel、CSV 或表格 - audio语音或音频 - video视频 - text不需要生成文件的普通文字 - unknown无法确定判断规则 1. 一条用户消息可能包含多个任务。 2. 区分“要求执行”和“询问如何执行”。 3. 区分创建、编辑、分析和转换。 4. 不要仅因为用户提到某种文件就判断用户要求创建它。 5. 正确处理“不需要”“不要”“先别”等否定表达。 6. 从当前消息和对话上下文中提取参数。 7. 不要猜测无法从上下文合理推断的关键参数。 8. 只有缺少执行所必需的信息时才要求澄清。 9. 如果可以使用合理默认值不要追问。 10. 只返回符合指定 Schema 的 JSON。为什么提示词里需要反例只写正向规则通常不够。例如用户提到 PPT 时识别为 presentation。这会导致以下内容误判告诉我做 PPT 时应该注意什么。更好的提示词需要明确边界“生成一份 PPT”属于 create presentation。 “告诉我如何制作 PPT”属于 answer text。 “分析这份 PPT”属于 analyze presentation。 “把文档转换成 PPT”属于 convert presentation。反例可以帮助模型理解不同任务之间的决策边界。七、区分“讨论能力”和“要求执行”这是意图识别中最常见的误判之一。用户说你能生成图片吗这通常是能力询问不应该立即生成图片。正确结果{ tasks: [ { action: answer, artifact: text, arguments: { question: 系统是否支持生成图片 }, sourceReferences: [] } ], needsClarification: false, clarifyingQuestion: null }用户说帮我生成一张在月球上行走的猫。这才是执行请求{ tasks: [ { action: create, artifact: image, arguments: { prompt: 一只在月球表面行走的猫 }, sourceReferences: [] } ], needsClarification: false, clarifyingQuestion: null }可以从语言中寻找执行信号帮我…… 给我…… 生成…… 创建…… 修改…… 转换…… 分析一下……但仍然不能只依赖这些关键词最终要结合整句话判断。八、如何处理一句话里的多个意图真实用户经常把多个任务放在一起根据这份市场报告制作一个 10 页 PPT再生成一张科技风格封面图。不能简单返回单个create_presentation而应该拆成任务列表{ tasks: [ { action: convert, artifact: presentation, arguments: { slideCount: 10, source: 当前市场报告 }, sourceReferences: [current_document] }, { action: create, artifact: image, arguments: { usage: PPT封面, style: 科技风格 }, sourceReferences: [] } ], needsClarification: false, clarifyingQuestion: null }如果第二个任务依赖第一个任务还应该记录依赖关系{ tasks: [ { id: task_1, action: create, artifact: document, arguments: { topic: 新能源汽车市场分析 }, dependsOn: [] }, { id: task_2, action: create, artifact: presentation, arguments: { slideCount: 10, sourceTaskId: task_1 }, dependsOn: [task_1] } ] }不过不要一开始就设计复杂的工作流引擎。只有系统确实需要执行依赖任务时才增加id和dependsOn。九、如何处理上下文和指代用户经常不会重复完整信息。第一轮帮我写一份新能源汽车行业分析报告。第二轮再把它做成 10 页 PPT。“它”指的是上一轮生成的报告。因此意图识别时不能只把当前消息发给模型还需要提供必要的对话状态。一种简单做法是维护当前工作对象{ activeArtifact: { id: doc_123, type: document, title: 新能源汽车行业分析报告 } }识别第二轮请求时输出{ tasks: [ { action: convert, artifact: presentation, arguments: { sourceArtifactId: doc_123, slideCount: 10 }, sourceReferences: [doc_123] } ], needsClarification: false, clarifyingQuestion: null }不要把所有历史消息无限制地传给模型。更实用的方法是提供最近几轮对话当前选中的文件当前页面或工作区最近生成的产物用户明确引用的消息或附件上下文越多不一定越准确。无关信息过多反而可能干扰判断。十、什么时候应该向用户追问不是所有参数缺失都需要追问。例如生成一张可爱的猫咪图片。虽然用户没有指定尺寸、风格和分辨率但图片仍然可以生成。系统可以使用默认值。不应该追问请问尺寸是多少请问宽高比是多少请问使用什么模型请问需要什么分辨率这种交互会让系统显得迟钝。只有缺少真正影响任务执行的关键信息时才追问。例如把那个文件转成 PPT。但当前会话里存在三个文件而且无法判断“那个文件”是哪一个。这时可以返回{ tasks: [], needsClarification: true, clarifyingQuestion: 你希望将哪一个文件转换成 PPT }判断是否追问可以遵循三个原则缺少的信息是否阻止执行是否能从上下文中可靠推断是否存在安全且合理的默认值如果不阻止执行就尽量不追问。十一、程序必须校验模型输出大模型返回了结构化 JSON不代表程序可以直接执行。至少需要检查JSON 是否符合 Schema动作是否在允许列表中对象是否受支持工具是否真实存在必填参数是否存在参数类型是否正确数值是否在合理范围引用的文件是否存在用户是否有操作权限是否涉及高风险操作例如function validateTask(task: Task): string[] { const errors: string[] []; if (!task.action) { errors.push(Missing action); } if (!task.artifact) { errors.push(Missing artifact); } if ( task.artifact presentation task.action create typeof task.arguments.topic ! string ) { errors.push(Presentation topic is required); } if ( typeof task.arguments.slideCount number (task.arguments.slideCount 1 || task.arguments.slideCount 100) ) { errors.push(slideCount must be between 1 and 100); } return errors; }不要依赖模型自己声称的置信度{ confidence: 0.98 }模型给出的0.98通常不是经过校准的真实概率。比起相信这个数字更可靠的是检查是否匹配了有效工具参数是否完整引用对象是否唯一是否存在多个合理解释是否通过业务规则校验十二、任务路由如何实现意图识别完成后程序根据结构化任务选择执行器。async function executeTask(task: Task) { if (task.action create) { switch (task.artifact) { case document: return createDocument(task.arguments); case image: return generateImage(task.arguments); case presentation: return createPresentation(task.arguments); case spreadsheet: return createSpreadsheet(task.arguments); } } if (task.action analyze) { return analyzeArtifact(task.artifact, task.arguments); } if (task.action convert) { return convertArtifact(task.artifact, task.arguments); } if (task.action answer) { return answerQuestion(task.arguments); } throw new Error( Unsupported task: ${task.action}/${task.artifact}, ); }处理完整请求async function handleUserRequest(input: string) { const result await recognizeIntent(input); if (result.needsClarification) { return { type: clarification, message: result.clarifyingQuestion, }; } const outputs []; for (const task of result.tasks) { const errors validateTask(task); if (errors.length 0) { return { type: validation_error, errors, }; } outputs.push(await executeTask(task)); } return { type: success, outputs, }; }生产环境还要根据任务依赖、执行成本和失败处理决定是串行执行还是并行执行。十三、规则、分类模型和大模型应该如何配合意图识别不一定全部交给大模型。一个实用的分层方案是用户输入 ↓ 高精度规则 ↓ 未命中小模型或大模型意图识别 ↓ Schema 校验 ↓ 业务权限与参数校验 ↓ 任务执行第一层确定性规则适合处理固定命令UI 按钮产生的请求斜杠命令明确的系统操作不允许误判的控制指令例如/create-ppt /generate-image /cancel这些指令不需要大模型判断。第二层大模型语义识别适合处理自然语言表达上下文指代多任务请求否定语义参数提取模糊但可以合理推断的请求第三层业务校验无论模型多强都不能跳过权限检查数据存在性检查参数边界检查费用检查高风险操作确认大模型负责理解语言程序负责保证系统行为正确。十四、如何建立意图识别测试集没有测试集就无法知道提示词修改后到底变好了还是变差了。可以为每个意图准备以下类型的测试数据1. 标准表达生成一张猫的图片。制作一份产品介绍 PPT。帮我写一份年度总结。2. 口语表达给我整张猫猫图。弄个十来页的产品介绍。年终总结帮我搞一下。3. 能力询问你能生成图片吗你会不会制作 PPT 你支持 Word 文档吗4. 否定表达不要生成图片只写文字。先别做 PPT。文档里不需要任何图片。5. 多意图表达先写报告再制作 PPT。生成一张封面图并放进文档。分析 Excel然后把结论做成演示文稿。6. 上下文表达把刚才那份做成 PPT。换成蓝色风格。再给它配一张图。把第二个版本导出成 PDF。7. 容易混淆的表达帮我写一个生成图片的提示词。分析一下图片生成行业。 PPT 中应该放哪些图片告诉我怎么写年度总结。8. 无关和未知表达今天天气怎么样随便帮我弄一下。那个东西处理一下。每条测试数据至少记录{ input: 不要生成图片只写一份方案, expectedTasks: [ { action: create, artifact: document } ], forbiddenTasks: [ { action: create, artifact: image } ] }forbiddenTasks很有价值因为很多错误不是漏掉正确任务而是多执行了用户明确禁止的任务。十五、应该评估哪些指标单意图分类可以计算准确率但复杂任务识别需要更细的指标。意图准确率动作和对象是否正确create presentation是否被正确识别。参数准确率例如主题人工智能发展史页数10 受众高中生是否提取正确。多任务召回率用户要求三个任务系统识别出了几个。误执行率用户只是咨询系统却真正执行了工具。这个指标通常比普通误分类更重要。否定遵循率用户说“不要生成图片”系统是否仍然调用了图片工具。澄清准确率系统是否只在真正需要时追问避免应该问却没问不需要问却反复询问工具调用成功率识别结果最终是否能被工具正常执行。最终目标不是让意图标签看起来正确而是用户请求能否被安全、准确、低摩擦地完成。十六、提示词应该如何迭代当系统出现误判时不要立刻往提示词里追加一句规则。应该先判断错误来自哪一层。情况一意图定义重叠例如create_report和create_document无法明确区分。解决方法合并意图或者明确业务边界。情况二工具描述不清晰例如图片工具描述为处理图片。模型无法知道它到底用于生成、编辑还是分析。应该改成根据文字描述创建一张全新的图片。不要用于分析已有图片。情况三缺少反例如果“告诉我如何制作 PPT”经常被误识别成创建 PPT就把这个反例加入提示词和测试集。情况四上下文不足如果模型不知道“它”指什么问题可能不在提示词而是应用没有提供当前文件和最近产物信息。情况五Schema 设计不合理如果一个字段同时承担多个含义模型输出就会不稳定。应该先修正结构而不是继续增加提示词。情况六业务规则没有程序化例如 PPT 最多 100 页不应该只在提示词里告诉模型而应该由代码强制校验。一个好的原则是语言理解交给模型确定性约束交给程序。十七、常见失败方式1. 把提到某个对象当成执行意图错误用户提到“图片” → 调用图片生成正确结合动作、否定和上下文判断用户是否真的要求生成。2. 只支持单意图用户要求“写报告并制作 PPT”系统只识别出其中一个任务。正确做法是返回任务数组。3. 提示词越来越长每出现一次误判就追加一条规则最终提示词难以维护并产生规则冲突。正确做法是先检查意图边界、工具描述、Schema、上下文和程序校验。4. 相信模型输出的置信度模型返回confidence: 0.99并不代表真实正确率是 99%。应使用测试集和业务验证判断可靠性。5. 信息稍有缺失就追问用户没有指定 PPT 的字体不代表无法制作 PPT。应为非关键参数设置合理默认值。6. 完全不追问当用户说“把那个文件删掉”但系统无法确定指的是哪个文件时直接执行会带来风险。高影响且有歧义的操作必须追问或确认。7. 让模型同时负责理解和所有业务判断模型不应该决定用户是否有权限删除文件也不应该决定账户余额是否足够。这些必须由业务系统判断。十八、从 Demo 到生产环境的实施路线第一阶段最小可用版本先支持少量核心工具create_document generate_image create_presentation normal_chat实现Tool Calling 或结构化 JSON基础参数提取Schema 校验约 30 条测试用例不要一开始就建立复杂的多 Agent 系统。第二阶段处理真实表达根据线上数据增加否定识别能力询问识别上下文引用多任务拆分合理的默认参数必要时追问此阶段重点是补充测试集而不是只修改提示词。第三阶段提升稳定性加入工具权限校验高风险操作确认执行超时和失败处理任务依赖关系识别结果日志错误案例回放自动化回归评测第四阶段优化成本和速度当请求量较大时可以采用分层路由固定命令直接处理简单请求使用小模型复杂请求使用大模型相同请求缓存结果只传递必要上下文优化应该基于真实调用数据而不是过早设计。十九、一个完整的决策流程可以把整个意图识别过程总结为以下流程1. 接收用户消息和必要上下文 2. 判断是否存在固定命令 3. 将自然语言转换成结构化任务 4. 识别一个或多个动作与对象 5. 提取主题、格式、页数等参数 6. 解析“它”“刚才那份”等上下文引用 7. 检查是否存在否定、条件或依赖关系 8. 判断是否缺少真正必要的信息 9. 使用 Schema 验证模型输出 10. 检查权限、参数和业务约束 11. 路由到对应工具 12. 记录结果并加入回归测试集其中最重要的不是模型能否说出一个漂亮的意图名称而是结构化任务能否安全、稳定地执行。二十、上线前检查清单在上线一个意图识别系统前可以逐项检查是否明确列出了系统支持的动作和对象不同工具之间的边界是否清晰是否区分“讨论能力”和“要求执行”是否支持一句话包含多个任务是否正确处理否定表达是否能够读取必要的对话上下文是否能解析“这个”“刚才那份”等引用是否只在必要时追问是否为非关键参数设置了默认值是否使用 JSON Schema 或 Tool Calling是否校验模型返回的所有参数是否由程序执行权限和安全检查是否准备了容易混淆的反例是否建立了固定测试集修改提示词后是否运行回归测试是否记录了误识别和误调用情况是否重点监控误执行率而不只是分类准确率如果这些问题都有明确答案意图识别系统通常已经具备较好的工程基础。总结做好意图识别不能只靠关键词也不能只靠不断完善提示词。一个可靠的意图识别系统应该包含清晰的任务边界合理的结构化 Schema Tool Calling 或结构化输出必要的上下文参数与权限校验多任务和否定处理测试集与持续评测提示词负责告诉模型如何理解用户语言Schema 负责约束输出格式程序负责验证业务规则测试集负责判断系统是否真的变得更准确。因此大模型时代意图识别的核心不再只是这句话属于哪个标签而是用户真正希望系统完成什么需要哪些参数应该调用哪些工具在什么条件下才能安全执行当系统能够稳定地回答这几个问题意图识别才算真正做好。

如何做好大模型时代的意图识别：从任务建模、提示词到工具调用与评测

相关推荐

三月七小助手：星穹铁道自动化助手解放你的游戏时间

LC电路设计原理与工程实践指南

Type-C接口无方向性设计原理与实现

更多资讯

一键开关机电源管理芯片选型四大核心维度

STM32新手如何高效找到可信参考方案

AUTOSAR诊断事件管理DEM：DTC从诞生到老化的一生

全志T527音频Bring-up：BSP调试与ASoC全链路排查指南

RK3576 I3C实战：从物理层到DTS配置的全栈解析

工业互联网平台架构设计与关键技术应用

今日更新

GUI自动化测试中的ScreenLayout：从硬编码坐标到声明式画面地图

LLC谐振变换器12V25A 300W开关电源设计与调试全攻略

ESP32多应用Flash数据隔离：分区表与NVS namespace实战

本周精选

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

基于DRV8818与STM32的双极步进电机驱动方案实战解析

DRV8818PWPR+PIC18F45K80双极步进电机控制方案实战

本月热门

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

基于DRV8818与STM32的双极步进电机驱动方案实战解析

DRV8818PWPR+PIC18F45K80双极步进电机控制方案实战

读完文章，想聊聊您的网站？