尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
解密prompt系列26. 人类思考vs模型思考:抽象和发散思维
前言在Chain of Thought出来后出现过许多的优化方案例如Tree of thought, Graph of Thought, Algorithm of Thought等等不过这些优化的出发点都更加Machine Like,而非Human Like, 哈哈不是说机器化不好仅仅是对AGI的一些个人偏好而已。所以如果我们从人类思考的角度出发能否把当前模型的思考方式和人类的思考方式进行关联呢我先问了下PPLX-70B人类思维有哪些分类这个问题RAG真的不如模型压缩后回答的效果我们再把之前已经聊过的一些引导模型推理思考的prompt模板以及工具调用的一些prompt方案和上面的人类思维逻辑进行下不完全的类比Prompt策略类比人类思维Chain of Thought逻辑思维中的演绎推理Few Shot Prompt类比思维SELF-REFINERelfection自省思维ReActSelfAsk后续性思维线性思维情感思维哈哈夸夸模型会更好和上面的人类思维模式相比似乎还少了抽象思维和发散思维这一章我们就聊聊这两种思考方式如何通过prompt来引导。抽象思维 Step Back PromptTake a Step Back: Evoking Reasoning via Abstraction in Large Language ModelsLARGE LANGUAGE MODELS CAN LEARN RULESDeepMind提出的新Prompt方式在思维链之前加了一步抽象后退一步思考。通过把原始问题抽象成更高层次的概括性、概念性问题降低原始问题中的细节对推理的影响如下在RAG场景里这类prompt策略很适合解决用户query过于细节导致召回效果不佳的问题。用户在大模型场景的提问往往比在搜索框中的提问更加具体包含更多条件和细节举个例子query “哪些国家在经济陷入低谷时因为通货膨胀严重而不得不加息“如果直接对以上query进行改写Decompose拆分会发现都无法召回有效的内容因为问题本身粒度已经太细了这时不需要进一步拆分相反需要更高层次的总结和抽象。我们只需要把问题修改成“哪些国家发生过被动加息”这类更高层次的抽象概念召回效果立刻起飞。StepBack推理和COT推理相同都是通过few-shot prompt来引导模型进行后退思考。论文对三个不同领域的任务进行了评估分别是STEM领域的推理任务知识密集的QA任务和multi-hop推理任务。其中前者和后两者的prompt模板存在差异前者是让模型先抽象理论概念后两者是更通用的提出stepback问题个人感觉是归纳推理从特殊到一般的推理抽象过程在不同领域的差异性STEM推理的few-shot prompt模板如下知识密集的QA任务和multi-hop推理任务都是使用的以下few-shot prompt模板测试下了step back prompt中few-shot才是核心因为在不同领域中归纳推理的思维是不同的有需要对概念进行抽象有需要对不同时间实体进行抽象有需要对条件进行放宽以下是论文中在QA场景使用的一些few-shot案例效果上在PaML-2的模型上进行试验各个任务上step-back都能相比COT有进一步的显著提升在多数任务上stepback RAG都能超越GPT-4的效果。并且prompt效果和few-shot的个数无关1-shot的效果就很好。不过在我们的场景中测试论文中提到的几个stepback的问题其实一定程度上被放大了导致当前看效果比较一般主要有以下几个问题Context Loss在抽象问题的过程中模型丢掉了核心的条件导致问题丢失了核心信息后面的RAG也随之错误Abstraction Error: 在垂直领域模型的归纳推理效果有限往往在第一步定位principle、concept就存在错误TimingStep Back Prompt和Decompose其实是相对对立的关系各自适合解决一部分问题在RAG场景中Decompose更适合粗粒度QueryStep Back适合细粒度Query但想让模型自己决策不同的思考方式难度有点高哦另一篇论文Large Language Models can Learn Rule思路也有些类似也是先归纳推理再演绎推理通过把抽象出的通用知识注入prompt用来帮助下游推理。这里就不细说了发散思维Diversity of ThoughtDiversity of Thought Improves Reasoning Abilities of Large Language Models发散思维简单说就是“一题多解““一物多用”, 其实在Self-Consistency这类Ensemble方案中就出现过。Self-Consistency通过让模型随机生成多个推理从中Major Vote出概率最高的答案更像是发散思维的对立收敛思维重心放在从四面八方的各种尝试中抽象问题的核心。Self-Consistency的重心放在收敛而Diversity of Thought的重心放在发散。这里论文提出了两个可以发散模型思维的prompt方式Approaches以XX方式思考例如数学问题可以让模型直接计算化简计算可视化逆推等等Persona像谁谁一样思考例如金融问题可以像Buffett一样思考数学问题像Turing一样思考其实每个名人背后也是相关思维思维方式的一种抽象例如沃伦巴菲特代表是价值投资。莫名出现了拘灵遣将的即视感…基于以上的多个发散维度论文给出了两种prompt构建的方案多个approach拼成一个one-shot让模型推理一次给出多个不同的结果1个approach作为one-shot让模型推理多次分别对应以下两种prompt那如何得到上面的这些approach呢这里论文也采用了大模型自动构建的方案在某一类问题中随机采样query使用以下prompt让模型生成回答该问题可以使用的方案最后每个领域选择出现频率最大的TopN个Approach用来构建prompt。挖掘approach的prompt如下效果上使用发散思维和COT进行配合在GSM8KAQUA等推理任务CommenseQA等常识任务和BlocksWorld等规划任务上均有显著提升。并且和Self-Consistency的结论相似以上发散思维的Ensemble数量更多效果越好。整体上以上的两种思维逻辑都还相对初步对比已经比较成熟的演绎推理的COT还有再进一步探索的空间以及如何在不同场景下让模型选择不同的思维模式进行思考并最终收敛到正确的结果也值得再进行尝试。最后感谢你们的阅读和喜欢我收藏了很多技术干货可以共享给喜欢我文章的朋友们如果你肯花时间沉下心去学习它们一定能帮到你。因为这个行业不同于其他行业知识体系实在是过于庞大知识更新也非常快。作为一个普通人无法全部学完所以我们在提升技术的时候首先需要明确一个目标然后制定好完整的计划同时找到好的学习方法这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】一、全套AGI大模型学习路线AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能二、640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。三、AI大模型经典PDF籍随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。四、AI大模型商业化落地方案五、面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
RELATED

相关推荐

Physical AI经验工程:构建机器人全链路数据基建的实践指南

Physical AI经验工程:构建机器人全链路数据基建的实践指南

之前在机器人项目里做数据闭环时,最头疼的不是模型训练,而是“经验”本身很难被采集、标注、回放和复用。同一个搬运动作,老师傅做出来是丝滑的,模型学出来却是抖动的;同样的导航策略,仿真环境里跑得很好&a…

📅 2026/11/15 1:40:57
传感器制造里,灌胶这步比想象中更要命

传感器制造里,灌胶这步比想象中更要命

一、传感器制造里,灌胶这步比想象中更要命 做汽车传感器、压力传感器、流量传感器、PCBA保护灌封这一行的朋友都清楚——灌胶质量直接决定产品的寿命和密封等级。 我们最近为客户复盘过几起典型不良: 漏胶(少胶):胶水没…

📅 2026/10/16 16:40:52
数字压力传感器如何提升设计灵活性:接口、封装与选型指南

数字压力传感器如何提升设计灵活性:接口、封装与选型指南

1. 从模拟到数字:压力传感器这颗料到底帮工程师省了什么做嵌入式硬件这些年,我对传感器选型最大的感触是:一颗料的选择,往往不只是封装和 pin 脚的替换,而是整个设计思路的变化。标题里这句"Digital Pressure Sen…

📅 2026/10/17 12:35:15
MORE NEWS

更多资讯

📰

郑州考电工证考试地点官方回应:怕考不过白交培训费?这几点必须知道

郑州考电工证考试地点官方回应:怕考不过白交培训费?这几点必须知道 怕考不过白交培训费?这是很多准备在郑州考电工证的人的真实想法,尤其是新乡市政公用工程从业者,他们深知电工证对从事电力作业的重要性。而最近, 官方回应…

📰

江苏电工证有用吗怎么报名才不走弯路

江苏电工证有用吗怎么报名才不走弯路 证书过期了不知道怎么复审延期?这事儿可真让人头疼。尤其是像新乡这样的中小型施工企业,电工证一旦过期,不仅影响项目进度,还可能被主管部门通报甚至处罚。今天就从 江苏电工证有用吗…

📰

郑州报考避坑指南:劳动安全电工证怎么转?外省证还能用吗?

郑州报考避坑指南:劳动安全电工证怎么转?外省证还能用吗? 之前考的证在外省能不能转过来?这可能是不少南阳市政公用工程从业者的心头病。尤其是在郑州这类大城市,岗位竞争激烈,证照的 有效性 、 适用性 、 转接流程…

📰

高压电工证个人怎么考上岗必备避坑指南

高压电工证个人怎么考上岗必备避坑指南 你是不是也遇到过这种情况?明明想考个高压电工证,结果一打听,各种报名渠道让人眼花缭乱,怕被中介骗钱,又怕流程复杂,耽误时间。别急,这篇文章就是为你准备的, 高压电工证个人怎么考…

📰

浙江电工证培训视频怎么学?工地太忙根本没时间复习考试

浙江电工证培训视频怎么学?工地太忙根本没时间复习考试 工地太忙根本没时间复习考试,这几乎是每个在一线施工的电工心里的真实写照。尤其是那些需要考取 浙江电工证培训视频…

📰

西安高压电工证刷题保姆级教程:外省证能转吗?实操全解析

西安高压电工证刷题保姆级教程:外省证能转吗?实操全解析 之前考的证在外省能不能转过来?这是很多西安电工朋友的共同疑问,尤其是在高压电工证这种实操性极强的证书上,很多人都担心外地证书在西安不被认可。其实,只要符合相关规定,外省证完全可以转入本…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬