尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
自然语言处理NLP - 第10章 预训练模型与大语言模型怎样学会语言
10.1 预训练从大量数据学习通用表示预训练先用较大规模数据学习语言统计结构和可迁移表示再服务于具体任务。自监督学习的监督信号可以从原始数据构造例如遮住一个词要求恢复或者用前面的Token预测下一个Token因此不需要每条样本都由人工写标签。“无人工逐条标注”不意味着数据没有成本也不意味着数据天然可靠。采集、去重、过滤、授权、隐私保护和质量控制仍然十分重要。训练目标中的规律与现实事实之间也可能存在差异。10.2 BERT与掩码语言建模BERT通过掩码语言建模学习利用左右上下文的表示并在原始预训练方案中包含下一句预测任务。它可以在下游任务上微调应用于分类、问答和其他理解类任务。[S3]对初学者而言关键区别不是记住所有预训练细节而是理解有些模型擅长为完整输入生成表示有些模型擅长根据已有前缀逐步生成文本。选择时应看任务、训练目标和已验证能力而不是只看参数量。10.3 自回归语言建模给定序列x1到xT其联合概率可分解为各位置条件概率的乘积P(x1…xT)∏P(xtx1…x(t-1))。训练时让模型给真实下一个Token更高概率通常以各位置负对数概率之和或平均作为损失。例如前缀“电梯需要”后模型可能给“维修”“保养”“检查”等不同续写分配概率。它不是先在内部确定一篇完整文章再把文章打印出来而是在已有上下文约束下逐步生成。10.4 基础模型、指令微调和偏好优化基础模型主要学习续写分布监督指令微调SFT使用指令与回答示例让模型更习惯按要求作答。偏好优化进一步利用好坏回答的比较信号调整输出倾向。RLHF和DPO属于不同的对齐方法不能简单视为同一个算法。对齐目标通常包含有用性、风格和安全等维度但不能保证事实永远正确。模型可能变得更愿意遵循格式也可能在某些任务上出现新的偏差。因此每个训练阶段之后都需要独立评价。10.5 参数量、训练量和模型能力“4B”通常表示约40亿参数不是40亿条可逐条查找的知识。参数是网络中的数字知识和能力以分布式方式体现在这些参数以及计算过程中。更大的模型可能更强但训练数据、目标、架构、推理配置和任务匹配同样重要。参数量也不等于上下文长度。一个模型可以参数较少但支持较长输入也可以参数较大但运行时窗口较小。长上下文能否有效利用还要通过长文问答、跨段证据等任务检验。10.6 大模型为什么会出现幻觉语言建模鼓励生成符合上下文的Token不直接保证每个句子都有现实证据。问题信息不足、训练知识过时、检索失败或提示词诱导都可能导致模型生成貌似合理但不真实的内容。降低随机性可以减少部分波动却不能把错误知识变成正确知识。让模型“认真检查”也不能代替外部证据。工程上应采用可靠数据源、引用校验、结构约束、拒答与人工复核等组合措施。10.7 模型会不会从聊天里自动学习多数常见推理系统不会因为一段对话就自动更新模型权重。当前消息可能影响后续上下文应用可能把摘要写入数据库服务方也可能有另行约定的数据使用流程但这些都不是同一件事。“放入文件夹”“加入知识库”“加入当前上下文”“微调权重”是四个不同动作。要判断系统是否真正使用某份资料需要检查读取、解析、索引和检索链路而不是只看文件是否存在。10.8 本章检查点如果希望助手知道今天更新的报修制度优先维护可检索的权威资料而不是期待它自动记住硬盘上的文件。若希望它稳定采用特定输出风格再考虑指令示例或微调。
RELATED

相关推荐

带量子验证的自主蜂群操作系统:AlparAI 技术拆解与部署实践

带量子验证的自主蜂群操作系统:AlparAI 技术拆解与部署实践

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📅 2026/10/23 10:59:39
GPT-5.6 Luna免费无限使用是真的吗?ChatGPT Plus订阅方案与避坑指南

GPT-5.6 Luna免费无限使用是真的吗?ChatGPT Plus订阅方案与避坑指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📅 2026/10/10 22:17:53
做充电拉新?认准拓推客,轻松实现轻资产创业

做充电拉新?认准拓推客,轻松实现轻资产创业

在这个共享经济高度普及、新能源汽车与两轮出行爆发的时代,充电桩市场早已不是新鲜事,但如何真正抓住红利分一杯羹,才是普通人与创业者最关心的核心。解悠充电作为行业内备受瞩目的创新品牌,正在以独特的商业逻辑重塑终端布局。而想要在解悠充电的项目中快速起步、放大收益,认准…

📅 2026/10/25 20:17:23
MORE NEWS

更多资讯

📰

利川市电工证办理值不值得考?外省证怎么转过来

利川市电工证办理值不值得考?外省证怎么转过来 之前考的证在外省能不能转过来?这是很多人在考虑要不要考电工证时最关心的问题。其实,答案是肯定的,只要符合条件,外省电工证是可以转到利川市使用的。但关键问题来了—— 值不值得考…

📰

电工证挂牌规定在哪考?别怕考不过白交培训费

电工证挂牌规定在哪考?别怕考不过白交培训费 怕考不过白交培训费?电工证挂牌规定在哪考,这个问题很多想考证的小伙伴都问过。别急,下面我就把整个流程、材料、注意事项讲清楚,让你少走弯路,一次性通过。 电工证挂牌规定是啥?…

📰

特种作业证指挥考试题网上查询之前考的证在外省能不能转过来

特种作业证指挥考试题网上查询之前考的证在外省能不能转过来 之前考的证在外省能不能转过来?这是很多特种作业人员在换城市、换岗位,甚至换行业时最头疼的问题。特别是像我们这些在 鹤壁水利工程…

📰

铁厂煤气证作业考试值不值得考?别再被中介坑了,全流程干货来了

铁厂煤气证作业考试值不值得考?别再被中介坑了,全流程干货来了 不知道去哪报名怕被中介坑?铁厂煤气证作业考试值不值得考?这些问题可能是你正在经历的。作为开封一家中小施工企业的负责人,我深知在办理这类证书时,信息不对称和操作流程不透明带来的困扰…

📰

低压电工证考试接触器在哪考?怕考不过白交培训费的看过来

低压电工证考试接触器在哪考?怕考不过白交培训费的看过来 你是不是也遇到过这种情况:花了大把钱报了低压电工证考试接触器培训,结果一上考场就懵,最后钱花了、证没拿到,还得重头再来?别急,今天咱们就聊聊怎么避开这些坑,顺便告诉你…

📰

南京怎么报考电工证 高学历不是门槛 含金量才是关键

南京怎么报考电工证 高学历不是门槛 含金量才是关键 学历不高怕报不上名?这事儿我懂,我认识的不少施工队老大哥,高中毕业就出来打工,干了十几年电工,现在想考证,一听说要学历门槛,立马打退堂鼓。但你知道吗? 南京怎么报考电工证…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬