你有没有遇到过这种情况同一个大语言模型同一个问题你让它生成十次答案结果前三条看起来还行后面七条要么车轱辘话来回说要么质量断崖式下跌甚至开始胡言乱语你可能会怀疑是不是提示词写得不够好是不是模型本身能力不行或者干脆就是随机性太强不可控问题的根源可能比你想象的要更底层也更反直觉。最近一篇题为“Sampling More, Getting Less: Calibration Is the Diversity Bottleneck in LLMs”的研究就精准地戳中了这个痛点。它的核心观点非常直接我们通常认为通过调整采样温度Temperature或使用 Top-p 采样就能在“多样性”和“质量”之间做权衡。但研究发现对于许多现代大模型而言即使你拼命增加采样次数期望获得更多样、更丰富的输出最终得到的有效多样性也极其有限。真正的瓶颈不在于采样策略本身而在于模型内部的“校准”Calibration出了问题。简单来说模型对自己生成不同答案的“信心”分布是扭曲的。它可能对少数几个平庸但“安全”的答案过度自信而对那些真正新颖、有创意但概率稍低的答案严重低估。这就导致无论你怎么采样模型都像被一根无形的绳子拴着总是在那几个高置信度的选项附近打转跳不出那个狭窄的圈子。你以为你在“采样”实际上只是在重复抽取模型那可怜的“舒适区”里的东西。这不仅仅是学术上的一个发现。它直接关系到我们如何在实际中用好大模型无论是构建一个能持续产生创意的写作助手开发一个能给出多种解题思路的教育工具还是设计一个能探索不同策略的智能体Agent理解并突破这个“多样性瓶颈”都是让应用从“能用”走向“好用”的关键。1. 重新理解“采样”我们以为的随机其实是注定的重复在深入探讨“校准”这个瓶颈之前我们有必要先厘清一个基础但常被误解的概念当我们对大模型说“生成多个答案”时底层到底发生了什么1.1 从下一个词预测到序列生成大语言模型的核心工作是预测给定上下文后下一个词的概率分布。这个分布通常通过 Softmax 函数输出形成一个覆盖整个词表的概率向量。例如对于句子“天空是”模型可能会给“蓝色的”很高的概率比如0.7给“灰色的”中等概率0.2给“广阔的”较低概率0.05等等。当我们要求模型生成一个完整的句子或段落时就是不断地进行“基于当前已生成文本预测下一个词并依概率选择一个词”的循环。这个“依概率选择”的过程就是采样Sampling。1.2 常见的采样策略及其“人设”为了控制生成结果我们不会完全随机地按原始概率选词那会导致胡言乱语而是会引入一些策略贪心搜索Greedy Search每次都选择概率最高的那个词。这能保证局部最优但极易导致生成结果单一、重复、缺乏趣味。它就像一个极度保守、从不冒险的写手。束搜索Beam Search保留多个k个候选序列每一步都扩展这些序列只保留总体概率最高的 k 个。它比贪心搜索视野更广但在开放生成任务如创意写作中仍然容易陷入局部最优的“安全”表达。它像一个谨慎的团队总是在已知的最优路径附近探索。随机采样Random Sampling直接根据模型的原始概率分布随机选取下一个词。这理论上能产生最大多样性但实践中由于概率分布通常非常尖锐少数词概率极高直接随机采样很容易产生不连贯、无意义的文本。温度采样Temperature Sampling这是最常用的策略。通过一个温度参数 T 来调整概率分布的平滑程度。T 1使用原始概率分布。T 1提高温度使概率分布更平滑低概率词被选中的机会增加输出更随机、更多样。T 1降低温度使概率分布更尖锐模型更“自信”输出更确定、更保守。Top-k / Top-p (Nucleus) 采样这两种方法旨在动态截断概率分布。Top-k只从概率最高的 k 个词中采样。Top-p从累积概率达到 p 的最小词集合中采样。例如top-p0.9就是从前 N 个概率最高的词里选使得这 N 个词的概率和刚好超过 0.9。我们通常的认知是提高温度T或增大 top-p 值就能让模型“放飞自我”产生更多样化的输出。这构成了我们调整模型行为的核心逻辑。1.3 理想与现实的距离采样策略的“无力感”然而“Sampling More, Getting Less”这篇研究揭示了一个残酷的现实对于许多经过精心调优尤其是通过人类反馈强化学习 RLHF 或直接偏好优化 DPO的模型上述采样策略在提升输出语义多样性方面的效果远不如预期。你可以做一个简单的实验找一个你常用的对话或写作模型设置temperature0.8一个通常被认为能平衡质量和多样性的值让它以“如何提高工作效率”为主题生成10段不同的建议。你很可能会发现前3-4条建议可能还各有侧重如“制定计划”、“减少干扰”。但到第5条之后内容开始高度重复只是换了一些说法比如“规划你的日程”和“制定每日计划”本质相同。到第8-10条模型可能已经开始拼凑无关内容或陷入循环。问题来了你已经通过温度采样给了模型“探索”低概率区域的机会为什么它探索来探索去还是回到那几个老生常谈的点上是采样策略失效了吗不采样策略在“数学”上是有效的它确实在按照调整后的概率分布进行随机选择。问题的根源在于模型输出的那个“概率分布”本身可能已经是一个多样性贫瘠的“沙漠”。而这片沙漠的形成与“校准”紧密相关。2. 深入瓶颈核心什么是“校准”它为何扼杀了多样性“校准”是一个来自概率论和机器学习的术语。对于一个完美校准的模型当它预测某个事件有 70% 的概率发生时这个事件在现实中就应该有 70% 的频率发生。换句话说模型的“自信程度”应该与其“正确程度”相匹配。在大语言模型的语境下“校准”可以这样理解模型对其生成的每一个可能的下一个词或每一段可能的续写所赋予的概率是否真实反映了该词或该续写在人类看来“合理”、“优质”的可能性2.1 未经校准的概率分布多样性的天然土壤在模型训练的早期例如仅经过大规模预训练未经过 RLHF/DPO其概率分布可能是相对“平坦”或“多样”的。对于一个开放性问题模型可能会给成百上千种不同的、但都看似合理的续写方式分配可观的概率质量。这时采样策略能很好地发挥作用因为概率分布本身富含多样性。2.2 对齐Alignment过程的副作用概率分布的“塌缩”为了让模型输出更符合人类偏好更有帮助、更无害、更真实我们会对其进行对齐训练如 RLHF。这个过程的核心是奖励模型Reward Model它学习区分“好”回答和“坏”回答。在对齐过程中模型被训练去最大化其生成序列所获得的预期奖励。一个潜在的副作用是模型会学会将概率质量高度集中在那些能被奖励模型打高分的、模式化、安全、无争议的回答上。而那些虽然合理、有创意但可能稍微偏离主流、或带有一定不确定性的回答其概率会被严重压低。这就导致了“概率分布塌缩”少数派垄断少数几个“标准答案”占据了绝大部分概率质量例如总和超过 95%。长尾消失大量其他合理的可能性被挤压到概率极低的“长尾”区域。2.3 校准扭曲的具体表现这种塌缩造成了校准的扭曲过度自信于平庸答案模型对那几个“安全牌”答案的信心概率被不成比例地抬高了。在人类评估者看来这些答案可能只值60分但模型却认为它们有99%的合理性。低估创意答案一些真正新颖、有洞察力但需要稍微“冒险”的答案在人类看来可能有80分的价值但模型只给了它们0.1%甚至更低的概率。信心与质量脱钩模型的概率不再能可靠地反映回答的实际质量多样性、创意度、深度。高概率不等于高价值可能只是高安全性低概率不等于低价值可能只是未被充分奖励。在这种情况下无论你如何调整温度T或top-p你主要都是在那个被过度膨胀的“安全答案”概率区间内进行扰动。即使温度调到很高让那些概率极低如 10^-6的创意答案有了被选中的可能但由于它们数量庞大且概率极低在实际采样中模型更大概率会落入另一个无意义的、同样低概率的荒谬序列中而不是那个特定的、有价值的创意答案。这就是“Sampling More, Getting Less”的本质你增加了采样次数期望覆盖更多可能性但由于概率分布本身是扭曲和贫瘠的你得到的有效、高质量的多样性并没有同比增加反而可能因为抽到大量低质或无意义输出而“稀释”了整体质量。3. 从理论到实践如何诊断和缓解多样性瓶颈理解了瓶颈所在我们就可以采取更有针对性的策略而不是盲目地调高温度或采样次数。3.1 诊断你的模型是否陷入了“校准陷阱”你可以通过以下方法进行快速诊断重复生成测试选择一个开放性问题如“写一首关于秋天的诗的开头”、“列举AI的三种潜在风险”。固定参数采样在固定的、适中的采样参数下如temperature0.7, top-p0.9让模型生成 N 次例如 N20。人工或自动化评估去重后有效答案比例去除完全重复和语义高度相似仅同义词替换的回答后还剩多少独特的答案答案质量分布这些独特答案的质量是否参差不齐是否高质量的答案只集中在最初几次生成中语义空间覆盖这些答案是否都围绕极其相似的核心观点还是能覆盖问题不同维度的解读如果去重后有效答案比例很低例如20次生成只有3-4个真正不同的点子且高质量答案集中在前几次那么你的模型很可能正受限于校准带来的多样性瓶颈。3.2 缓解策略在现有模型上“挤”出更多多样性在不能重新训练模型的前提下我们可以尝试一些解码端或提示工程的技巧提示词工程引导模型跳出框架明确要求多样性在指令中加入“请给出尽可能多样化的观点”、“避免重复之前提到的思路”、“从社会、技术、伦理等不同角度思考”。设定角色或约束“假如你是一个科幻作家、一个经济学家和一个哲学家分别会怎么看待这个问题”使用对比或否定提示“除了常见的A方法和B方法还有什么不为人知但有效的方法”进阶采样技术典型采样Typical Sampling相比 top-p 关注概率值典型采样关注信息量熵。它倾向于选择那些“既不太常见概率低也不太罕见信息量爆炸”的词理论上能产生更自然、更多样的文本。一些推理库已支持此方法。Epsilon 采样直接截断概率低于某个极小值 epsilon 的词可以更激进地过滤掉模型过度自信的那些选项强迫它在其他选项中寻找出路。多采样 重排序Sampling and Reranking这是实践中非常有效的一招。既然单次采样容易被“安全答案”绑架那就 a. 用较高的温度如T1.2生成一大批候选答案例如50-100个。 b. 用一个独立的评估器可以是另一个更强大的模型一个奖励模型或一套规则对这些候选答案进行打分和排序。 c. 从排名靠前的答案中选取最终输出。 这种方法将“生成多样性”和“保证质量”的任务解耦用数量对抗概率分布的扭曲。系统层面的设计缓存与去重在需要连续生成多个答案的应用中如创意 brainstorming在系统层面维护一个已生成内容的缓存并在提示中隐式或显式地排除已出现过的观点迫使模型探索新方向。分阶段生成先让模型生成一些宽泛的“方向”或“主题”然后针对每个方向再深入生成具体内容。这比直接要求生成大量具体内容更容易获得多样性。3.3 一个实操对比不同策略下的输出差异假设我们的任务是“为一家新咖啡馆想三个有吸引力的名字。”基线Temperature0.7“星辰咖啡”“转角咖啡馆”“时光慢递” 后续生成开始出现“星空咖啡”、“街角咖啡”等变体策略A提示词强化Temperature0.7提示词改为“为一家新咖啡馆想三个有吸引力且风格迥异的名字分别体现科技感、复古风和自然主义。”输出可能变为“字节驿站”科技感“旧时光橱窗”复古风“苔痕小筑”自然主义 通过提示词强行分割了语义空间策略B多采样重排序Temperature1.2, 生成20个用GPT-4评估并选前3生成的候选池可能包含“量子咖啡”、“蒸汽朋克工坊”、“山野回声”、“代码港湾”、“泛黄书页”、“光合作用”、“沉默螺旋”……经过重排序最终输出可能选择最具差异化和吸引力的三个。显然策略B虽然消耗更多计算资源但更有可能突破模型固有的概率分布限制获得真正的多样性。4. 长期视角在模型训练中构建多样性如果我们有能力影响模型的训练过程那么可以从根源上思考如何培养一个“校准良好”且“多样性友好”的模型。4.1 反思对齐目标多样性是否被惩罚了标准的 RLHF 流程中奖励模型是从人类对“成对答案”的偏好中学习的。如果提供给标注员的对比答案中本身就缺乏多样性的样本或者标注员潜意识里更偏好安全、标准的答案那么奖励模型就会学会惩罚偏离常规的答案即使这些答案本身是合理且有创意的。改进方向在数据标注阶段主动纳入并鼓励对多样、新颖但正确的答案的偏好。设计多样性感知的奖励模型在奖励函数中显式地加入对重复或相似输出的惩罚项或者对探索新语义的行为给予奖励。4.2 探索新的训练范式对比式学习Contrastive Learning训练模型不仅要将正样本与负样本分开还要将不同的正样本彼此分开鼓励其在隐空间中的表征具有多样性。分布匹配Distribution Matching不单单匹配“最佳答案”的分布而是尝试让模型生成的答案分布与人类可能产生的全部合理答案的分布相匹配。这比单一的“最佳”目标要宽松也更有利于多样性。强化学习中的探索激励在 RL 框架中引入内在激励Intrinsic Motivation对模型生成前所未有在训练数据或之前生成中未出现的、但又能获得高外部奖励的序列给予额外奖励。4.3 校准后处理Post-hoc Calibration在模型训练完成后可以对其输出的 logits未归一化的概率进行校准调整。例如使用温度缩放Temperature Scaling或平台缩放Platt Scaling等技术在保留模型排序能力哪个答案更好的同时让它的概率值变得“更诚实”。不过这种方法对于提升生成式任务的语义多样性效果有限它更适用于分类任务置信度的校准。5. 对开发者和研究者的启示超越调参的思维“校准是多样性瓶颈”这一观点给我们带来的最大启示是不能将“生成多样性”简单地视为一个解码超参数优化问题。从“调参师”到“诊断师”当模型输出不够多样时第一反应不应只是提高temperature。而应思考是提示词限制了空间是模型本身多样性不足还是评估方式有问题本文提供的诊断方法是一个起点。重视提示词的设计提示词是塑造模型概率分布最直接、最廉价的手段。精心设计的提示词可以像一把钥匙打开模型内部那些被压抑的、多样化的可能性区域。将“重排序”纳入生产流程对于追求高质量多样性的应用如创意生成、策略规划“高多样性采样 - 强判别器重排序”的流水线设计往往比单纯优化单一模型的一次生成更可靠、更有效。这符合“先生成后选择”的进化逻辑。在评估中纳入多样性指标不要只用单个答案的质量来评估模型或系统。在评估集中应包含需要多答案、多视角的问题并使用基于嵌入向量的语义相似度、基于 n-gram 的重复率等指标系统性地评估输出多样性。理解模型的“性格”不同的模型由于其训练数据、对齐方式的不同具有不同的“多样性基线”。有些模型天生保守有些则相对开放。了解你所用模型的这一特性有助于设置合理的期望和策略。最终我们面对的不是一个冰冷的概率生成器而是一个被人类数据和偏好所塑造的、具有复杂内在概率景观的智能体。它的“保守”或“创新”很大程度上是我们在训练中赋予它的。突破多样性的瓶颈既需要我们在使用模型时更加巧妙也需要我们在构建模型时为“可能性”本身保留更多的空间和尊重。这不仅是技术问题也关乎我们究竟希望人工智能以一种怎样的方式参与到人类的创造与思考之中。
你有没有遇到过这种情况同一个大语言模型同一个问题你让它生成十次答案结果前三条看起来还行后面七条要么车轱辘话来回说要么质量断崖式下跌甚至开始胡言乱语你可能会怀疑是不是提示词写得不够好是不是模型本身能力不行或者干脆就是随机性太强不可控问题的根源可能比你想象的要更底层也更反直觉。最近一篇题为“Sampling More, Getting Less: Calibration Is the Diversity Bottleneck in LLMs”的研究就精准地戳中了这个痛点。它的核心观点非常直接我们通常认为通过调整采样温度Temperature或使用 Top-p 采样就能在“多样性”和“质量”之间做权衡。但研究发现对于许多现代大模型而言即使你拼命增加采样次数期望获得更多样、更丰富的输出最终得到的有效多样性也极其有限。真正的瓶颈不在于采样策略本身而在于模型内部的“校准”Calibration出了问题。简单来说模型对自己生成不同答案的“信心”分布是扭曲的。它可能对少数几个平庸但“安全”的答案过度自信而对那些真正新颖、有创意但概率稍低的答案严重低估。这就导致无论你怎么采样模型都像被一根无形的绳子拴着总是在那几个高置信度的选项附近打转跳不出那个狭窄的圈子。你以为你在“采样”实际上只是在重复抽取模型那可怜的“舒适区”里的东西。这不仅仅是学术上的一个发现。它直接关系到我们如何在实际中用好大模型无论是构建一个能持续产生创意的写作助手开发一个能给出多种解题思路的教育工具还是设计一个能探索不同策略的智能体Agent理解并突破这个“多样性瓶颈”都是让应用从“能用”走向“好用”的关键。1. 重新理解“采样”我们以为的随机其实是注定的重复在深入探讨“校准”这个瓶颈之前我们有必要先厘清一个基础但常被误解的概念当我们对大模型说“生成多个答案”时底层到底发生了什么1.1 从下一个词预测到序列生成大语言模型的核心工作是预测给定上下文后下一个词的概率分布。这个分布通常通过 Softmax 函数输出形成一个覆盖整个词表的概率向量。例如对于句子“天空是”模型可能会给“蓝色的”很高的概率比如0.7给“灰色的”中等概率0.2给“广阔的”较低概率0.05等等。当我们要求模型生成一个完整的句子或段落时就是不断地进行“基于当前已生成文本预测下一个词并依概率选择一个词”的循环。这个“依概率选择”的过程就是采样Sampling。1.2 常见的采样策略及其“人设”为了控制生成结果我们不会完全随机地按原始概率选词那会导致胡言乱语而是会引入一些策略贪心搜索Greedy Search每次都选择概率最高的那个词。这能保证局部最优但极易导致生成结果单一、重复、缺乏趣味。它就像一个极度保守、从不冒险的写手。束搜索Beam Search保留多个k个候选序列每一步都扩展这些序列只保留总体概率最高的 k 个。它比贪心搜索视野更广但在开放生成任务如创意写作中仍然容易陷入局部最优的“安全”表达。它像一个谨慎的团队总是在已知的最优路径附近探索。随机采样Random Sampling直接根据模型的原始概率分布随机选取下一个词。这理论上能产生最大多样性但实践中由于概率分布通常非常尖锐少数词概率极高直接随机采样很容易产生不连贯、无意义的文本。温度采样Temperature Sampling这是最常用的策略。通过一个温度参数 T 来调整概率分布的平滑程度。T 1使用原始概率分布。T 1提高温度使概率分布更平滑低概率词被选中的机会增加输出更随机、更多样。T 1降低温度使概率分布更尖锐模型更“自信”输出更确定、更保守。Top-k / Top-p (Nucleus) 采样这两种方法旨在动态截断概率分布。Top-k只从概率最高的 k 个词中采样。Top-p从累积概率达到 p 的最小词集合中采样。例如top-p0.9就是从前 N 个概率最高的词里选使得这 N 个词的概率和刚好超过 0.9。我们通常的认知是提高温度T或增大 top-p 值就能让模型“放飞自我”产生更多样化的输出。这构成了我们调整模型行为的核心逻辑。1.3 理想与现实的距离采样策略的“无力感”然而“Sampling More, Getting Less”这篇研究揭示了一个残酷的现实对于许多经过精心调优尤其是通过人类反馈强化学习 RLHF 或直接偏好优化 DPO的模型上述采样策略在提升输出语义多样性方面的效果远不如预期。你可以做一个简单的实验找一个你常用的对话或写作模型设置temperature0.8一个通常被认为能平衡质量和多样性的值让它以“如何提高工作效率”为主题生成10段不同的建议。你很可能会发现前3-4条建议可能还各有侧重如“制定计划”、“减少干扰”。但到第5条之后内容开始高度重复只是换了一些说法比如“规划你的日程”和“制定每日计划”本质相同。到第8-10条模型可能已经开始拼凑无关内容或陷入循环。问题来了你已经通过温度采样给了模型“探索”低概率区域的机会为什么它探索来探索去还是回到那几个老生常谈的点上是采样策略失效了吗不采样策略在“数学”上是有效的它确实在按照调整后的概率分布进行随机选择。问题的根源在于模型输出的那个“概率分布”本身可能已经是一个多样性贫瘠的“沙漠”。而这片沙漠的形成与“校准”紧密相关。2. 深入瓶颈核心什么是“校准”它为何扼杀了多样性“校准”是一个来自概率论和机器学习的术语。对于一个完美校准的模型当它预测某个事件有 70% 的概率发生时这个事件在现实中就应该有 70% 的频率发生。换句话说模型的“自信程度”应该与其“正确程度”相匹配。在大语言模型的语境下“校准”可以这样理解模型对其生成的每一个可能的下一个词或每一段可能的续写所赋予的概率是否真实反映了该词或该续写在人类看来“合理”、“优质”的可能性2.1 未经校准的概率分布多样性的天然土壤在模型训练的早期例如仅经过大规模预训练未经过 RLHF/DPO其概率分布可能是相对“平坦”或“多样”的。对于一个开放性问题模型可能会给成百上千种不同的、但都看似合理的续写方式分配可观的概率质量。这时采样策略能很好地发挥作用因为概率分布本身富含多样性。2.2 对齐Alignment过程的副作用概率分布的“塌缩”为了让模型输出更符合人类偏好更有帮助、更无害、更真实我们会对其进行对齐训练如 RLHF。这个过程的核心是奖励模型Reward Model它学习区分“好”回答和“坏”回答。在对齐过程中模型被训练去最大化其生成序列所获得的预期奖励。一个潜在的副作用是模型会学会将概率质量高度集中在那些能被奖励模型打高分的、模式化、安全、无争议的回答上。而那些虽然合理、有创意但可能稍微偏离主流、或带有一定不确定性的回答其概率会被严重压低。这就导致了“概率分布塌缩”少数派垄断少数几个“标准答案”占据了绝大部分概率质量例如总和超过 95%。长尾消失大量其他合理的可能性被挤压到概率极低的“长尾”区域。2.3 校准扭曲的具体表现这种塌缩造成了校准的扭曲过度自信于平庸答案模型对那几个“安全牌”答案的信心概率被不成比例地抬高了。在人类评估者看来这些答案可能只值60分但模型却认为它们有99%的合理性。低估创意答案一些真正新颖、有洞察力但需要稍微“冒险”的答案在人类看来可能有80分的价值但模型只给了它们0.1%甚至更低的概率。信心与质量脱钩模型的概率不再能可靠地反映回答的实际质量多样性、创意度、深度。高概率不等于高价值可能只是高安全性低概率不等于低价值可能只是未被充分奖励。在这种情况下无论你如何调整温度T或top-p你主要都是在那个被过度膨胀的“安全答案”概率区间内进行扰动。即使温度调到很高让那些概率极低如 10^-6的创意答案有了被选中的可能但由于它们数量庞大且概率极低在实际采样中模型更大概率会落入另一个无意义的、同样低概率的荒谬序列中而不是那个特定的、有价值的创意答案。这就是“Sampling More, Getting Less”的本质你增加了采样次数期望覆盖更多可能性但由于概率分布本身是扭曲和贫瘠的你得到的有效、高质量的多样性并没有同比增加反而可能因为抽到大量低质或无意义输出而“稀释”了整体质量。3. 从理论到实践如何诊断和缓解多样性瓶颈理解了瓶颈所在我们就可以采取更有针对性的策略而不是盲目地调高温度或采样次数。3.1 诊断你的模型是否陷入了“校准陷阱”你可以通过以下方法进行快速诊断重复生成测试选择一个开放性问题如“写一首关于秋天的诗的开头”、“列举AI的三种潜在风险”。固定参数采样在固定的、适中的采样参数下如temperature0.7, top-p0.9让模型生成 N 次例如 N20。人工或自动化评估去重后有效答案比例去除完全重复和语义高度相似仅同义词替换的回答后还剩多少独特的答案答案质量分布这些独特答案的质量是否参差不齐是否高质量的答案只集中在最初几次生成中语义空间覆盖这些答案是否都围绕极其相似的核心观点还是能覆盖问题不同维度的解读如果去重后有效答案比例很低例如20次生成只有3-4个真正不同的点子且高质量答案集中在前几次那么你的模型很可能正受限于校准带来的多样性瓶颈。3.2 缓解策略在现有模型上“挤”出更多多样性在不能重新训练模型的前提下我们可以尝试一些解码端或提示工程的技巧提示词工程引导模型跳出框架明确要求多样性在指令中加入“请给出尽可能多样化的观点”、“避免重复之前提到的思路”、“从社会、技术、伦理等不同角度思考”。设定角色或约束“假如你是一个科幻作家、一个经济学家和一个哲学家分别会怎么看待这个问题”使用对比或否定提示“除了常见的A方法和B方法还有什么不为人知但有效的方法”进阶采样技术典型采样Typical Sampling相比 top-p 关注概率值典型采样关注信息量熵。它倾向于选择那些“既不太常见概率低也不太罕见信息量爆炸”的词理论上能产生更自然、更多样的文本。一些推理库已支持此方法。Epsilon 采样直接截断概率低于某个极小值 epsilon 的词可以更激进地过滤掉模型过度自信的那些选项强迫它在其他选项中寻找出路。多采样 重排序Sampling and Reranking这是实践中非常有效的一招。既然单次采样容易被“安全答案”绑架那就 a. 用较高的温度如T1.2生成一大批候选答案例如50-100个。 b. 用一个独立的评估器可以是另一个更强大的模型一个奖励模型或一套规则对这些候选答案进行打分和排序。 c. 从排名靠前的答案中选取最终输出。 这种方法将“生成多样性”和“保证质量”的任务解耦用数量对抗概率分布的扭曲。系统层面的设计缓存与去重在需要连续生成多个答案的应用中如创意 brainstorming在系统层面维护一个已生成内容的缓存并在提示中隐式或显式地排除已出现过的观点迫使模型探索新方向。分阶段生成先让模型生成一些宽泛的“方向”或“主题”然后针对每个方向再深入生成具体内容。这比直接要求生成大量具体内容更容易获得多样性。3.3 一个实操对比不同策略下的输出差异假设我们的任务是“为一家新咖啡馆想三个有吸引力的名字。”基线Temperature0.7“星辰咖啡”“转角咖啡馆”“时光慢递” 后续生成开始出现“星空咖啡”、“街角咖啡”等变体策略A提示词强化Temperature0.7提示词改为“为一家新咖啡馆想三个有吸引力且风格迥异的名字分别体现科技感、复古风和自然主义。”输出可能变为“字节驿站”科技感“旧时光橱窗”复古风“苔痕小筑”自然主义 通过提示词强行分割了语义空间策略B多采样重排序Temperature1.2, 生成20个用GPT-4评估并选前3生成的候选池可能包含“量子咖啡”、“蒸汽朋克工坊”、“山野回声”、“代码港湾”、“泛黄书页”、“光合作用”、“沉默螺旋”……经过重排序最终输出可能选择最具差异化和吸引力的三个。显然策略B虽然消耗更多计算资源但更有可能突破模型固有的概率分布限制获得真正的多样性。4. 长期视角在模型训练中构建多样性如果我们有能力影响模型的训练过程那么可以从根源上思考如何培养一个“校准良好”且“多样性友好”的模型。4.1 反思对齐目标多样性是否被惩罚了标准的 RLHF 流程中奖励模型是从人类对“成对答案”的偏好中学习的。如果提供给标注员的对比答案中本身就缺乏多样性的样本或者标注员潜意识里更偏好安全、标准的答案那么奖励模型就会学会惩罚偏离常规的答案即使这些答案本身是合理且有创意的。改进方向在数据标注阶段主动纳入并鼓励对多样、新颖但正确的答案的偏好。设计多样性感知的奖励模型在奖励函数中显式地加入对重复或相似输出的惩罚项或者对探索新语义的行为给予奖励。4.2 探索新的训练范式对比式学习Contrastive Learning训练模型不仅要将正样本与负样本分开还要将不同的正样本彼此分开鼓励其在隐空间中的表征具有多样性。分布匹配Distribution Matching不单单匹配“最佳答案”的分布而是尝试让模型生成的答案分布与人类可能产生的全部合理答案的分布相匹配。这比单一的“最佳”目标要宽松也更有利于多样性。强化学习中的探索激励在 RL 框架中引入内在激励Intrinsic Motivation对模型生成前所未有在训练数据或之前生成中未出现的、但又能获得高外部奖励的序列给予额外奖励。4.3 校准后处理Post-hoc Calibration在模型训练完成后可以对其输出的 logits未归一化的概率进行校准调整。例如使用温度缩放Temperature Scaling或平台缩放Platt Scaling等技术在保留模型排序能力哪个答案更好的同时让它的概率值变得“更诚实”。不过这种方法对于提升生成式任务的语义多样性效果有限它更适用于分类任务置信度的校准。5. 对开发者和研究者的启示超越调参的思维“校准是多样性瓶颈”这一观点给我们带来的最大启示是不能将“生成多样性”简单地视为一个解码超参数优化问题。从“调参师”到“诊断师”当模型输出不够多样时第一反应不应只是提高temperature。而应思考是提示词限制了空间是模型本身多样性不足还是评估方式有问题本文提供的诊断方法是一个起点。重视提示词的设计提示词是塑造模型概率分布最直接、最廉价的手段。精心设计的提示词可以像一把钥匙打开模型内部那些被压抑的、多样化的可能性区域。将“重排序”纳入生产流程对于追求高质量多样性的应用如创意生成、策略规划“高多样性采样 - 强判别器重排序”的流水线设计往往比单纯优化单一模型的一次生成更可靠、更有效。这符合“先生成后选择”的进化逻辑。在评估中纳入多样性指标不要只用单个答案的质量来评估模型或系统。在评估集中应包含需要多答案、多视角的问题并使用基于嵌入向量的语义相似度、基于 n-gram 的重复率等指标系统性地评估输出多样性。理解模型的“性格”不同的模型由于其训练数据、对齐方式的不同具有不同的“多样性基线”。有些模型天生保守有些则相对开放。了解你所用模型的这一特性有助于设置合理的期望和策略。最终我们面对的不是一个冰冷的概率生成器而是一个被人类数据和偏好所塑造的、具有复杂内在概率景观的智能体。它的“保守”或“创新”很大程度上是我们在训练中赋予它的。突破多样性的瓶颈既需要我们在使用模型时更加巧妙也需要我们在构建模型时为“可能性”本身保留更多的空间和尊重。这不仅是技术问题也关乎我们究竟希望人工智能以一种怎样的方式参与到人类的创造与思考之中。
)
