第三视角视频的Scaling Law：Light-O1项目实证-北京尧图网络

最近大半年我们团队一直在埋头做一件事把第三视角视频当成主要训练资产用来教模型完成真实任务。听起来不算新鲜但真正动手之后才发现这里面的水比想象中深得多。这个项目我们命名为 Light-O1核心目标只有一个搞清楚第三视角视频的规模法则也就是我们常说的 scaling law到底存不存在、长什么样、能在多大程度上替代第一视角的精准标注。如果第三视角数据也具备明确的幂律关系那么数据工程就不再是玄学而是可以提前预算、逐步投入的确定性过程。这篇文章就是阶段性的技术报告我把方法设计、实验结论和踩过的坑都摊开讲清楚给同样在做多模态智能体、行为策略和具身研究的朋友一个参考。1. 项目缘起重新审视“看得见”与“学得会”1.1 第三视角视频的尴尬地位与真实价值在讨论方法之前先得把“第三视角视频”这个筐里的东西倒干净。事实上市面上绝大多数视频数据都是第三视角固定摄像头下的操作录像、别人录屏的软件操作、工厂里的监控画面、手机拍摄的示范动作。这类视频的第一个特征是数量巨大几乎不要成本第二个特征是与执行者的观察视角不一定对齐。过去大家做行为克隆Behavior Cloning的时候基本只认第一视角因为策略网络看到的画面必须和专家决策时看到的画面一致否则学到的东西很容易崩。但问题是第一视角的数据必须由专家佩戴设备、边操作边采集成本高、规模小、场景又单一这正是很多智能体项目卡壳的地方。我们当时赌的就是一件事能不能用海量的第三视角视频优先解决“感知-意图”层面的对齐再通过少量的第一视角数据去校准执行层。也就是说第三视角负责让模型懂得任务长什么样、目标状态是什么第一视角负责告诉模型“你现在这个视角下该往哪走”。为了更直观地说明取舍我把两类数据放在一起对比过维度第三视角视频第一视角视频数据来源监控、示教录像、屏幕录制、手机拍摄专家佩戴设备边做边采采集成本极低接近零门槛高受设备和场景限制视角一致性与执行者视角不一致存在偏移与执行者视角完全一致语义丰富度能完整看到目标、环境、操作过程只能看到局部依赖头部和手部运动推断规模上限理论上可以到亿级片段通常只有千到万级结论很清晰第三视角数据在规模上完胜但在视角一致性上天然吃亏。这个项目要回答的就是这个“吃亏”到底能不能靠规模和模型能力补回来以及补回来的过程是不是可预测的。1.2 为什么用 scaling law 来验证这个方向很多团队面对第三视角数据第一反应是“先跑个模型看看效果”。但这样的做法有一个致命问题你永远不知道失败是因为数据不够、模型不够还是方法本身有问题。我们不想做这种不可复现的赌博而是想建立一个可预测的框架。Scaling law 最早在语言模型领域大放异彩核心思想是模型性能与数据量、参数量、算力之间存在稳定的幂律关系。如果第三视角视频也满足类似的规律那带来的收益是巨大的——你可以提前知道投入多少数据、多大模型大概能换来多少性能提升你可以为不同的任务分配合适的资源而不是靠拍脑袋决定“这次加两倍数据试试”。从另一个角度看第三视角视频的 scaling law 一旦成立整个数据策略都会被改写。过去团队拼命求人采集第一视角标注数据现在可以大规模爬取、清洗公开视频只有在下游执行层才需要少量精确数据。这也是为什么我们一开始就把实验设计成“多维度的规模曲线验证”而不是“单个模型的榜单成绩”。2. 方法与数据体系设计2.1 数据源筛选与有效动作信号定义不是所有第三视角视频都值得喂给模型。空镜头、纯风景、静态访谈画面占了公开视频的很大比例直接扔进训练集只会让模型学到“什么都不做”。所以第一步必须给数据定义“有效动作信号”。我们的做法是定义一个三级筛选管道时间维度过滤用时序差分frame differencing把画面变化剧烈的片段提取出来排除长时间静止的镜头。这一步粗糙但效率高能把数据量直接砍掉一半以上。目标出现检测借助一个通用的物体检测器判断画面中是否出现“可操作对象”和“操作者身体部位手部/工具”。两者必须同时存在否则判定为无效片段。意图一致性打分对每个候选片段的开头和结尾分别抽取视觉特征计算视觉特征的相似度和变化幅度。如果画面变化太小说明动作意图不明确如果变化太剧烈说明镜头抖动或者场景切换也要排除。这里有一份我当时写的粗筛伪代码思路可以复用具体参数要根据数据源来调import cv2 import numpy as np def filter_video_segment(video_path, min_change0.15): cap cv2.VideoCapture(video_path) prev_gray None change_scores [] while cap.isOpened(): ret, frame cap.read() if not ret: break gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) if prev_gray is not None: diff cv2.absdiff(prev_gray, gray) change_score (diff 30).mean() change_scores.append(change_score) prev_gray gray cap.release() mean_change np.mean(change_scores) return mean_change, mean_change min_change这个过滤逻辑看起来简单但实际影响非常大。我们用没有过滤的原始视频训练时模型会频繁输出“静止”动作成功率低下使用过滤后的数据同样的参数量成功率提升超过了 30%。数据质量优先级永远高于数据数量这句话在第三视角视频的语境下尤其成立。2.2 训练目标与模型架构选型数据准备好了接下来要解决“拿什么模型去学”的问题。第三视角视频没有遥操作数据也没有专家动作序列这意味着不能直接套用经典行为克隆的框架。我们必须在“模型学会看”和“模型学会动”之间插入一个中间层。我们的做法是把任务定义成“意图目标预测离散动作规划”的两阶段结构。模型先根据第三视角视频中的场景和目标状态预测出一个符号化的任务意图例如“将杯子放到托盘右侧”“点击保存按钮”然后在一个离散动作空间里生成一系列动作 token。这里的动作 token 是自定义的量化行为单元比如“移动 3cm”“旋转 15 度”“点击鼠标左键”“抓取”不需要每一帧都和专家的真实动作对齐只需要在语义层面能推进任务状态。模型架构上我们没有选纯 Transformer而是选了视觉主干加轻量级因果 Transformer 的组合视觉主干用预训练的 CLIP 初始化语言提示作为条件输入动作头是一个离散 token 分类器。之所以不直接上扩散策略Diffusion Policy是因为扩散模型的训练稳定性受数据噪声影响太大第三视角视频天然包含视角偏移和遮挡直接上扩散会让训练难度陡增。我们更愿意先把离散 token 的动作空间这套框架验证清楚再考虑连续动作生成。这里做一个简单对比可能对选型有帮助方案优点缺点适配第三视角视频的程度传统行为克隆实现简单收敛快依赖精确动作标签泛化弱低扩散策略动作平滑适合连续控制训练不稳定数据要求高中隐式意图离散动作 token抗噪声强可解释性好动作粒度需要自定义高纯视频预测模型可以无监督预训练计算量巨大动作生成不直接中最终选型就是在“能落地、可复现、抗噪声”这三个条件里做平衡的结果。2.3 三个 scaling 维度的设计Scaling law 不是单跑一条曲线就算数的。我们设计了三个维度来验证数据量 N从 5K 个有效视频片段起步逐步扩充到 10K、20K、50K、100K观察任务成功率的变化。模型参数量 P分别训练 70M、300M、1B 三档参数量的模型。上下文长度 C控制输入的视频帧数分别尝试 4 帧、8 帧、16 帧、32 帧观察时间上下文对决策的影响。关键设计是“控制变量”。每次只动一个维度其余维度完全固定。比如做数据量实验时模型参数量固定为 300M上下文长度固定为 16 帧训练步数按数据量等比缩放。如果不做这个约束数据的增长和模型容量的增长混在一起最后拟合出来的曲线不具备任何预测价值。评测指标上我们没有只用单个环境的成功率。为了对冲环境偏置我们建了一个 20 个不同背景、不同物体颜色的评测集最终指标是这 20 个环境上的平均成功率。这样做牺牲了一些单点性能但换来的是曲线更稳定能够真正反映 scaling 规律。3. 核心实验与量化结果3.1 数据量维度的幂律拟合第一组实验是数据量扫描。把训练数据量按 5K、10K、20K、50K、100K 递增模型统一用 70M 参数量训练步数按“每 1000 条数据训练 3000 步”的比例来定保证每条数据被充分看过。结果是相当明显的幂律关系。在双对数坐标下平均成功率对数据量呈现出一条漂亮的下降斜率拟合公式大概是success_rate a * N^(-b) c其中 a 和 b 因任务难度而异c 是模型在该数据分布下的性能下限。在这个任务集上b 大约在 0.5 到 0.7 之间说明“堆数据”的收益虽然边际递减但远未到饱和。从 5K 涨到 20K 时性能提升最猛从 50K 涨到 100K 时提升幅度相对温和但依旧没有变成水平线。这里有一个很重要的认知如果不按“有效片段数”来计算而是按原始视频时长来算曲线会非常难看到处是噪声。原因很简单原始时长里大量时间花在了等待、移动、思考上模型看到的都是“没有关键动作”的帧有效信息密度太低。所以第三视角视频的 scaling law 并不存在于“视频总时长”维度而是存在于“有效意图片段数”维度。这意味着在实际项目管理里与其盲目购买或采集更多视频不如在过滤和清洗上多花功夫把同样的视频库洗出更多高质量片段收益远大于单纯堆时长。3.2 模型参数量维度的边际收益模型参数量的实验更有意思。我们分别训练了 70M、300M、1B 三个规模的模型数据量固定在 50K 有效片段。结果分成三段来看70M 模型表现中规中矩在简单任务上能达到不错的成功率但一旦任务涉及多步操作、或者背景变化大就会开始出现动作混乱。这符合预期小模型的容量有限很难把第三视角视频中的复杂语义压缩到足够好的表征里。300M 模型是收益最明显的一档。相比 70M它的成功率提升了约 18 个百分点而且对背景变化和环境干扰的鲁棒性有明显上升。我们把这个规模的模型作为后续所有对比实验的默认配置。1B 模型在数据量只有 50K 的情况下表现反而没有 300M 那么亮眼提升幅度很小。但有一点意外收获1B 模型在遇到完全没见过的环境布局时表现出的“冷静程度”远高于小模型不会因为几个陌生像素就完全崩溃。这其实是在告诉我们大模型需要更多样化的数据来发挥潜力单纯增加参数量而不增加数据多样性收益会被卡住。做个粗略的类比模型参数量像是容器的大小数据多样性像是容器的形状。容器足够大但形状不对仍然装不下新的语义反过来形状合适但容器太小装一点就满了。第三视角视频的 scaling law下一步真正要突破的方向应该是“数据多样性的度量与自动扩充”。3.3 上下文长度与任务粒度的耦合第三个维度是最容易被人忽略的也是我认为 Light-O1 里最有价值的发现上下文长度对第三视角视频的影响不是单调递增而是和任务的时间粒度耦合。我们做了 4/8/16/32 帧的对比实验。4 帧只能捕捉到非常局部的动作模型经常“只见树木不见森林”在长任务里迷失目标8 帧是转折点大部分任务表现不错16 帧达到峰值成功率最高且训练稳定32 帧反而开始出现震荡模型会把早期帧的状态当成当前状态来输出动作时间混淆问题变重。顺着这个现象往下查我们发现问题出在“等间隔采样”上。第三视角视频里的动作速度是不均匀的可能在某一秒内有连续 5 个关键动作接下来 10 秒都在缓慢调整位置。等间隔采样会让关键动作在时间轴上挤在一起或者被稀释掉导致模型学不到正确的时间因果关系。最终方案是“关键帧感知采样”先用动作检测模型给视频打分数把动作密集的帧段保留下来再在这些关键段内部做均匀采样。这样既延长了有效上下文又没有盲目增加计算量。用上这个采样策略之后32 帧模型的表现超过了原来的 16 帧模型成功率又涨了一截。这个发现本身就构成了一条第三视角视频的“软 scaling law”上下文长度不是越长越好而是要在“有效的意图粒度”上越长越好。单纯拉长窗口而不做关键帧采样只是增加模型负担不会带来收益。4. 实操过程与常见问题排查实录4.1 视角失配引发的“佯装成功”这句话我说得直白一点在第三视角视频上训练模型最容易被欺骗的指标就是“看起来成功率高”。我第一次跑完 300M 模型时看到评测集平均成功率 85%心里还挺高兴。结果把模型放到一个新布置的桌面上测试成功率直接掉到 10% 以下。排查了半天才发现模型学到的根本不是“完成任务”而是记住了训练环境里某个固定位置的色块然后输出固定的动作序列。只要那个色块出现它就认为任务开始了只要动作序列播完它就认为自己成功了。我们把这个问题叫做“佯装成功”因为它和真正的语义理解毫无关系纯粹是视觉捷径。排查方法很简单拿训练环境里的背景纹理换掉或者把目标物体挪一个位置然后重新跑评测。如果成功率出现断崖式下跌基本可以判断模型在走捷径。解决手段包括评测时每次换背景训练时加入随机的颜色抖动和位置扰动以及强制模型输出“目标语义描述”而不是直接输出动作序列让策略必须经过意图理解这个关卡。这里要提醒一句不要只看一个环境的成功率。第三视角视频天然带有环境偏置训练集里环境越单一模型越容易走捷径。评测集里至少要有 10 种以上环境变化否则你看到的曲线有可能全是假的。4.2 数据去重与多样性陷阱这个坑出现在统计层面不仔细看根本发现不了。我们一开始从公开视频库抓数据总共抓了约 20 万条视频片段去掉明显无效的之后还剩 8 万条左右。拿这些数据去训练跑出来的 scaling 曲线特别漂亮几乎是教科书级别的幂律。但一上线验证就露馅了。后来分析数据分布才发现这 8 万条看起来很多实际上 90% 以上是同一个教室场景下、同一条操作轨迹的重复录制可能是在不同日期、不同亮度下录了几百遍。这样的数据在 embedding 空间里挤成一团真实多样性可能只有几千条。如果不处理这个现象拟合出的 scaling law 完全没有预测价值——因为它的“有效数据量”远小于表面数据量只是在用重复数据硬撑曲线。我们的处理分两步第一步用 CLIP 对每个视频的首尾关键帧做特征提取然后对特征向量做聚类把相似度超过阈值的片段归到同一簇第二步在采样时按簇做均衡采样让每个簇最多贡献固定比例的训练样本。这样处理之后真实有效数据量从“看起来有 8 万”变成了“实际覆盖了约 3 万个不同行为轨迹”曲线的可信度高了很多。这个经验同样适用于其他类型的数据工程数据的多样性比体量更重要。统计类的报告如果只看总量就很容易被这种重复数据骗过去。4.3 训练稳定性问题loss 正常但成功率波动第三个要写的问题训练中的稳定性。第三视角视频和第一视角视频有个显著区别动作标签不是由人类专家精确标注的而是通过检测器自动生成的所以噪声天然更大。训练早期一切正常loss 平稳下降看起来没有任何异常。但到了中后期loss 曲线开始出现规律性尖峰而且尖峰出现时评测集成功率会莫名其妙地波动有时候甚至掉回初始水平。排查发现罪魁祸首是少数“冲突样本”进入了训练 batch。比如同一个画面里有两个目标物体检测器在有些帧里把左边的当成目标在相邻帧里又把右边的当成目标导致模型在同一状态下收到了完全相反的动作监督信号。这种冲突样本占比不到 1%但因为梯度幅度大会把训练节奏搅得很乱。为了解决这个问题我们做了三件事引入 loss 的指数滑动平均EMA只在 EMA 波动超过阈值时打印预警避免早期单个 spike 干扰判断。把梯度裁剪阈值从默认的 1.0 调低到 0.3显著降低冲突样本的破坏力。放弃用 loss 来选 checkpoint改成每 1000 步跑一次快速评测用评测成功率来触发模型保存。这套组合拳打完之后训练过程的稳定性明显好转最终模型的质量也更稳定。我的经验是涉及视频数据的训练loss 曲线的参考价值会被数据噪声严重削弱真正可靠的指针只有“周期性评测成功率”。下面把这几类问题做成速查表方便以后复现参考问题现象根本原因排查手段解决措施训练环境成功率虚高新环境断崖下跌视觉捷径、背景记忆换背景、移动目标位置重测评测集多样化、强制语义输出曲线漂亮但实际效果差重复数据导致有效多样性低特征聚类查看簇分布embedding 去重、簇均衡采样mid-training loss 尖峰成功率波动冲突样本监控 EMA loss 和梯度范数梯度裁剪、按评测结果保存长上下文不如短上下文等间隔采样导致时间混淆对比不同采样策略关键帧感知采样如果说整个 Light-O1 项目留给我的最大心得就是一句话第三视角视频的 scaling law 并不复杂但它只对那些“数据质量可控、评测标准严格、规模维度清晰”的实验体系有意义。数据质量门禁必须在第一天就建好否则后续所有曲线都是在为幻觉拟合。如果现在让我重新做一个类似的项目我会在实验初期就确定有效片段过滤、关键帧采样、多环境评测三件套再开始大规模训练。这些基础工作做扎实之后数据量和模型参数量的提升才有明确的方向可循。下一步我也打算继续实验完全随机摆放摄像头的第四视角方案把视角多样性这个维度也纳入 scaling law 的框架里希望到时候能再整理出一篇更完整的报告给到大家。

第三视角视频的Scaling Law：Light-O1项目实证

相关推荐

贝叶斯机器学习实战：从模型选型、调参到上线部署

PacketTracer家庭无线连接实操指南：AP信道、DHCP隔离与IoT设备激活

蓝牙信标室内定位技术解析与应用实践

更多资讯

STM32+ESP8266物联网项目实战：MQTT接入阿里云平台

Java Web三层架构详解：从餐厅比喻到SSH实战

MATLAB+Simulink+FPGA实现DQN无线通信实时控制

Java Web三层架构详解：Struts、Spring、Hibernate分工与实战

企业AI落地：从产品颠覆到降本增效的智能体方案

Buzz技术解析：从音频干扰到营销热度的跨域原理

今日更新

淘宝商品详情API开发实战与性能优化指南

Unity Package Manager刷新错误排查与解决方案

Java record 规范构造器能否被反序列化或反射绕过

本周精选

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

基于DRV8818与STM32的双极步进电机驱动方案实战解析

DRV8818PWPR+PIC18F45K80双极步进电机控制方案实战

本月热门

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

基于DRV8818与STM32的双极步进电机驱动方案实战解析

DRV8818PWPR+PIC18F45K80双极步进电机控制方案实战

读完文章，想聊聊您的网站？