尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
EvoSLD: Automated Neural Scaling Law Discovery With Large Language Models
文章主要内容和创新点主要内容本文提出了一种名为EvoSLD的自动化框架,用于神经缩放定律(Scaling Laws)的发现。缩放定律是描述神经网络性能(如损失、准确率)随模型大小、数据集规模、计算资源等变量变化的数学关系,传统上依赖人类专业知识和手动实验推导,耗时且易出错。EvoSLD通过进化算法结合大语言模型(LLMs),共同进化符号表达式(定义缩放定律的结构)和优化子程序(针对不同控制变量组拟合系数),以寻找简洁、通用的函数形式,最小化分组数据的拟合误差。在五个真实场景(词汇量、监督微调、领域混合、混合专家模型、数据约束预训练)的实验中,EvoSLD在两个场景中精确复现了人类推导的定律,在其他场景中表现更优,测试集的归一化均方误差(NMSE)最多降低了数个数量级,且优于符号回归、遗传编程等基线方法,验证了其准确性、可解释性和效率。创新点严格的问题形式化:将缩放定律发现(SLD)形式化为优化问题,结合分组拟合、简洁性惩罚(限制系数数量)和尺度不变的评估指标(如NMSE、NMAE),更符合科学实践。首个LLM辅助的自动化系统:EvoSLD是首个利用LLM辅助进化搜索的框架,能同时处理有/无控制变量的场景,通过共同进化符号表达式和优化子程序,高效导航假设空间。实验验证的优越性:在五个基准场景中,性能显著优于传统符号回归(如PySR、GPlearn)和简化版本(如固定优化器的EvoSLD),证明其在复现人类
RELATED

相关推荐

在昇腾NPU上用vLLM-ascend加速GRPO强化学习训练

在昇腾NPU上用vLLM-ascend加速GRPO强化学习训练

最近在昇腾NPU上折腾 vLLM-ascend 配合 GRPO 强化学习训练,也就是很多人常挂在嘴边的“GPRO”训练。实际上 TRL 框架里对应的是 GRPO(群体相对策略优化)。这段链路跑通之后,采样速度比直接用原生生成方法快了五六倍,整…

📅 2026/10/19 18:30:43
32:求分数序列和

32:求分数序列和

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📅 2026/10/19 18:30:43
如何5分钟在本地跑起gemma-4-31B-it-GGUF:从零开始的新手部署教程

如何5分钟在本地跑起gemma-4-31B-it-GGUF:从零开始的新手部署教程

【免费下载链接】gemma-4-31B-it-GGUF 项目地址: https://ai.gitcode.com/hf_mirrors/unsloth/gemma-4-31B-it-GGUF 点击查看 免费下载 想在自己的电脑上私有化部署 Google 最新开源多模态大模型吗?gemma-4-31B-it-GGUF 仓库由 Unsloth 提供&#xff0c…

📅 2026/10/19 18:30:43
MORE NEWS

更多资讯

📰

从零搭建代码评审工具链:open-code-review 实践与踩坑

1. 从零搭建一套代码评审工具链,我为什么盯上了 open-code-review第一次听到 open-code-review 这个词,是在一个做后端的朋友群里。有人吐槽说团队里代码评审全靠人肉盯,PR 一多就漏,评审意见散落在各种聊天记录里,过两…

📰

从零搭建 open-code-review 流程:自动化检查与评审人分配实战

1. 为什么我要自己搭一套 open-code-review 流程第一次听到“open-code-review”这个词,很多人会以为它只是某个开源项目的名字。实际上,它更像是一类工程实践的统称:把代码评审这件事从“闭门会议”变成“开放、可追溯、可自动化”的流程。我…

📰

基于iRTU和Air8000A的RS485环境监测系统:从协议栈开发到配置化上云

做物联网数据采集最头疼的不是传感器选型,而是如何把数据稳定、可靠地传到云端。前段时间我把一套环境监测系统从“单片机裸跑串口转发”的旧路子,迁移到基于iRTU固件AirUI界面Air8000A硬件485传感器这套组合上,总算体会到什么叫“配置比写代…

📰

ACPI电源按钮S3唤醒到S0完整流程图解与排查指南

做底层固件和驱动调试的人,总有一天会被ACPI的睡眠唤醒折磨:笔记本明明进了S3,按下电源按钮却毫无反应,或者屏幕亮了但系统卡在半路,又或者唤醒后USB设备全部掉线。这些问题表面上都是“电源按钮”和“S3/S0切换”的锅…

📰

CNN猫狗分类实战:TensorFlow+Keras从数据到模型调参全解析

猫狗分类这个项目,我从 TensorFlow 和 Keras 入手做过不止一遍,每次带新人入门,也都拿它当第一块练手砖。它看着简单——不就是区分一张图里是猫还是狗吗,但真把数据预处理、卷积特征提取、训练调参这些环节走一遍,你对…

📰

开源CLI代码评审工作流:基于Git Diff与本地LLM的自动化Code Review

1. 项目概述:这不是一个“工具”,而是一套可落地的开源代码评审工作流“open-code-review”这个名字乍看像某个具体软件,但实际它代表的是一种正在快速成型的新型协作范式——把大语言模型(LLM)作为“永不疲倦的初级审…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬