尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
The Impact of Fine-tuning Large Language Models on Automated Program Repair
文章主要内容总结该研究实证探究了不同微调技术对用于自动程序修复(APR)的大语言模型(LLMs)性能的影响。研究选取了6个基于代码预训练的先进LLMs(CodeGen、CodeT5、StarCoder、DeepSeekCoder、Bloom、CodeLlama2),在QuixBugs、Defects4J和HumanEval-Java三个主流APR基准上进行评估,对比了“不微调”“全量微调”和“参数高效微调(PEFT,包括LoRA和IA3)”三种训练方案的效果。研究发现:全量微调因数据分布差异和过拟合问题,会降低部分模型在基准测试中的性能;而参数高效微调通过限制可训练参数数量,能取得更优结果。此外,研究还分析了LoRA超参数对模型性能的影响,建立了预训练LLMs在APR任务上的性能基线,并提供了完整的实验复现包。创新点系统对比不同微调策略:首次在APR任务中系统比较“不微调”“全量微调”和“参数高效微调”三种方案,覆盖6个主流代码LLMs和3个基准数据集,揭示了不同微调技术的优劣。探索PEFT在APR中的潜力:深入分析LoRA和IA3两种参数高效微调技术的效果,发现其在减少计算成本的同时能提升修复性能,尤其LoRA表现更优。分析LoRA超参数影响:系统调整LoRA的秩(rank)和缩放因子(scaling factor),发现其对模型性能影响较小,为实际应用中参数设置提供参考。建立基线与复现资源:提供了预训练LLMs在A
RELATED

相关推荐

EvoSLD: Automated Neural Scaling Law Discovery With Large Language Models

EvoSLD: Automated Neural Scaling Law Discovery With Large Language Models

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📅 2026/10/19 18:30:43
在昇腾NPU上用vLLM-ascend加速GRPO强化学习训练

在昇腾NPU上用vLLM-ascend加速GRPO强化学习训练

最近在昇腾NPU上折腾 vLLM-ascend 配合 GRPO 强化学习训练,也就是很多人常挂在嘴边的“GPRO”训练。实际上 TRL 框架里对应的是 GRPO(群体相对策略优化)。这段链路跑通之后,采样速度比直接用原生生成方法快了五六倍,整…

📅 2026/10/19 18:30:43
32:求分数序列和

32:求分数序列和

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📅 2026/10/19 18:30:43
MORE NEWS

更多资讯

📰

从零搭建代码评审工具链:open-code-review 实践与踩坑

1. 从零搭建一套代码评审工具链,我为什么盯上了 open-code-review第一次听到 open-code-review 这个词,是在一个做后端的朋友群里。有人吐槽说团队里代码评审全靠人肉盯,PR 一多就漏,评审意见散落在各种聊天记录里,过两…

📰

从零搭建 open-code-review 流程:自动化检查与评审人分配实战

1. 为什么我要自己搭一套 open-code-review 流程第一次听到“open-code-review”这个词,很多人会以为它只是某个开源项目的名字。实际上,它更像是一类工程实践的统称:把代码评审这件事从“闭门会议”变成“开放、可追溯、可自动化”的流程。我…

📰

基于iRTU和Air8000A的RS485环境监测系统:从协议栈开发到配置化上云

做物联网数据采集最头疼的不是传感器选型,而是如何把数据稳定、可靠地传到云端。前段时间我把一套环境监测系统从“单片机裸跑串口转发”的旧路子,迁移到基于iRTU固件AirUI界面Air8000A硬件485传感器这套组合上,总算体会到什么叫“配置比写代…

📰

ACPI电源按钮S3唤醒到S0完整流程图解与排查指南

做底层固件和驱动调试的人,总有一天会被ACPI的睡眠唤醒折磨:笔记本明明进了S3,按下电源按钮却毫无反应,或者屏幕亮了但系统卡在半路,又或者唤醒后USB设备全部掉线。这些问题表面上都是“电源按钮”和“S3/S0切换”的锅…

📰

CNN猫狗分类实战:TensorFlow+Keras从数据到模型调参全解析

猫狗分类这个项目,我从 TensorFlow 和 Keras 入手做过不止一遍,每次带新人入门,也都拿它当第一块练手砖。它看着简单——不就是区分一张图里是猫还是狗吗,但真把数据预处理、卷积特征提取、训练调参这些环节走一遍,你对…

📰

开源CLI代码评审工作流:基于Git Diff与本地LLM的自动化Code Review

1. 项目概述:这不是一个“工具”,而是一套可落地的开源代码评审工作流“open-code-review”这个名字乍看像某个具体软件,但实际它代表的是一种正在快速成型的新型协作范式——把大语言模型(LLM)作为“永不疲倦的初级审…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬