HTTP 分段下载的 5 个坑：Range、断点续传、并发写同一个文件-北京尧图网络

最近在折腾分段下载把踩过的坑整理一下给后来的人省点时间。### 一、Range 不是所有服务器都认普通请求是整包给GET /file.zip HTTP/1.1Host: example.com要分段就得带 RangeGET /file.zip HTTP/1.1Host: example.comRange: bytes1048576-服务器支持的话返回 206 Partial Content并且带 Content-Range 告诉你这段在文件里的位置和总长Content-Range: bytes 1048576-10485759/10485760探测只需要一个字节bashcurl -sI -H Range: bytes0-1023 https://example.com/file.zip | head -3# 支持 → HTTP/1.1 206 Partial Content# 不支持 → HTTP/1.1 200 OK返回 200 的站只能整包下别浪费时间。### 二、别信 Content-Length遇到过一台服务器头部写 9.4MB实际只发 9.1MB 就关连接。程序认为下载完成实际文件是截断的。所以每个分片下完都要比对实际字节数少了就重试**这一片**而不是整包重下javascriptconst expect part.to - part.from 1 - part.got;if (buf.length ! expect) {if (buf.length 0) {await fh.write(buf, 0, buf.length, part.from part.got);part.got buf.length;}throw new Error(short: buf.length / expect);}上层捕获到 short: 就把这片放回队列其它错误才退避重试。### 三、分片数 ≠ 并发数一开始按 4MB 切片20G 的文件切成 5000 片然后想开 5000 并发。结果 IP 被限流比单线程还慢。正确的做法是片切细决定并行粒度worker 数量固定决定同时开几条连接javascriptasync function runPool(parts, workers, worker) {let cursor 0;const runners Array.from({ length: workers }, async () {while (cursor parts.length) {const part parts[cursor];if (part.got part.to - part.from 1) continue;try { await worker(part); }catch (e) {if (!/^short:/.test(e.message)) {parts.push(part);await new Promise((r) setTimeout(r, 500));}}}});await Promise.all(runners);}8~16 个 worker 一般比较稳再多容易触发单 IP 限制。### 四、并行写文件千万别用 append这是我犯过最蠢的错。多个分片并行下载用 appendFile 写等于按到达顺序拼接 —— **文件大小对字节顺序全乱**。校验能过打开报错。正解是打开一次文件句柄每片带 position 写javascriptconst fh await open(tmpPath, r); // r 不能是 ww 会清空已下的内容await fh.write(buf, 0, buf.length, offset);### 五、进度状态要原子落盘直接 writeFileSync 覆盖进度文件断电就得到半个 JSONJSON.parse 抛错续传全废。用「临时文件 rename」javascriptawait writeFile(tmp, JSON.stringify(state), utf8);await rename(tmp, path); // 同分区是原子操作还有一步不能省**恢复时比对 ETag**。存的 ETag 和重新探测的不一致说明服务器上文件换了必须丢弃全部进度重下否则会得到「前半段旧文件后半段新文件」这种垃圾。### 六、几个真实的服务器行为| 现象 | 原因 | 处理 ||---|---|---|| 返回 206 但内容是整包 | 服务器忽略 Range 仍回 206 | 比对 Content-Range 起点 || 下到一半卡死不动 | 连接空闲超时不报错不断开 | 加读超时超时重连同一片 || 开 64 条被拒 | 单 IP 并发限制 | 降到 8失败指数退避 || 只有 md5 没有 sha256 | 站点只给 md5 | 校验层支持多种没值就比字节数 |---不知道有没有人也遇到过「206 但其实给了整包」这种情况我遇到两三个站是这样一直没搞清是 CDN 的锅还是源站配置问题。有知道的可以说说。------【上面这些坑都是我真实踩过的写法各有取舍按你的场景选就行。】有坑直接评论区说我一条条看。

HTTP 分段下载的 5 个坑：Range、断点续传、并发写同一个文件

相关推荐

结合之前对单元测试和集成测试的关注，从“优秀开源项目源码”这个角度切入，可以重点关注两类：一是测试实践本身很出色的项目，二是架构设计值得学习、适合用测试去理解的项目

【赵渝强老师】高斯数据库（openGauss）的控制文件

第7讲：HID 设备——做一个键盘或鼠标

更多资讯

ZLM WebRTC播放配置避坑与QoS调优实战

DeepSeekMoE：混合专家模型的专业化突破与实践

BIP39 助记词生成原理：从熵、校验和到 2048 词表索引映射

AI智能体开发：系统化学习路线与核心技术栈解析

SketchUp参数化坯子插件库：建筑构件的工程化建模中枢

从词法分析到三地址码：小型编译器的链路与避坑

今日更新

学生选课系统DFD图绘制指南：边界划分与分层校验实战

JIRA敏捷落地：Scrum角色权限、Sprint与燃尽图避坑指南

SEMI S8人机工程验收实战：从条款拆解到现场实测的完整指南

本周精选

防幻觉智能体架构：电源硬件设计中的大模型编排与工具化实践

OpenGL面试核心考点：渲染管线、矩阵变换与性能排查全解析

全国计算机二级C语言真题PDF高效刷题指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？