Strapi Data Transfer 之 Local Strapi Source Provider 全解从初始化实例读取实体、关系、配置与资产的传输源【免费下载链接】strapi Strapi is the leading open-source headless CMS. It’s 100% JavaScript/TypeScript, fully customizable, and developer-first.项目地址: https://gitcode.com/GitHub_Trending/st/strapi本文围绕 Strapi monorepo 中strapi/data-transfer包的Local Strapi Source Provider本地 Strapi 数据源提供者展开它直接连接一个已初始化的Strapi实例借助数据库查询引擎Query Engine / queryBuilder以流式方式读取实体、关系链接、应用配置、Schema 与媒体资产是strapi export命令与远程 Pull 流程的数据出口。读完本文你将掌握该 Provider 的两个选项getStrapi/autoDestroy的确切语义、bootstrap 与 close 的生命周期行为以及各数据流entities / links / configuration / schemas / assets的底层实现路径与边界条件。文档定位Source Provider 是什么官方文档条目 Local Strapi Source 对该 Provider 的一句话定义是This provider will retrieve data from an initializedstrapiinstance using its Entity Service and Query Engine.即该 Provider不从文件、也不是从远端 API取数而是直接驱动一个已在当前进程中初始化的 Strapi 实例通过其数据库查询能力把数据泵进 Transfer Engine 的读取流。源码入口位于 LocalStrapiSourceProvider 实现工厂函数为createLocalStrapiSourceProviderProvider 的注册名为source::local-strapi。它属于>export interface ILocalStrapiSourceProviderOptions { getStrapi(): Core.Strapi | PromiseCore.Strapi; // return an initialized instance of Strapi autoDestroy?: boolean; // shut down the instance returned by getStrapi() at the end of the transfer }逐项说明getStrapi必填一个返回已初始化Strapi 实例的函数允许异步。Provider 本身不负责启动 Strapi——实例的创建、配置加载、数据库连接都由调用方完成Provider 只消费它。这与谁拥有实例谁负责实例化的所有权模型一致。autoDestroy可选默认 true控制传输结束时是否调用strapi.destroy()。源码在 close() 方法 中的判定是async close(): Promisevoid { const { autoDestroy } this.options; assertValidStrapi(this.strapi); this.strapi.db.lifecycles.enable(); // Basically ! false but more deterministic if (autoDestroy undefined || autoDestroy true) { await this.strapi?.destroy(); } }也就是说只有显式传autoDestroy: false才不销毁实例。单元用例 index.test.ts 的 Close 组 验证了三种取值undefined与true时destroy恰好被调用一次false时从未调用。注意所有权陷阱如果实例是由你的进程而非 Provider创建的通常应保持同一实例的生命周期由自己管理此时考虑autoDestroy: false而strapi exportCLI 场景下实例由命令本身创建、用完即弃交由 Provider 自动销毁即可。生命周期bootstrap 阶段的关键动作bootstrap()是 Transfer Engine 启动传输前调用 Provider 的入口源码见 bootstrapasync bootstrap(diagnostics?: IDiagnosticReporter): Promisevoid { this.#diagnostics diagnostics; this.strapi await this.options.getStrapi(); this.strapi.db.lifecycles.disable(); }两件事值得关注延迟获取实例只有调用bootstrap后this.strapi才被赋值测试用例 Bootstrap 组 确认了bootstrap 之前provider.strapi未定义。禁用数据库生命周期钩子读取过程中调用this.strapi.db.lifecycles.disable()避免读取触发的查询意外激活业务方定义的 lifecycle 回调close()时对称地enable()恢复。Provider 还内置了诊断上报#reportInfo/#reportWarning/#reportError会把事件写入IDiagnosticReporterorigin 标记为local-source-providerCLI 侧通过engine.diagnostics.onDiagnostic(...)订阅并打印。流读取过程中的错误会经由#handleStreamError同时写入strapi.log.error和诊断通道错误消息统一带[Data transfer]前缀便于在混合日志中定位。五类读取流数据到底怎么被读出来Provider 实现了ISourceProvider接口对外暴露五类产出能力全部基于strapi.db.queryBuilder(...).stream()的流式查询而非一次性findAll这是它能在不撑爆内存的前提下处理大体量数据的关键1. 实体流 createEntitiesReadStream实现位于 entities.ts。逻辑分两层createEntitiesStream遍历strapi.contentTypes的每一个 UID逐个构建查询queryBuilder(uid).select(*).populate(...)并取.stream()。其中的 populate 参数由 Entity 查询工具 生成的query.deepPopulateComponentLikeQuery提供用于把组件形态component-like关联也展开任一内容类型的流读取失败时不会静默丢弃源码注释明确说明每一个被跳过的实体都会留下悬空链接因此通过options.onWarning上报Failed to read all entities of type uid from the source, the remaining entities of this type were skipped: ...后继续处理其余类型createEntitiesTransformStream再把原始行{ id, ...attributes }归一为传输格式{ type: uid, id, data: attributes }。最终createEntitiesReadStream用stream-chain把多内容类型原始流与格式转换流串联见 index.ts 中 createEntitiesReadStream。2. 关系流 createLinksReadStream位于 links.ts。它遍历所有内容类型与组件的 UIDstrapi.contentTypesstrapi.components对每个 UID 调用 createLinkQuery 的generateAll生成器产出ILink左右两端引用。一个值得注意的健壮性设计悬空链接指向已不存在实体的关系会被跳过并计数警告使用createCappedWarningReporter限量输出结束后汇总上报Links export omitted N relation(s) pointing at missing entities...提示用户导入后核对关系完整性。3. 配置流 createConfigurationReadStream位于 configuration.ts。它把两类应用级配置打包为{ type, value }项Core StorequeryBuilder(strapi::core-store).stream()并将 JSON 字符串列value解析为对象WebhookqueryBuilder(strapi::webhook).stream()。其中 Core Store 项在导出前还会经过enrichProjectSettingsForExport处理见 project-settings-logos.ts把项目设置中的 logo 等资产信息一并补全保证导入端可以还原。4. Schema 读取 getSchemas / createSchemasReadStreamgetSchemas()把strapi.contentTypes与strapi.components合并后经schemasToValidJSON与mapSchemasValues处理成合法的 JSON Schema 结构createSchemasReadStream()则直接把各 Schema 作为可迭代流输出见 index.ts。5. 资产流 createAssetsReadStream实现位于 assets.ts是五类流中边界条件最多的一个数据源为queryBuilder(plugin::upload.file).select(*).stream()逐条处理上传文件记录Provider 分支若file.provider local文件路径拼接为join(strapi.dirs.static.public, file.url)并用fs-extra的createReadStream直读否则如 S3、Cloudinary 等走signUploadFileForTransfer——当对应上传 Provider 返回私有资源provider.isPrivate()为真时调用provider.getSignedUrl生成签名 URL再通过strapi.fetch流式下载文件缺失统计大小时若捕获ENOENT不抛错而是warnMissingAsset并continue警告消息形如[Data transfer] Media item id (hash: hash) exists in database but no corresponding file was found to transfer. Path: ...——数据库有记录但磁盘文件丢失的情况被降级为可观察的告警格式图formats主文件之后逐个遍历file.formats每项以{ ...fileFormat, type: format, id: file.id, mainHash: file.hash }作为元数据单独 yield从而保留同一媒体多个变换产物的从属关系产出统一封装为{ metadata, filepath, filename: hash ext, stream, stats: { size } }的IAsset流Duplex。6. 阶段总量 getStageTotalsgetStageTotals(stage)仅对assets阶段返回估算值委托 estimateAssetTotals其他阶段返回null供引擎计算进度百分比。谁在使用它strapi export 与远程 Pull在 CLI 侧strapi export命令是该 Provider 最典型的消费方见 export 命令 actionconst createSourceProvider (strapi: Core.Strapi) { return createLocalStrapiSourceProvider({ async getStrapi() { return strapi; // 命令先 createStrapiInstance() 启动实例再闭包返回 }, }); };完整链路为createStrapiInstance()启动实例 → 构造 source本文主角与 destinationtar/dir 文件 Provider→createTransferEngine(source, destination, { versionStrategy: ignore, schemaStrategy: ignore, exclude/only/throttle/transforms, ... })→engine.transfer()→ 校验产物并打印结果表。由于导出的目标端没有可比对版本两个 strategy 均固定为ignore。此外远程 Pull 流程的本地端同样复用它pull.ts 中this.provider createLocalStrapiSourceProvider({...})即从远端拉取到本地时本地实例既是被读的数据源也参与流程协商。手动组合的最小可运行示例以下示例演示脱离 CLI、在脚本中直接使用该 Provider 并搭配文件目标端展示选项的正确用法import fs from fs; import { engine, file, strapi } from strapi/data-transfer; import { createStrapiInstance } from ./bootstrap-strapi; // 自行封装加载 config/ 并 await strapi() const { createTransferEngine } engine; const { providers: { createLocalFileDestinationProvider } } file; const { providers: { createLocalStrapiSourceProvider } } strapi; const source createLocalStrapiSourceProvider({ async getStrapi() { // 返回一个已初始化数据库已连接的 Strapi 实例 return createStrapiInstance(); }, // autoDestroy 省略即默认 true传输结束后自动销毁上面创建的实例 }); const destination createLocalFileDestinationProvider({ file: { path: backup.tar, maxSizeJsonl: 100 * 1024 * 1024 }, // 单个 jsonl 文件上限 100MB compression: { enabled: false }, encryption: { enabled: false }, }); const transferEngine createTransferEngine(source, destination); const results await transferEngine.transfer(); console.log(results);要点提示getStrapi的返回值必须是完成初始化的实例含数据库连接否则 bootstrap 后首次查询即失败若实例由外部常驻进程管理例如在长驻服务内做增量导出应显式传autoDestroy: false避免 Provider 提前destroy()警告缺失文件、悬空链接等会进入诊断通道生产脚本建议订阅transferEngine.diagnostics落盘与 export 命令中engine.diagnostics.onDiagnostic(formatDiagnostic(...))的用法一致。小结Local Strapi Source Provider 是 Strapi 数据迁移体系的本地数据出口所有权清晰——getStrapi只要求给我一个已初始化的实例实例生命周期默认随传输结束销毁autoDestroy显式为false除外并有单测钉死三种取值的行为全流式读取——实体、关系、配置、Schema、资产全部通过queryBuilder(...).stream()增量产出配合deepPopulateComponentLikeQuery与 formats 从属关系处理覆盖 Strapi 数据模型的主要面失败可观察——读流错误、悬空链接、磁盘文件缺失都有带[Data transfer]前缀的告警路径而非静默失败多入口复用——同一 Provider 同时服务于strapi export命令行与远程 Pull 流程的本地侧。相关源码入口Provider 主体、实体流、关系流、配置流、资产流、Provider 测试 与 export 命令。【免费下载链接】strapi Strapi is the leading open-source headless CMS. It’s 100% JavaScript/TypeScript, fully customizable, and developer-first.项目地址: https://gitcode.com/GitHub_Trending/st/strapi创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Strapi Data Transfer 之 Local Strapi Source Provider 全解从初始化实例读取实体、关系、配置与资产的传输源【免费下载链接】strapi Strapi is the leading open-source headless CMS. It’s 100% JavaScript/TypeScript, fully customizable, and developer-first.项目地址: https://gitcode.com/GitHub_Trending/st/strapi本文围绕 Strapi monorepo 中strapi/data-transfer包的Local Strapi Source Provider本地 Strapi 数据源提供者展开它直接连接一个已初始化的Strapi实例借助数据库查询引擎Query Engine / queryBuilder以流式方式读取实体、关系链接、应用配置、Schema 与媒体资产是strapi export命令与远程 Pull 流程的数据出口。读完本文你将掌握该 Provider 的两个选项getStrapi/autoDestroy的确切语义、bootstrap 与 close 的生命周期行为以及各数据流entities / links / configuration / schemas / assets的底层实现路径与边界条件。文档定位Source Provider 是什么官方文档条目 Local Strapi Source 对该 Provider 的一句话定义是This provider will retrieve data from an initializedstrapiinstance using its Entity Service and Query Engine.即该 Provider不从文件、也不是从远端 API取数而是直接驱动一个已在当前进程中初始化的 Strapi 实例通过其数据库查询能力把数据泵进 Transfer Engine 的读取流。源码入口位于 LocalStrapiSourceProvider 实现工厂函数为createLocalStrapiSourceProviderProvider 的注册名为source::local-strapi。它属于>export interface ILocalStrapiSourceProviderOptions { getStrapi(): Core.Strapi | PromiseCore.Strapi; // return an initialized instance of Strapi autoDestroy?: boolean; // shut down the instance returned by getStrapi() at the end of the transfer }逐项说明getStrapi必填一个返回已初始化Strapi 实例的函数允许异步。Provider 本身不负责启动 Strapi——实例的创建、配置加载、数据库连接都由调用方完成Provider 只消费它。这与谁拥有实例谁负责实例化的所有权模型一致。autoDestroy可选默认 true控制传输结束时是否调用strapi.destroy()。源码在 close() 方法 中的判定是async close(): Promisevoid { const { autoDestroy } this.options; assertValidStrapi(this.strapi); this.strapi.db.lifecycles.enable(); // Basically ! false but more deterministic if (autoDestroy undefined || autoDestroy true) { await this.strapi?.destroy(); } }也就是说只有显式传autoDestroy: false才不销毁实例。单元用例 index.test.ts 的 Close 组 验证了三种取值undefined与true时destroy恰好被调用一次false时从未调用。注意所有权陷阱如果实例是由你的进程而非 Provider创建的通常应保持同一实例的生命周期由自己管理此时考虑autoDestroy: false而strapi exportCLI 场景下实例由命令本身创建、用完即弃交由 Provider 自动销毁即可。生命周期bootstrap 阶段的关键动作bootstrap()是 Transfer Engine 启动传输前调用 Provider 的入口源码见 bootstrapasync bootstrap(diagnostics?: IDiagnosticReporter): Promisevoid { this.#diagnostics diagnostics; this.strapi await this.options.getStrapi(); this.strapi.db.lifecycles.disable(); }两件事值得关注延迟获取实例只有调用bootstrap后this.strapi才被赋值测试用例 Bootstrap 组 确认了bootstrap 之前provider.strapi未定义。禁用数据库生命周期钩子读取过程中调用this.strapi.db.lifecycles.disable()避免读取触发的查询意外激活业务方定义的 lifecycle 回调close()时对称地enable()恢复。Provider 还内置了诊断上报#reportInfo/#reportWarning/#reportError会把事件写入IDiagnosticReporterorigin 标记为local-source-providerCLI 侧通过engine.diagnostics.onDiagnostic(...)订阅并打印。流读取过程中的错误会经由#handleStreamError同时写入strapi.log.error和诊断通道错误消息统一带[Data transfer]前缀便于在混合日志中定位。五类读取流数据到底怎么被读出来Provider 实现了ISourceProvider接口对外暴露五类产出能力全部基于strapi.db.queryBuilder(...).stream()的流式查询而非一次性findAll这是它能在不撑爆内存的前提下处理大体量数据的关键1. 实体流 createEntitiesReadStream实现位于 entities.ts。逻辑分两层createEntitiesStream遍历strapi.contentTypes的每一个 UID逐个构建查询queryBuilder(uid).select(*).populate(...)并取.stream()。其中的 populate 参数由 Entity 查询工具 生成的query.deepPopulateComponentLikeQuery提供用于把组件形态component-like关联也展开任一内容类型的流读取失败时不会静默丢弃源码注释明确说明每一个被跳过的实体都会留下悬空链接因此通过options.onWarning上报Failed to read all entities of type uid from the source, the remaining entities of this type were skipped: ...后继续处理其余类型createEntitiesTransformStream再把原始行{ id, ...attributes }归一为传输格式{ type: uid, id, data: attributes }。最终createEntitiesReadStream用stream-chain把多内容类型原始流与格式转换流串联见 index.ts 中 createEntitiesReadStream。2. 关系流 createLinksReadStream位于 links.ts。它遍历所有内容类型与组件的 UIDstrapi.contentTypesstrapi.components对每个 UID 调用 createLinkQuery 的generateAll生成器产出ILink左右两端引用。一个值得注意的健壮性设计悬空链接指向已不存在实体的关系会被跳过并计数警告使用createCappedWarningReporter限量输出结束后汇总上报Links export omitted N relation(s) pointing at missing entities...提示用户导入后核对关系完整性。3. 配置流 createConfigurationReadStream位于 configuration.ts。它把两类应用级配置打包为{ type, value }项Core StorequeryBuilder(strapi::core-store).stream()并将 JSON 字符串列value解析为对象WebhookqueryBuilder(strapi::webhook).stream()。其中 Core Store 项在导出前还会经过enrichProjectSettingsForExport处理见 project-settings-logos.ts把项目设置中的 logo 等资产信息一并补全保证导入端可以还原。4. Schema 读取 getSchemas / createSchemasReadStreamgetSchemas()把strapi.contentTypes与strapi.components合并后经schemasToValidJSON与mapSchemasValues处理成合法的 JSON Schema 结构createSchemasReadStream()则直接把各 Schema 作为可迭代流输出见 index.ts。5. 资产流 createAssetsReadStream实现位于 assets.ts是五类流中边界条件最多的一个数据源为queryBuilder(plugin::upload.file).select(*).stream()逐条处理上传文件记录Provider 分支若file.provider local文件路径拼接为join(strapi.dirs.static.public, file.url)并用fs-extra的createReadStream直读否则如 S3、Cloudinary 等走signUploadFileForTransfer——当对应上传 Provider 返回私有资源provider.isPrivate()为真时调用provider.getSignedUrl生成签名 URL再通过strapi.fetch流式下载文件缺失统计大小时若捕获ENOENT不抛错而是warnMissingAsset并continue警告消息形如[Data transfer] Media item id (hash: hash) exists in database but no corresponding file was found to transfer. Path: ...——数据库有记录但磁盘文件丢失的情况被降级为可观察的告警格式图formats主文件之后逐个遍历file.formats每项以{ ...fileFormat, type: format, id: file.id, mainHash: file.hash }作为元数据单独 yield从而保留同一媒体多个变换产物的从属关系产出统一封装为{ metadata, filepath, filename: hash ext, stream, stats: { size } }的IAsset流Duplex。6. 阶段总量 getStageTotalsgetStageTotals(stage)仅对assets阶段返回估算值委托 estimateAssetTotals其他阶段返回null供引擎计算进度百分比。谁在使用它strapi export 与远程 Pull在 CLI 侧strapi export命令是该 Provider 最典型的消费方见 export 命令 actionconst createSourceProvider (strapi: Core.Strapi) { return createLocalStrapiSourceProvider({ async getStrapi() { return strapi; // 命令先 createStrapiInstance() 启动实例再闭包返回 }, }); };完整链路为createStrapiInstance()启动实例 → 构造 source本文主角与 destinationtar/dir 文件 Provider→createTransferEngine(source, destination, { versionStrategy: ignore, schemaStrategy: ignore, exclude/only/throttle/transforms, ... })→engine.transfer()→ 校验产物并打印结果表。由于导出的目标端没有可比对版本两个 strategy 均固定为ignore。此外远程 Pull 流程的本地端同样复用它pull.ts 中this.provider createLocalStrapiSourceProvider({...})即从远端拉取到本地时本地实例既是被读的数据源也参与流程协商。手动组合的最小可运行示例以下示例演示脱离 CLI、在脚本中直接使用该 Provider 并搭配文件目标端展示选项的正确用法import fs from fs; import { engine, file, strapi } from strapi/data-transfer; import { createStrapiInstance } from ./bootstrap-strapi; // 自行封装加载 config/ 并 await strapi() const { createTransferEngine } engine; const { providers: { createLocalFileDestinationProvider } } file; const { providers: { createLocalStrapiSourceProvider } } strapi; const source createLocalStrapiSourceProvider({ async getStrapi() { // 返回一个已初始化数据库已连接的 Strapi 实例 return createStrapiInstance(); }, // autoDestroy 省略即默认 true传输结束后自动销毁上面创建的实例 }); const destination createLocalFileDestinationProvider({ file: { path: backup.tar, maxSizeJsonl: 100 * 1024 * 1024 }, // 单个 jsonl 文件上限 100MB compression: { enabled: false }, encryption: { enabled: false }, }); const transferEngine createTransferEngine(source, destination); const results await transferEngine.transfer(); console.log(results);要点提示getStrapi的返回值必须是完成初始化的实例含数据库连接否则 bootstrap 后首次查询即失败若实例由外部常驻进程管理例如在长驻服务内做增量导出应显式传autoDestroy: false避免 Provider 提前destroy()警告缺失文件、悬空链接等会进入诊断通道生产脚本建议订阅transferEngine.diagnostics落盘与 export 命令中engine.diagnostics.onDiagnostic(formatDiagnostic(...))的用法一致。小结Local Strapi Source Provider 是 Strapi 数据迁移体系的本地数据出口所有权清晰——getStrapi只要求给我一个已初始化的实例实例生命周期默认随传输结束销毁autoDestroy显式为false除外并有单测钉死三种取值的行为全流式读取——实体、关系、配置、Schema、资产全部通过queryBuilder(...).stream()增量产出配合deepPopulateComponentLikeQuery与 formats 从属关系处理覆盖 Strapi 数据模型的主要面失败可观察——读流错误、悬空链接、磁盘文件缺失都有带[Data transfer]前缀的告警路径而非静默失败多入口复用——同一 Provider 同时服务于strapi export命令行与远程 Pull 流程的本地侧。相关源码入口Provider 主体、实体流、关系流、配置流、资产流、Provider 测试 与 export 命令。【免费下载链接】strapi Strapi is the leading open-source headless CMS. It’s 100% JavaScript/TypeScript, fully customizable, and developer-first.项目地址: https://gitcode.com/GitHub_Trending/st/strapi创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
