零代码、单命令：ingestr —— 让数据迁移像复制粘贴一样简单-北京尧图网络

在数据驱动的时代数据迁移和集成几乎是每个开发者和数据团队都会遇到的日常任务。无论是将生产数据库同步到数据仓库还是在不同系统之间搬运数据传统方案往往意味着编写大量代码、配置复杂的ETL工具或者支付昂贵的SaaS费用。今天要介绍的开源工具ingestr正是为了解决这个痛点而生。什么是 ingestringestr 是一个命令行工具允许你用单行命令将数据从任何数据源复制到任何目标无需编写任何代码。它的核心理念极其简单指定一个来源、指定一个目标剩下的交给 ingestr。ingestr ingest\--source-uripostgresql://...\--source-tablepublic.some_data\--dest-uribigquery://...\--dest-tableingestr.some_data就这么简单。一行命令数据就从 PostgreSQL 飞到了 BigQuery。为什么需要 ingestr在 ingestr 出现之前数据 ingestion 领域的工具生态存在明显的空白付费工具大多以 UI 驱动UI 驱动的工作流对自动化数据管道很不友好。开源替代品如 Airbyte同样以 UI 为主而且还需要自己维护一套基础设施。库级别的方案如 dlt虽然灵活但最终你还是得写代码来搞定 ingestion。ingestr 的团队在 2024 年初开始构建这个项目目标是打造一个有主见的、最简单的数据摄入方式。你只需要告诉它源和目标在哪里它就会帮你把数据搬过去。事实证明这个方向是对的——ingestr 目前已经在 GitHub 上收获了超过 3,700 颗星被数百个组织内部使用。核心特性✨ 零代码单命令ingestr 最核心的价值就是零代码。你不需要写 Python 脚本、不需要配置 YAML 文件、不需要学习复杂的 DSL。只需要一条命令数据就能从源端流向目标端。➕ 增量加载ingestr 支持三种增量加载模式Append追加新数据Merge合并更新DeleteInsert删除后插入这意味着你不需要每次都全量同步整个表只需摄入新增或变更的数据大幅提升效率并降低成本。单命令安装安装 ingestr 非常简单。推荐使用 uvpipinstalluv uvx ingestr或者全局安装uv pipinstall--systemingestr传统的 pip 安装也可以但速度会慢一个数量级。 Python SDK除了命令行ingestr 还提供了 Python SDK可以直接在 Python 代码中调用importingestr ingestr.ingest([{id:1,name:Ada},{id:2,name:Grace}],dest_uriduckdb:///tmp/warehouse.duckdb,dest_tablemain.people,)支持 pandas DataFrame、Polars DataFrame、PyArrow Table 等多种数据格式数据通过 Arrow IPC 流高效传输。从 Python 到 Go性能的重构ingestr 最初是用 Python 构建的原型只花了一个周末就做出来了。但随着用户规模的增长和数据集变大Python 版本的性能瓶颈逐渐显现Python 本身在处理大量数据时速度有限。底层依赖的 dlt 在早期版本中性能也不够理想。因此ingestr 团队决定从零开始用 Go 重构目标是打造更快、更可靠、更好用的数据摄入工具。重构后的 v1 版本在性能和可靠性上都有了质的飞跃。支持的生态ingestr 支持极为丰富的数据源和目标数据库PostgreSQL、MySQL、SQL Server、BigQuery、Snowflake、Redshift、DuckDB、ClickHouse、MongoDB、Oracle、SQLite、Trino 等 20 多种。对象存储与文件S3、GCS、本地 CSV、JSONL、Parquet 等。SaaS 平台GitHub、Salesforce、Shopify、Slack、Stripe、Notion、Google Sheets、HubSpot、Zendesk 等数十个平台。消息队列Kafka、Kinesis 等。无论是传统关系型数据库、云数据仓库还是现代 SaaS 应用ingestr 基本都能覆盖。典型使用场景ingestr 可以解决多种数据迁移和集成需求从遗留系统迁移到现代数据库提升分析能力将应用数据库与数据分析平台同步支持批量或增量同步数据库备份确保数据安全快速搭建测试或开发环境轻松克隆现有数据库支持需要实时数据更新的应用场景由于 ingestr 是轻量级的 CLI 工具你可以轻松地把它放进cronjob、GitHub Actions、Airflow或其他调度器中快速获得内置的数据摄入能力。总结ingestr 是一款理念清晰、使用简单、生态丰富的开源数据摄入工具。它用最朴素的方式——一条命令——解决了数据迁移中最常见的问题。如果你正在寻找一个零代码、轻量级、可自动化的数据迁移方案ingestr 值得一试。GitHubhttps://github.com/bruin-data/ingestr文档https://bruin-data.github.io/ingestr/社区Bruin Data Community Slack

零代码、单命令：ingestr —— 让数据迁移像复制粘贴一样简单

相关推荐

终极指南：免费在Switch上使用虚拟Amiibo的完整教程

MiBeeNvr v0.7.0: 延时摄影 v2 + UI调整+ 发布加固

Raft 共识协议工程实现：从领导者选举到日志复制的全链路设计

更多资讯

LeetCode-Go 题解 191：Number of 1 Bits（汉明重量）——位运算与 bits.OnesCount 双解法剖析

零买量冷启动：用反常识交互打造用户自发传播的产品

3D-IC EDA工具链的韬定律：从数据模型到多物理场协同破局

Cadence SIP Layout：面向先进封装的三维异构集成设计核心工具

支线任务：用户行为设计的轻量级增长引擎

C#实战Shor算法：从量子傅里叶变换到大数分解

今日更新

AI驱动的自动化专利分析平台技术解析

LeetCode-Go 题解：1252. Cells with Odd Values in a Matrix（奇数值单元格计数）双解法剖析

在线答疑系统Java毕设实战：Spring Boot前后端分离与状态流转

本周精选

AI驱动的自动化专利分析平台技术解析

LeetCode-Go 题解：1252. Cells with Odd Values in a Matrix（奇数值单元格计数）双解法剖析

在线答疑系统Java毕设实战：Spring Boot前后端分离与状态流转

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？