xerj autoindex 实战：一个文件夹同时检索 JSON、JSONL 与 gzip 日志-北京尧图网络

【免费下载链接】xerjXERJ is the new way for AI to search data. Its autoindex capability activates agents to know your data without the token waste of grep and sed. One command indexes code, docs, logs and PDFs for search, RAG, security audits and agent memory, using 40x fewer tokens than grep. Elasticsearch compatible, so existing clients just work.项目地址https://gitcode.com/GitHub_Trending/xe/xerj点击查看免费下载导读本文围绕 xerj 的autoindex命令演示如何在一句命令内索引混合存放 JSON 数组日志、JSONL 逐行日志与 gzip 压缩日志的文件夹并直接获得类型正确的映射——日期字段无需配置即可推断、keyword字段可精确过滤、terms聚合计数全量精确。读完你可以复现一次完整的日志检索流程建索引 → 查映射 → 过滤 ERROR → 按服务与级别精确计数并理解其背后内容识别、日期推断、精确聚合三套机制的源码依据。为什么日志检索不再需要先解压再 grep日志文件通常是三类形态混在一个目录里app.jsonl这种逐行事件流、audit.json这种整文件 JSON 数组以及按天归档的service.log.gz。传统做法是zgrep逐文件扫、管道拼装、再用awk数数——每次查询都要重新解压和全量扫描且无法回答今天 15 点 30 分之后有多少条 ERROR这类问题。xerj 的思路是把这一层交给autoindex一次完成索引建立之后所有查询走 Elasticsearch 兼容接口压缩文件在查询期不再被读取。这一设计在仓库中有明确实现依据格式识别不信任文件扩展名而是读内容判断见 sniff.rs每个格式家族都有独立提取器JSON 与 JSONL 分属extract/json.rs与extract/jsonl.rsgzip 解压发生在索引期的读取层对所有解析家族透明见 extract/mod.rs。一步索引xerj autoindex 一条命令建全xerj autoindex ./json-logs --url http://127.0.0.1:9200 --prefix jlog --progress plain在官方捕获运行RUN-A2026-08-2116 核 AMD EPYC 9645 单机中./json-logs目录下只有两个文件文件形态索引文档数app.jsonl逐行事件流2,000 行jlog-jsonl2,001audit.json500 元素的 JSON 数组jlog-json501注意文档数与日志行数并不相等JSONL 是每行一条记录而每个文件还会附加一条文件级记录logs家族同样是每行 1 条每文件 1 条见 search-gzip-logs-without-zgrep.md 中的对照说明。autoindex的参数在 cli.rs 中有完整定义实际使用频率最高的几个参数默认值说明--url Uhttp://localhost:9200ES 兼容端点autoindex只认这个参数XERJ_URL环境变量会被忽略并提示--prefix Pax索引前缀同一节点多语料靠它隔离目录 id--state-dir PATH~/.xerj/autoindex/hash/断点续跑日志位置重建语料时换新--state-dir与--prefix--progress MODEautoauto/plain/json/noneplain适合 CI 管道与 Agent 解析--sample N500每个文件用于类型推断的采样记录数--no-semantic关闭跳过semantic_text纯 BM25 keyword--disable-feedback关闭不打印反馈邀请行脚本化运行时建议加上该命令要求本地已有一个 xerj 节点在--url端口提供服务。xerj 是单个原生二进制、无需容器与 JVM详见 search-engine-without-docker.md启动方式为xerj --insecure --data-dir ./xerj-data curl -s http://127.0.0.1:9200/格式由内容判定JSON 与 JSONL 如何各归其位xerj autoindex不按扩展名决定格式。仓库的识别顺序是魔数 → 二进制检查 → 文本启发式JSON/JSONL 判定实现在 sniff.rs内容以{或[开头且非空行中 ≥90% 能整行解析为 JSON→Family::Jsonl只有一个非空行且可解析 → 视为 JSON 值文件Family::Json否则若前 200 字符呈 JSON token 形态含:/[/{→ 判定为整文件 JSON。所以app.jsonl与audit.json即使扩展名不同也会因内容形态各得一个独立数据集、独立索引——这就是文件扩展名不决定任何事的源码出处。判定逻辑中还有一处针对性守卫以[section]开头的 TOML/INI 表头不会误入 JSON 分支sniff.rs。提取层面两个家族的语义也不同JSON 数组extract/json.rs数组中每个对象元素成为一条记录locator 为e0、e1…若外层是包装对象如{generated: ..., items: [...]}会提升其中最大的对象数组逐元素成记录外层标量作为共享字段并入元素字段在冲突时胜出嵌套超过两层的结构与对象数组则存为 JSON 字符串。JSONLextract/jsonl.rs逐行流式读取每条记录带字节偏移定位符b0、b23…空行直接跳过不计数坏行计为 junk 但绝不影响后续行单行超过 16 MB 上限MAX_LINE视为 junk 而非巨型记录采样截断导致的半截末行不算 junk。对于没有散文正文的记录提取器会把自身字段合成为text段落如id: OSV-1, ecosystem: crates.io保证纯结构化记录也能被全文检索到。日期字段是推断出来的不是配置出来的这是本文最值得展开的机制。捕获运行中两个文件的时间字段键名不同timestamp与tsxerj 却都推断为date类型索引日期字段其他推断字段jlog-jsonltimestamplevel、service为keywordmessage为textduration_ms为longjlog-jsontslevel、service为keywordmessage为text日期推断的全部规则集中在 infer/dates.rs 与 infer/mod.rs。先看编码清单DateEnc枚举定义了8 种可识别的日期编码dates.rs编码示例解析要点RFC 33392026-03-04T16:00:00.319Z显式时区优先级最高ISO naiveT分隔2026-03-17T00:00:13.529假定 UTC空格分隔log4j/Python logging2026-03-17 00:00:13,529假定 UTC兼容逗号毫秒仅日期2026-03-19补 00:00:00 UTCCLF通用日志格式01/Mar/2026:00:00:03 0000Nginx/Apache 访问日志RFC 2822Tue, 01 Jul 2025 10:00:00 0000电子邮件头风格epoch 毫秒1773107846071见下方守卫epoch 秒1773107846见下方守卫所有被选中的编码在索引期统一归一化为 RFC 3339 UTC 毫秒mapping 恒定声明strict_date_optional_time||epoch_millisdates.rs。正因如此索引跑完的当下就能直接做日期范围查询。epoch 数字的判定有三道守卫文档中的描述与源码逐条对应dates.rs、mod.rs值窗口毫秒与秒分别限定在631_152_000_000..4_102_444_800_000与631_152_000..4_102_444_800即 1990-01-01 至 2100-01-01去重下限采样中 distinct 值 ≥ 20普通整数列如状态码、计数器不满足跨度上限采样最小值与最大值的跨度 20 年否则暂不升级。第三条还有一个精巧的后续跨度 ≥20 年的候选不会直接判死而是进入佐证通道——若其值域与同一数据集中某个已确认日期字段的范围重叠仍会升级为datemod.rs。普通整数列因此保持long类型这正是文档所说一个普通整数列仍是 long的完整依据。类型判定还有 95% 阈值约束一个字段要判为date/long/double须满足非空采样值中 ≥95% 可解析th95判定见 mod.rs。keyword与text的区分则依据 p95 长度 ≤128 字符且 p95 词数 ≤3短枚举值判keyword多词长文判textmod.rs。这就是level、service天然成为keyword、message成为text的机制。一个过滤跨两个索引精确命中字段类型就位后精确过滤不再需要分析器或通配符curl -s -XPOST http://127.0.0.1:9200/jlog-*/_search \ -H content-type: application/json \ -d {query:{bool:{filter:[{term:{level:ERROR}}]}},size:3,_source:[level,service,message,timestamp,ts],track_total_hits:true}捕获运行中这一句在jlog-jsonl与jlog-json两个索引的并集上返回恰好 386 条ERROR 命中。两个值得注意的请求细节模式jlog-*一次性跨两个索引这正是JSONL 与 JSON 数组各建各的索引、查询时用同一个模式的落地方式track_total_hits: true当总数本身就是交付物时比如 Agent 向用户报告共 386 条错误必须显式开启否则客户端只能看到当前页的size条命中。level之所以能直接走term精确匹配是因为keyword字段按整值索引、不做分词——映射中level是keywordterm查询无需 analyzer、无需 wildcard。按服务与级别精确计数聚合全程零误差对日志检索而言计数精确性直接决定错误预算与告警阈值是否可信。文档给出的捕获聚合结果如下{by_service: {buckets: [{key: auth, doc_count: 500}, {key: billing, doc_count: 500}, {key: checkout, doc_count: 500}, {key: inventory, doc_count: 500}, {key: search, doc_count: 500}], doc_count_error_upper_bound: 0, sum_other_doc_count: 0}, by_level: {buckets: [{key: INFO, doc_count: 1714}, {key: WARN, doc_count: 400}, {key: ERROR, doc_count: 386}], doc_count_error_upper_bound: 0, sum_other_doc_count: 0}}请求本身curl -s -XPOST http://127.0.0.1:9200/jlog-*/_search -H content-type: application/json \ -d {size:0,aggs:{by_service:{terms:{field:service,size:20}},by_level:{terms:{field:level,size:20}}}}两个聚合的doc_count_error_upper_bound都是 0、sum_other_doc_count都是 0这不是巧合而是引擎级保证。xerj 的聚合模块开宗明义所有聚合都是精确的terms桶计数永远精确、doc_count_error_upper_bound恒为 0、sum_other_doc_count是被size/shard_size截断部分的精确总数截断为 0 时即为 0cardinality返回真实去重数而非 HLL 估计hits 总数也没有relation: gte近似见 aggs.rs。与 Elasticsearch 对高基数terms采用近似桶计数的行为形成对照这正是错误预算与告警阈值可靠的底层原因。汇报数字前的对账_count 与聚合桶之和文档给出的第二个值得内化的实操习惯是对账。捕获目录共 2,500 行日志而运行报告了 2,502 个存活文档service桶之和是 2,500说明有2 个文档没有service字段JSONL 每文件多出的 1 条文件级记录即属此类。用_count与聚合桶之和做差差值就是你分组所依据字段缺失的文档数curl -s -XGET http://127.0.0.1:9200/jlog-*/_count当数字是交付物时Agent 报告、监控面板永远先跑_count再做一次聚合两者对不上时先解释缺口再报数字。gzip 日志与明文文件同等对待同一目录里的旧 gzip 日志无需任何特殊处理。open_reader使用flate2::read::MultiGzDecoder在读取层透明解压extract/mod.rs且这个读取层对所有解析家族通用——所以.jsonl.gz与旁边的明文.log在同一次运行中被同等读取落在同一个查询模式之下。解压成本只在索引期支付一次查询期永远不会重新读取压缩文件。如果想区分来源看ax_format与ax_path两个溯源字段gzip 来源记logs(gzip)与service.log.gz明文来源记logs与service.log。关于 gzip 日志的完整对照实验明文与 gzip 副本索引后计数、命中、首条消息完全一致p50 查询延迟 0.455 ms 等见 search-gzip-logs-without-zgrep.md。本文捕获的边界条件把这次演示与生产级日志平台区分开是诚实使用的前提规模RUN-A 是单节点、2 个文件、2,500 行日志的单主机捕获证明的是推断能力与计数精确性而非日志规模吞吐该配置无副本、无故障转移项目自身建议单语料控制在百万级文档以内全文检索message走 BM25 排序关键词查询即可命中默认嵌入器是词法特征哈希384 维混合词法向量非神经无法把查询关联到同义词神经嵌入需显式开启--embed-mode neural内置 Candle BERT约 3 文档/秒、--embed-mode proxy或 ONNX 实验后端见 catalog.rs 的说明文档计数口径与日志行数对照时始终记住每行 1 条每文件 1 条的规则以及文件级记录可能不含service等业务字段。结合上文对账方法任何一次运行你都能独立核实386 条 ERROR这类数字先_count拿总数再跑by_level聚合两者交叉验证后数字才适合进入报告。延伸阅读search-gzip-logs-without-zgrep.mdgzip 与明文日志副本的逐项对照实验search-kubernetes-pod-logs-on-disk.md磁盘上 Pod 日志的同类索引流程cheap-low-volume-log-search.md低流量日志检索的成本取舍search-engine-without-docker.md单二进制、无容器、无 JVM 的节点启动方式infer/dates.rs8 种日期编码与 epoch 窗口的具体实现infer/mod.rs类型推断的 95% 阈值与字段判定策略aggs.rs聚合精确性的引擎级声明与实现赞分享【免费下载链接】xerjXERJ is the new way for AI to search data. Its autoindex capability activates agents to know your data without the token waste of grep and sed. One command indexes code, docs, logs and PDFs for search, RAG, security audits and agent memory, using 40x fewer tokens than grep. Elasticsearch compatible, so existing clients just work.项目地址https://gitcode.com/GitHub_Trending/xe/xerj点击查看免费下载相关推荐OpCore-Simplify十分钟一键生成黑苹果 OpenCore EFI 的完整指南OpCore Simplify十分钟一键生成黑苹果 OpenCore EFI 的完整指南 OpCore Simplify 是一款面向黑苹果在 PC 上运行XERJ autoindex 零配置索引实战一条命令让任意文件夹变成可 AI 检索的数据集XERJ autoindex 零配置索引实战一条命令让任意文件夹变成可 AI 检索的数据集本篇技术指南基于仓库中的零配置索引配方 https://link用 xerj autoindex 把文件夹变成 AI 可检索的索引零配置建库、数据地图与 MCP 查询实战用 xerj autoindex 把文件夹变成 AI 可检索的索引零配置建库、数据地图与 MCP 查询实战导读本指南讲解 XERJ 的核心能力 xerj上一篇ty 类型检查器对 SQLAlchemy 的类型推断实测以 mdtest 外部依赖测试为视角下一篇get-shit-done Node Repair 工作流解析任务验证失败后的自主修复算子创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

xerj autoindex 实战：一个文件夹同时检索 JSON、JSONL 与 gzip 日志

相关推荐

GetQzonehistory：一键把QQ空间历史说说完整导出成Excel和网页

ROS手柄控制机器人底盘：从joy节点到cmd_vel的完整实现

MCreator Bedrock 生物群系 ground_block 参数详解：surface_builder 顶部物块的选取原则与生成性能边界

更多资讯

大模型生产级后训练：从微调到可落地的流水线

生产级后训练实战：从数据准备到模型部署的完整指南

Muse Code新计划解读：本地AI辅助编码与批量任务实践指南

AI应用工程化实践：从模型选型、本地部署到批量任务落地

VC++ 通过 USB 直连 GT800 打印 ZPL 标签：通道选型、指令拼装与避坑指南

WPE封包全套实战：从Winsock Hook到封包修改重放指南

今日更新

NetSpot 实战：用信道分析与频宽优化解决 Wi-Fi 卡顿

C++ split() 字符串分割的五种实现与性能实测

R语言坐标轴范围设置：从xlim/ylim到coord_cartesian的完整指南

本周精选

交通拥堵预测毕设：基于Python+LSTM的车辆流量预测系统全流程解析

MATLAB/Simulink搭建10机39节点电力系统暂态稳定仿真实战

无人机航拍三维重建全流程：从SfM到网格生成的避坑指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？