尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
133.7万条刷卡记录,一套开源栈如何把深圳地铁客流算明白
133.7万条刷卡记录一套开源栈如何把深圳地铁客流算明白【免费下载链接】SZT-bigdata深圳地铁大数据客流分析系统项目地址: https://gitcode.com/gh_mirrors/sz/SZT-bigdataSZT-bigdata深圳地铁大数据客流分析系统拿 133.7 万条真实深圳通刷卡记录开刀用 Flink、Kafka、Hive、ClickHouse 等十几种开源组件搭出一条从数据清洗、实时入库到指标看板的完整链路。它要回答的不是大数据能做什么而是地铁客流这个具体问题每一步落在哪个组件上。深圳地铁客流数据到底难在哪深圳每天几百万人次进出站运营方想知道的其实很朴素哪个站最挤、哪条线通勤最久、换乘占多大比例。但原始刷卡数据是带 11 个字段的 JSON 串单日一百多万条直接扔进任何数据库都查不动更麻烦的是同一份数据要同时服务当天实时看和历史深挖两种需求。SZT-bigdata 的选择是不找商业平台用开源组件把链路一段段拼出来每一步能替换、能复现选型理由直接写进文档。拆开看5个Maven模块各管一摊根 pom 下只有 5 个子模块职责切得很干净。数据怎么进来ETL清洗与接入SZT-ETLETL-Flink是一组 Scala 写的 Flink 作业每个都是独立的 main 方法Jsons2Redis把原始 JSON 写入 Redis靠 HSET 天然去重Redis2Kafka把清洗后的 126.6 万条合格数据推进topic-flink-sztRedis2ES、Redis2HBase、Redis2Csv分别负责全文检索、卡号流水查询和按天分块存盘。选 Flink 1.10 是因为流批两头的生态最成熟Redis 做中转几乎零成本。它是全链路的数据源头所有下游都从它手里拿数据。ETL-SpringBoot只干两件事暴露 Redis 数据的 REST API以及卡号密文明文互转——项目反推出了深圳通卡号的脱敏映射规律支持一键解密查询。SpringBoot 是暴露 API 最省事的方案配 knife4j 在线调试接口不用背命令。实时怎么查双库写入SZT-flink SZT-kafka-hbaseSZT-flink的Kafka2MyCH消费 Kafka 主题经自写的MyClickhouseSinkFun写入 ClickHouse——第三方 sink 连不通作者干脆自己实现了一个。ClickHouse 选来做实时分析层是因为列式聚合查询比同类方案快得多。SZT-kafka-hbase是自制的 HBase SpringBoot Kafka 集成rowkey 用卡号反转打散热点列族保留 10 个版本查一张卡最近 10 次交易秒回。自研是因为现成 starter 依赖太旧、连接不复用。两个模块消费同一批 Kafka 消息一个写分析库、一个写 KV 库互不干扰。离线怎么算Hive数仓四层建模SZT-spark-hiveSparkOnHive演示本地写 Spark 程序操作远程 Hive。真正的重头戏是仓库里的sqlcommand/hive.sql1300 多行 HQL 按 ODS、DWD、DWS、ADS 四层建模产出 20 多张 ADS 指标表从各站进出站人次排行到全城平均通勤时长。指标用 Hive SQL 而不是纯 Spark 写是开发维护成本最低的选择Spark 留给更复杂的计算场景。公共部分怎么复用SZT-commonSZT-common放各模块共享的数据模型SZTBean、卡号互转工具ParseCardNo还有爬取的 45932 条线路规划换乘方案SZmetro、TravelPlan。它不碰任何集群组件保证五个模块里同一份数据长得一样。跑起来是什么样深圳地铁客流看板实录第一幕在 Kibana时间轴定在 2018-09-01刷卡记录曲线集中砸在上午 6 点到 12 点早高峰形状一眼可辨。第二幕在 ADS 看板当天进站第一是五和站出站客流主要涌向深圳北、罗湖、福田口岸三个枢纽一号线上午收入 30 万元排第一全城乘客平均通勤 1791 秒约 30 分钟还有个滞留王进出站间隔 4.75 小时作者专门用地图标出了那个站。第三幕在 ClickHouse 和 HBase 里刷卡记录经 Flink 实时落库按卡号一查就是最近交易流水不用扫全表。上手要多久值不值得花时间先说结论它不是半小时跑起来的项目。完整链路依赖 CDH/Hadoop 集群README 建议至少 40GB 总内存、三台机器起步家庭开发机照搬不现实。适合两类人一是正在学大数据、想亲眼看到Flink 洗的数据怎么流进 Kafka、Hive 怎么建 ADS的人二是做选型调研、想看同一份数据在 Hive、Spark、Impala、ClickHouse 里表现差异的人。最短体验路径先读 README 的架构说明再按Jsons2Redis、Redis2Kafka、hive.sql、Kafka2MyCH的顺序看代码每个 Flink 作业都是单个 main 方法读起来不累仓库内附2018record3.zip备用数据离线也能玩。不适合只想要一个现成看板、不关心中间链路的人——这个项目的价值恰好在链路本身看板只是副产品。仓库地址 https://gitcode.com/gh_mirrors/sz/SZT-bigdata clone 下来从 README 的准备工作一节开始即可。作者的设计意图是同一个问题多种实现同一批指标 Hive SQL 和 Spark 各有一套ClickHouse sink 也留着第三方与自写两个版本对着比。TODO 里还挂着flink 流式实时分析早晚高峰站点压力排行没做完没写完的地方本身就是学习材料。README 里的踩坑注释——ES 时区、CDH 2021 年转收费后改推原生 Hadoop 集群——比代码本身更值得细读。对想啃深圳地铁大数据方案的新手来说这些注释是比文档更直接的捷径。【免费下载链接】SZT-bigdata深圳地铁大数据客流分析系统项目地址: https://gitcode.com/gh_mirrors/sz/SZT-bigdata创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED

相关推荐

Gopherus SSRF 利用实战:从装好到拿到 Shell 的完整流程

Gopherus SSRF 利用实战:从装好到拿到 Shell 的完整流程

Gopherus SSRF 利用实战:从装好到拿到 Shell 的完整流程 【免费下载链接】Gopherus This tool generates gopher link for exploiting SSRF and gaining RCE in various servers 项目地址: https://gitcode.com/gh_mirrors/go/Gopherus Gopherus 就干一件事&…

📅 2026/10/31 18:14:24
纯NumPy+Matplotlib实现智能路径跟踪:python_simple_mppi 跟随案例源码逐行精讲

纯NumPy+Matplotlib实现智能路径跟踪:python_simple_mppi 跟随案例源码逐行精讲

纯NumPyMatplotlib实现智能路径跟踪:python_simple_mppi 跟随案例源码逐行精讲 【免费下载链接】python_simple_mppi Python implementation of MPPI (Model Predictive Path-Integral) controller to understand the basic idea. Mandatory dependencies are numpy…

📅 2026/11/4 6:49:58
AI编程助手安全防护:SkillGate运行时恶意文件检测方案

AI编程助手安全防护:SkillGate运行时恶意文件检测方案

1. 项目概述:当AI编程助手开始“读”用户上传的文件最近和几个做AI Agent平台的朋友聊天,大家不约而同地提到了同一个头疼的问题:用户上传的“技能文件”(Skill File)到底安不安全?这听起来像个杞人忧天的技…

📅 2026/11/1 11:28:30
MORE NEWS

更多资讯

📰

济南电工证啥时候考的?考前押题助你少走弯路

济南电工证啥时候考的?考前押题助你少走弯路 不知道去哪报名怕被中介坑,济南电工证啥时候考的?这是很多想考证的小伙伴最头疼的问题。网上一搜信息五花八门,有些地方收费高得离谱,还有些培训机构不靠谱,拿钱不办事,耽误时间不说,还可能影响你的职业生…

📰

低压电工证理论考几题别怕挂科 电子证书怎么考更稳妥

低压电工证理论考几题别怕挂科 电子证书怎么考更稳妥 怕考不过白交培训费?你不是一个人。去年郑州一家建筑公司就有3个工人因为理论考试不及格,培训费打了水漂。其实低压电工证理论考试 总共60题 ,考前掌握重点就能稳过。更关键的是,现在…

📰

黄陵县高低压电工证怎么考?上岗必备全流程避坑指南

黄陵县高低压电工证怎么考?上岗必备全流程避坑指南 你是不是也遇到过这种情况:想在工地、工厂或者电力相关单位找一份稳定的电工工作,结果被告知“ 必须有黄陵县高低压电工证…

📰

南通电工证发证单位考前押题怎么搞?工地太忙根本没时间复习考试

南通电工证发证单位考前押题怎么搞?工地太忙根本没时间复习考试 工地太忙根本没时间复习考试,这是很多一线电工的真实写照。特别是像你这种在驻马店干建筑的,天天扛着工具、爬架子、接电线,哪还有空去琢磨考前押题?但别小看这张南通电工证发证单位发的低…

📰

电工证考试及格线你知道多少?值不值得考

电工证考试及格线你知道多少?值不值得考 不知道去哪报名怕被中介坑?你不是一个人。南阳卧龙区从事房建工程的师傅们,几乎每个人都遇到过这种烦心事。电工证考试及格线是多少?值不值得考?今天就来聊清楚,帮你避坑。…

📰

低压电工作业证书报名怎么报名?证书过期了不知道怎么复审延期

低压电工作业证书报名怎么报名?证书过期了不知道怎么复审延期 证书过期了不知道怎么复审延期?低压电工作业证书报名怎么报名?这是很多电工师傅在实际工作中遇到的难题。尤其是在信阳浉河区,很多劳务班组负责人为了确保施工安全和合法合规,必须为班组成员…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬