LCTFP代码实战：基于CNN与LSTM的高速公路交通流量预测-北京尧图网络

简介基于CNN和LSTM组合的高速公路交通流量预测模型LCTFP完整Python实现面向交通流量时空建模研究者与开发者可用于短时交通流预测及类似时序任务。模型以1D CNN提取短时交通流空间特征LSTM捕捉时间特征有效融合时空依赖配套脚本涵盖数据预处理、归一化、模型训练、对比评估并支持通过hyperas进行超参数搜索。资源包含21个文件主要有7个Python脚本、6个H5模型权重、4个JSON配置、2张结构图、1份原始PEMS数据压缩包及1个Markdown说明整体约31MB。目录中脚本与训练权重分离既可直接加载预训练模型复现结果也可修改后重新训练。已有5334人学习适合具备一定深度学习基础、希望掌握CNN-LSTM交通流预测建模流程的读者。1. LCTFP这份基于 CNN 和 LSTM 的高速公路流量预测代码能帮你少走三个月弯路交通流量预测这个方向网上能跑通的代码其实不多。很多论文只给了结构图代码部分要么残缺要么数据预处理写得含糊复现起来非常痛苦。这份 LCTFP 项目TrafficFlowPrediction-master我拆完之后最大的感受是它把「数据预处理 → 模型构建 → 超参数搜索 → 对比实验」这条完整链路都补齐了尤其是 1D CNN LSTM 的组合结构同时抓空间特征和时间特征思路非常清晰。代码基于 Python 和 Keras核心脚本包括 cnn_lstm_final.py、input_data.py、cnn_lstm_param.py还附带 PeMS 原始数据和处理脚本特别适合正在做短时交通流预测、想直接拿现成 Baseline 跑对比实验的从业者和研究生。2. 先啃数据data_preprocess.py 和 input_data.py 把 PeMS 原始 txt 变成了什么2.1 PeMS 数据长什么样meta data 和 data 两段式结构这份资源里带的 PEMS.zip解压后是多个 txt 文件。PeMSCalifornia Performance Measurement System的数据格式比较特殊每个文件开头有一段 meta data元数据记录采集时间、传感器编号、数据统计信息中间还夹杂着表格说明行。真正要用的交通流数据在文件后半段每一行是一个时间点的流量值。第一次打开这种文件的人很容易懵前几十行全不是数字直接 pd.read_csv 会得到一堆 NaN。data_preprocess.py 做的第一件事就是跳过这些非数据行。常见做法是先逐行读取检测到表头特征行之后才开始正式解析。我一般会先打印前 50 行看看结构再确定 skiprows 的数量。import pandas as pd # 常见做法先读前 50 行观察 meta data 结构再确定正式数据起始行 with open(d04_text_station_5min_2001_01_01.txt, r, encodingutf-8) as f: for i in range(50): line f.readline() print(f{i}: {line.strip()[:80]})这段代码的作用是快速定位数据体的起始位置。PeMS 文件的 meta data 通常会有固定的标识行比如station_information或Data标记行找到那一行之后正式的流量数据才从下一行开始。参数的调整核心是range(50)这个探测范围。如果你的 txt 文件结构不同把 50 改成 100 或 200 都行目的是把表头完整暴露出来不要一上来就盲目skiprows30硬砍。2.2 时间序列窗口化input_data.py 是怎么构造样本对的预处理做完之后input_data.py 负责把连续的时间序列流量数据切成「输入窗口预测目标」的样本对。这里核心逻辑是滑动窗口sliding window。假设原始流量数据是 5 分钟一个采集点一个半小时就是 18 个时间点。如果我们用前 12 个时间点预测后 6 个时间点那窗口大小 window_size12预测步长 pred_step6。这一步是整套代码里最容易翻车的地方。窗口太大模型学不到短时突变窗口太小模型缺乏上下文。LCTFP 这个项目针对的是短时交通流预测short-term traffic flow prediction所以窗口不能开太长。我一般会先看数据的自相关性定一个基础窗口再在超参数搜索里让模型自己选。import numpy as np def create_sequences(data, window_size12, pred_step6): X, y [], [] for i in range(len(data) - window_size - pred_step 1): X.append(data[i:i window_size]) y.append(data[i window_size:i window_size pred_step]) return np.array(X), np.array(y) # 假设 flow_data 是单个传感器一天的流量序列长度 2885 分钟粒度 × 24 小时 X, y create_sequences(flow_data, window_size12, pred_step6) print(fX shape: {X.shape}, y shape: {y.shape})这段代码的核心有三个参数window_size是输入时间步数pred_step是预测未来几个点data是一维流量数组。输出维度很好理解X的形状是 (样本数, 12)y的形状是 (样本数, 6)。注意这里len(data) - window_size - pred_step 1这个边界少写个 1 就会丢掉最后一个样本这种细节在数据量小的时候影响特别明显。多传感器场景下这些窗口还会按传感器 ID 分组构造避免把不同位置的数据混进同一个样本。2.3 归一化为什么必须用 fit 在训练集上的 scalar 去 transform 测试集流量数据的绝对值跨度非常大。凌晨接近 0晚高峰能到几千。如果不做归一化LSTM 的 sigmoid/tanh 激活函数会直接饱和CNN 的卷积核也学不到有效特征。LCTFP 使用的是 MinMaxScaler 把数据压到 [0,1] 区间这个没有问题。关键在于 fit 的时机。很多新手把全量数据丢进 scaler.fit()然后才切训练集和测试集。这是典型的未来数据泄露测试集的统计信息已经混进了归一化参数。正确的顺序是先切分再对训练集 fit用同一组参数 transform 训练集、验证集和测试集。from sklearn.preprocessing import MinMaxScaler # 先切分再归一化不能在全量数据上 fit train_size int(len(raw_data) * 0.7) val_size int(len(raw_data) * 0.15) train_raw raw_data[:train_size] val_raw raw_data[train_size:train_size val_size] test_raw raw_data[train_size val_size:] scaler MinMaxScaler(feature_range(0, 1)) train_norm scaler.fit_transform(train_raw.reshape(-1, 1)).flatten() val_norm scaler.transform(val_raw.reshape(-1, 1)).flatten() test_norm scaler.transform(test_raw.reshape(-1, 1)).flatten()这个顺序是整套代码里最值得记的一笔。scaler.fit_transform只接触训练数据scaler.transform只是套用已经学到的 min/max 参数。如果你不小心在全量数据上 fit 了特征分布会被人为拉开验证集和测试集的 loss 会异常好看——但模型一到真实场景部署就现原形。我在自己的项目里会额外把 scaler 对象保存成 joblib 文件部署推理时用同一个 scalar 做反向变换这样模型输出的归一化数值才能还原成真实的车辆流量。3. 模型结构拆解1D CNN 抓什么LSTM 抓什么两个通道怎么拼3.1 为什么是 1D CNN 而不是 2D CNN时间序列的局部特征提取交通流量数据从本质上是时间序列不是图像。2D CNN 需要把数据 reshape 成 (height, width) 的矩阵但流量数据只有一维的时间轴强行用 2D 卷积只会引入无关的空间维度假设。1D CNN 的卷积核是沿着时间轴滑动的天然匹配「连续几个时间点的流量变化趋势」这种局部特征。举个例子早高峰 7:50 到 8:00 的流量爬升本质上是一个局部的梯度上升模式。1D 卷积核可以学到「如果最近 3 个点持续上升那么未来 2 个点大概率继续上升」这样的局部规律。池化层会进一步压缩时间维度把特征抽象成更高层的信息。LCTFP 用的是 1D CNN 提取短时空间特征多传感器位置之间的关联性再用 LSTM 提取时间维度上的长期依赖。3.2 LSTM 的时间特征为什么交通流预测不能只用 CNNCNN 的感受野是有限的。就算卷积核叠了很多层它对「一小时前的高峰拥堵会如何影响现在的流量」这种长距离依赖仍然力不从心。LSTM 通过门控机制维护一个 cell state可以选择性地记住或遗忘过去的信息。在短时交通流预测里LSTM 的强项是捕捉周期性比如工作日的早晚高峰、午间低谷。LCTFP 的组合方式是输入先经过 1D CNN 卷积层做特征提取然后进入 LSTM 层做时间建模。这种先空间后时间的结构意味着 CNN 负责把相邻时间片段的原始流量压缩成高层特征LSTM 再跨时间步整合这些特征。对应的核心参数包括卷积核数量、卷积核大小、LSTM 单元数。下面是一个简化版的 Keras 实现骨架from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Conv1D, MaxPooling1D, LSTM, Dense, Dropout model Sequential() # 1D CNN提取短时局部特征 model.add(Conv1D(filters64, kernel_size3, activationrelu, input_shape(window_size, n_features))) model.add(MaxPooling1D(pool_size2)) # LSTM在 CNN 提取的特征上做时间建模 model.add(LSTM(units50, return_sequencesFalse)) model.add(Dropout(0.2)) # 输出层预测 pred_step 个未来时间点 model.add(Dense(pred_step))逐层说明一下Conv1D的filters64表示用 64 个不同的卷积核去扫描输入序列kernel_size3表示每个卷积核覆盖 3 个连续时间点。MaxPooling1D(pool_size2)把时间维度压缩一半保留最显著的特征。LSTM(units50)输出一个 50 维的向量这个向量可以理解为整个输入窗口的语义摘要。Dense(pred_step)把摘要映射成未来 6 个时间点的预测值。如果 n_features 大于 1比如同时输入流量、速度、占有率input_shape的第二维会对应扩展。3.3 参数文件怎么解读model json h5 是完整的模型存档资源里有一堆 .json 和 .h5 文件比如cnn_lstm_final.json、cnn_lstm_final.h5、lstm.json、lstm.h5。这些是 Keras 的模型存档格式json 保存模型结构有哪些层、每层参数维度h5 保存训练好的权重。两者缺一不可只有 json 没有 h5 就是空骨架只有 h5 没有 json 就没法确定输入维度。这个资源的目录结构很清晰Model文件夹下的所有文件都是已训练好的模型images文件夹里有threemodels.png和cnn_lstm.png对比图compare.py是模型效果对比脚本。对做 Baseline 对比的人来说这些直接用就行不用自己重训。加载存档的代码也很简单from tensorflow.keras.models import model_from_json with open(cnn_lstm_final.json, r) as f: model_json f.read() model model_from_json(model_json) model.load_weights(cnn_lstm_final.h5)model_from_json负责从 JSON 字符串重建模型结构load_weights负责灌入权重。注意这里的路径要和你实际解压的位置一致。如果你的环境里 Keras 版本和原作者不一致model_from_json偶尔会报 unknown layer 或者 unrecognized keyword argument 的错误这是因为保存时的 API 和加载时的 API 存在差异。遇到这种情况优先检查 tensorflow/keras 版本不要急着改代码。4. 训练与超参数搜索cnn_lstm_final.py 和 cnn_lstm_param.py 怎么分工4.1 cnn_lstm_final.py固定结构和最终的训练脚本cnn_lstm_final.py是用确定好的超参跑最终模型的脚本。它做的事情是加载 input_data.py 处理好的数据、构建 1D CNN LSTM 模型、编译并训练、保存模型和训练曲线。里面的超参数已经是搜索完的结果所以训练过程相对稳定。我拆代码时的经验是先看.json模型文件里的层结构反推输入数据的形状再看训练脚本里的 batch_size 和 epochs最后跑一小段验证。cnn_lstm_final.py里一个值得注意的细节是训练集和验证集的划分比例。这个比例会直接决定你看到的 loss 曲线形态。from tensorflow.keras.callbacks import EarlyStopping, ModelCheckpoint early_stop EarlyStopping(monitorval_loss, patience10, restore_best_weightsTrue) checkpoint ModelCheckpoint(best_model.h5, monitorval_loss, save_best_onlyTrue) # 模型训练 history model.fit( X_train, y_train, validation_data(X_val, y_val), epochs100, batch_size32, callbacks[early_stop, checkpoint] )这段训练代码里有三个值得解释的点。EarlyStopping的patience10表示连续 10 个 epoch 验证集 loss 没有改善就停止训练防止过拟合。ModelCheckpoint会在每次验证集 loss 创新低时保存当前权重训练崩溃也不怕。batch_size32是常规设置数据量大的话可以调到 64 或 128。epochs100是上限实际会因为 early stop 提前终止。训练完成后看history.history[loss]和history.history[val_loss]的曲线两者差距越大过拟合越严重。4.2 cnn_lstm_param.py用 hyperas 自动搜索超参数真正让我觉得这套代码良心的是cnn_lstm_param.py和 cnn_lstm_param.py 这个超参数搜索脚本。它基于 hyperas一个把 Hyperopt 包装成 Keras 友好接口的库实现可以自动搜索卷积核数量、LSTM 单元数、dropout 比例、学习率等参数。跑这个脚本前必须在环境里装好 hyperas否则 import 阶段就会报错。hyperas 的搜索思路是定义一个create_model函数把要搜索的参数用{{choice([...])}}或{{uniform(...)}}占位然后在data()函数里返回固定的训练数据最后调用Optimizer跑指定轮次的搜索。from hyperas import optim from hyperas.distributions import choice, uniform def create_model(): model Sequential() model.add(Conv1D(filters{{choice([32, 64, 128])}}, kernel_size{{choice([2, 3, 5])}}, activationrelu, input_shape(window_size, n_features))) model.add(MaxPooling1D(pool_size2)) model.add(LSTM(units{{choice([32, 50, 64])}}, return_sequencesFalse)) model.add(Dropout({{uniform(0.1, 0.5)}})) model.add(Dense(pred_step)) model.compile(lossmse, optimizeradam) return model best_run, best_model optim.minimize( modelcreate_model, datadata, algotpe.suggest, max_evals20, trialsTrials() )choice让算法在候选列表中选值uniform让算法在连续区间内采样。algotpe.suggest用的是 Tree-structured Parzen Estimator 算法它在 20 轮搜索内的效率比随机搜索高很多。搜索完成后best_run包含最优参数组合best_model是最优模型。我的建议是不要直接信任搜索出的参数把结果先手动跑一遍 30 个 epoch对比 loss 曲线确认稳定性后再正式训练。因为 hyperas 搜索过程中每个参数组合只跑很少的 epoch搜索得分高不代表真正收敛得好这一步在实战里经常被忽略也是很多复现翻车的源头。4.3 环境配置清单装依赖是第一个门槛跑这个项目之前需要准备的环境包括Python 3.6 以上、TensorFlow 2.x 或 Keras 2.x、NumPy、Pandas、scikit-learn、matplotlib、hyperas。其中最容易出问题的是 hyperas 的安装它对 Python 版本比较挑剔Python 3.9 以上的环境经常报import hyperopt相关错误。我的做法是单独建一个 conda 环境用 Python 3.8 装好所有依赖再跑。conda create -n traffic python3.8 conda activate traffic pip install tensorflow2.4.1 pandas numpy scikit-learn matplotlib pip install hyperas hyperopt版本为什么要锁TensorFlow 2.4.1 和 Python 3.8 是官方兼容性较好的组合后续版本的 API 变动比如tf.keras和keras的混用容易让旧代码报AttributeError或ImportError。如果你的环境已经是 Python 3.10装 tensorflow 和 hyperas 的依赖冲突会让你先在环境搭建上花费不少时间。资源里没有提供 requirements.txt所以我把常用组合列在这里实际操作时按你的系统环境微调即可。5. 避坑篇训练不收敛、预测滞后、内存爆掉的排查记录5.1 现象一训练 loss 高居不下曲线几乎平着走原因学习率设置过大模型在损失曲面边缘震荡或者输入数据没有归一化梯度爆炸导致参数更新不稳定。解决先检查数据的数值范围如果原始数据有几千的值没有归一化就直接进 LSTM 几乎是必挂的。确认归一化没问题后把优化器从默认的 Adam 改为带显式学习率参数的写法例如Adam(learning_rate0.0005)或者使用学习率衰减回调。我在自己的项目里会在前 10 个 epoch 观察 loss 的下降幅度如果前 5 个 epoch 完全没有下降直接调低学习率一个数量级再试。5.2 现象二验证集 loss 比训练集还低原因时间序列数据被随机 shuffle 了。model.fit默认会打乱训练样本顺序如果你的滑动窗口样本之间高度相关第 100 个窗口和第 101 个窗口重叠了一大段shuffle 之后验证集里混进了训练集的近邻样本模型相当于开卷考试验证 loss 自然虚低。解决在model.fit里设置shuffleFalse或者手动把训练集和验证集按时间顺序切分不交叉。更严格的做法是把原始数据按时间段切开例如前 70% 时间作为训练中间 15% 验证最后 15% 测试而不是随机抽样样本。这一条在流量预测里特别重要因为交通流有明显的日内周期性随机抽样会把同一个周期的前后片段同时分到训练和验证中。5.3 现象三预测曲线整体延迟了一拍滞后效应明显原因LSTM 对单点突变的响应不够敏感。当窗口输入是 12 个时间点时模型倾向于输出接近输入序列最后一个点的值因为大部分时间序列在短时间内的变化是连续的。这种情况在流量剧烈变化的早晚高峰尤其明显预测曲线比真实曲线晚了 1 到 2 个采样点。解决增大pred_step但缩短输入的window_size不一定有效。我试过几种方案最有效的是把损失函数从 MSE 改成 MAEMAE 对异常值不敏感会让模型更关注趋势匹配而不是绝对误差。另外可以尝试在 CNN 层后增加 BNBatchNormalization层让梯度传播更稳定模型更容易学到尖锐的突变特征。5.4 现象四运行时内存溢出窗口化之后数据量爆炸原因滑动窗口会把长度为 N 的序列变成 N-window_size1 个样本如果 N 是几十万再乘以多传感器数量X和y两个数组会把内存撑爆。加上TimeDistributed层或复杂 LSTM 层之后模型本身占用的显存也会成倍增加。解决分批次生成样本用生成器generator而不是一次性构造全部数据from tensorflow.keras.utils import Sequence class TrafficDataGenerator(Sequence): def __init__(self, data, window_size12, pred_step6, batch_size32): self.data data self.window_size window_size self.pred_step pred_step self.batch_size batch_size def __len__(self): return len(self.data) // self.batch_size def __getitem__(self, idx): batch_data self.data[idx * self.batch_size:(idx 1) * self.batch_size] X, y [], [] for seq in batch_data: X.append(seq[:self.window_size]) y.append(seq[self.window_size:self.window_size self.pred_step]) return np.array(X), np.array(y)Sequence是 Keras 内置的数据生成器接口__getitem__按批次实时构造样本不用一次性把所有数据放进内存。batch_size控制每个批次的大小显存不够就调小。这是我在处理长时间序列时最常用的一招也是资源里虽然没写但实际工程中必须掌握的技能。6. 验证与进阶compare.py 怎么用模型还能怎么扩展资源里的compare.py是把三套模型放一起做对比SAE栈式自编码器、LSTM、CNNLSTM。它会加载三个已训练好的模型在相同的测试集上分别预测然后把预测曲线画在一起。这个脚本的价值在于你能直观看到 LCTFP 的 1D CNN LSTM 到底比单独 LSTM 好在哪。跑compare.py前确认模型文件都解压到位尤其是Model文件夹下的三个 h5 文件。如果只跑了单一模型不对比基线数据你根本不知道提升的幅度有没有统计意义。评价指标方面除了 loss建议额外计算 MAE、RMSE 和 MAPE 三个指标。MAPE 在流量接近 0 的深夜时段会变得特别大所以一般会单独算白天的 MAPE 作为参考。from sklearn.metrics import mean_absolute_error, mean_squared_error import numpy as np mae mean_absolute_error(y_true, y_pred) rmse np.sqrt(mean_squared_error(y_true, y_pred)) # 过滤掉真实值接近 0 的点再算 MAPE mask y_true 10 mape np.mean(np.abs((y_true[mask] - y_pred[mask]) / y_true[mask])) * 100y_true是真实流量值反归一化之后y_pred是模型预测值。mask y_true 10这一步是我习惯加的把流量极低的夜间时段排除出 MAPE 计算避免分母太小导致指标失真。如果想在 LCTFP 基础上做进阶改造我建议从两方面入手。第一是把单步预测改成多步滚动预测训练时输出 6 个时间点预测时把前 3 个预测结果拼接回输入窗口继续预测下 3 个。这种滚动预测更接近真实业务的使用方式但误差会随时间步增加而累积。第二是把输入特征从单一流量扩展到多维PeMS 数据里其实还有速度、占有率等字段input_shape的第二维从 1 改成 3模型就能从多维度感知交通状态。最后收个尾我拆完这套代码的习惯是每次换数据集跑模型之前都强制自己先走一遍 data_preprocess.py 生成的统计摘要确认数据的时间范围、传感器数量、缺失值比例三个维度都正常再开始训练。这个习惯帮我避掉了至少三次数据对齐错误。希望这篇拆解对你有用能让你在复现 LCTFP 时少踩几个我已经踩过的坑。本文还有配套的精品资源点击获取

LCTFP代码实战：基于CNN与LSTM的高速公路交通流量预测

相关推荐

OpenClaw 2.7.9 对接飞书机器人完整分步实操教程（含安装包）

C语言循环控制：break、continue、goto的跳转机制与实战陷阱

AI编程工具深入使用：从代码补全到稳定高效工作流

更多资讯

C#上位机实战：西门子、三菱、欧姆龙PLC数据如何统一解析？

markit凭什么快13.9倍？5万页“丑陋PDF“三方基准测试全记录

Unibest：基于Vite和Vue3重构uni-app开发体验的现代化工程方案

Pandas读写Excel实战指南：openpyxl配置、多级表头处理与样式控制

Tesseract OCR中文识别实战：安装、语言包配置与Python集成

离线环境部署Docker：从docker.rpm.tar到MySQL与Redis容器实战

今日更新

Susi AI API实战指南：susi_alexa_skill如何用Node.js调用chat.json获取智能回答

换新电脑了？KeyStats 恢复码数据找回完全指南，端到端加密统计一键重建

重建二叉树：由前序与中序遍历序列还原二叉树的原理与 Java 实现（YCBlogs 剑指 Offer 精讲）

本周精选

交通拥堵预测毕设：基于Python+LSTM的车辆流量预测系统全流程解析

MATLAB/Simulink搭建10机39节点电力系统暂态稳定仿真实战

无人机航拍三维重建全流程：从SfM到网格生成的避坑指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？