CNN-LSTM混合网络实现小时级天气预测的原理与PyTorch实践-北京尧图网络

简介这是一套面向天气预测与时序建模学习者的完整Python项目依托CNN-LSTM混合网络实现精细化小时级天气预报。项目将卷积神经网络的局部特征提取能力与长短期记忆网络的时序记忆能力结合适合有一定深度学习基础、希望快速上手时序预测实战的开发者参考。资源共26个文件压缩包仅3.58MB以8个py源码文件为主体覆盖CNN-LSTM、LSTM、GRU、RNN、BiLSTM等可对比模型另含11张jpg和4张png实验对比图、Houston.csv真实气象数据及readme说明文档便于对照复现。当前已有1260人学习下载。读者可获得完整可运行的训练与预测代码、跨模型效果对比图像以及真实值和预测值的可视化拟合结果帮助理解CNN与LSTM融合在小时级天气预测中的表现差异与调参思路。1. 基于CNN-LSTM混合网络的精细化小时级天气预测源码先明白它解决什么问题基于CNN-LSTM混合网络的精细化小时级天气预测源码表面上是一套PyTorch或Keras代码实际上解决的是传统数值预报在小尺度、短时段的“最后一公里”问题。日最高气温、24小时总降水这些指标传统模式已经做得不错但问它“下午3点这个工地能不能浇筑混凝土”“明天上午9点的高速路段有没有横风”它经常含糊其辞。这套源码用CNN提取多站点、多要素的空间梯度特征用LSTM建模小时级时间依赖直接输出未来1到6小时逐小时的温度、湿度、风速和降水概率。它不需要超算资源一张消费级显卡甚至纯CPU就能跑完训练和推理。适合气象服务公司、电力负荷预测团队、农业物联网项目组也适合想拿真实天气数据入门时序加空间建模的开发者。2. 为什么是CNNLSTM从空间特征到时间依赖的模型选型逻辑2.1 天气预测为什么不能只用LSTM不少新手拿到小时级气象数据第一反应是“这明明是一排时间序列直接上LSTM不就好了”。我最早也这么干过效果比ARIMA强不少但很快就翻车了。纯LSTM的输入是每个时刻的一维特征向量它只能看到单站点或单要素的历史轨迹完全不知道“隔壁那个站现在什么温度”“上游风向朝哪边吹”。可天气的本质恰恰是连续空间场某地一小时后的升温往往不是因为本地历史气温高而是因为十几公里外有个暖脊正在移过来。LSTM没有邻居概念空间信息在输入端就丢了后面堆再多层也找不回来。还有一种选择是直接把所有站点拍平成一个大向量喂给LSTM或者用Transformer做时间注意力。前者的问题是站点之间的拓扑关系和距离梯度完全靠模型自己硬学数据量不够时学出来的全是伪关联后者在小样本气象数据上很容易过拟合而且注意力矩阵计算量随序列长度平方增长小时级数据一天就是24个点训练速度远不如CNNLSTM。所以这套源码选CNNLSTM不是怀旧而是在“空间局部特征”和“时间依赖”之间做了一个分工明确的妥协。2.2 CNN分支在小时级天气数据上提取什么小时级数据的空间结构有一个特点单帧变化平缓真正能预测未来的强信号是梯度。锋面过境、海陆风转换、山谷风增强这些现象表现在气压、温度、风场的空间导数上而不是某个点的绝对值。CNN的卷积核天然就是做梯度检测的一个3×1或5×1的卷积核在站点序列上滑动等价于用相邻几个站的差值刻画出局地变化趋势。具体到实现常见做法是用Conv1d把“站点”当成空间维“气象要素”当成通道。比如你有20个站点、每个站点6个要素那么某一时刻的输入形状就是(20, 6)20是序列被卷积的长度6是输入通道数。卷积核沿着20个站点的顺序滑动提取的是“哪几个相邻站之间存在异常梯度”。这里有个细节容易被忽略站点的排列顺序不能随意排否则卷积核看到的是没有物理意义的“假邻居”。我一般先按站点经度排序再在模型外部分组或者直接把距离矩阵作为卷积权重初始化的一部分。如果站点足够密也可以投影成经纬度网格用Conv2d但稀疏站点插值出来的网格会引入虚假的空间相关性我建议新手先老老实实用一维卷积。2.3 LSTM分支如何建模小时级时间依赖CNN负责回答“这一刻场长得怎么样”LSTM负责回答“这些特征接下来怎么演变”。小时级预测比日级预测更依赖短时记忆前两小时的变压风趋势、云量爬升速度往往比前一天的平均气温更有指示意义。LSTM的细胞状态像一个可写的黑板遗忘门把长期背景漂移擦掉输入门把当前CNN提取的特征写进去输出门决定这个时刻的黑板内容对最终预测有多少贡献。在数据流上每一个时间步比如t时刻先让CNN对该时刻的空间特征做卷积输出一个固定长度的向量然后把过去24个时刻的CNN向量按时间顺序排成一串交给LSTM。LSTM的隐藏状态h_t就包含了“过去一段时间内空间梯度在如何演化”的信息。最后从最后一个时间步的隐藏状态接全连接层输出未来几个小时的预测值。注意不要用LSTM每个时间步的输出都去做预测那样会让模型被迫做在线预测反而学不好稳定的短时模式。只用最后一个时间步的输出让LSTM自己压缩时间信息是最稳妥的结构。2.4 混合网络的数据流与张量形状变化把数据流画出来会清楚得多这里不画图直接写形状。假设batch_size256lookback24小时站点数20要素数6那么原始特征张量形状是(256, 24, 20, 6)。很多源码里会先把站点和要素合并变成(256, 24, 120)也就是把20×6的二维特征展平成一维。进入CNN层时需要把批量和时间步合并这一步新手最容易出错。PyTorch的Conv1d期望输入形状是(batch, channels, length)所以我们把(256, 24, 120)变换成(25624, 120, 1)其中120是通道数1是卷积长度或者把站点维放在长度维。更常用的做法是保持站点维为长度维先reshape成(25624, 6, 20)用Conv1d把6个要素卷积成64个特征图输出(25624, 64, 20)再用一个全局池化把20个站点压缩成1个值得到(25624, 64)。然后reshape回(256, 24, 64)交给LSTM。这里有一个关键动作卷积必须只在每个时间步内部做不能跨时间步做否则会把未来时刻的信息泄漏到过去。实现时先reshape再卷积再reshape回序列形状天然保证了这一点。卷积层数不需要多我用一层Conv1d加一个池化就够堆两层在小数据集上很容易过拟合。LSTM层数设2层隐藏单元数从128开始调。源码里的这些参数一般都在配置文件的字典里改起来不用动模型主体。3. 从原始气象数据到训练样本小时级预测的数据管道3.1 数据源与字段选取这套源码要跑起来第一步不是急着定义模型而是把数据管道想清楚。小时级天气预测需要的历史数据有三个常用来源国家级气象站的历史观测通常能拿到最近几年的小时数据、再分析资料如ERA5里的单点插值结果、以及自己架设的自动气象站记录。对于大多数人从气象数据平台下载CSV格式的观测数据是最方便的方式。字段选取上不要一股脑把所有要素都塞进模型。我一般保留温度、露点温度、气压、风速、风向、降水量这六项外加一个“小时序号”作为周期性特征。风向是循环量不能直接当数值用要么转成sin和cos两个分量要么用角度差做处理。降水量在小时尺度上稀疏且容易为0我会单独开一个二值特征“是否降水”让模型先学会判断有无再回归量级。空气质量、云量这类数据如果缺失率高宁可不要也不要让模型从缺失值里学噪声。3.2 清洗、插值与归一化小时级数据最常见的脏点是时间戳不对齐。有的站点整点记录有的半点记录还有的中间缺了几小时。我的做法是先把时间列转成pandas的DatetimeIndex再按小时重采样用线性插值补缺。连续缺超过6小时的数据段直接舍弃因为插值出来的中长期趋势没有预测意义。风向在插值时不能直接线性插值要先拆成sin和cos再插不然从350度插到10度会绕一个大圈。归一化是整个管道里最容易被污染的一环。很多源码用全数据集的均值和标准差做归一化这在时间序列预测里属于“信息泄露”因为测试集的统计量已经被模型看到了。正确做法是只用训练集的统计量来归一化训练集、验证集和测试集。贴一段我常用的数据加载片段import pandas as pd import numpy as np from sklearn.preprocessing import StandardScaler def load_weather_data(csv_path, feature_cols): df pd.read_csv(csv_path, parse_dates[time], index_coltime) df df.resample(H).mean() # 统一到整点 df df.interpolate(limit6) # 缺6小时以内线性插值 df df.dropna(threshlen(df) * 0.8) # 缺失过多的列直接删除 # 风向拆分为 sin / cos df[wind_sin] np.sin(np.deg2rad(df[wind_dir])) df[wind_cos] np.cos(np.deg2rad(df[wind_dir])) df df.drop(columns[wind_dir]) return df[feature_cols [wind_sin, wind_cos]]这段代码先做重采样和插值再用dropna(thresh...)把缺失严重的列删掉。风向拆分必须放在插值之后、归一化之前否则角度处理会失败。注意resample(H).mean()会把半点数据归并到整点如果数据源已经是整点这步不会改变数据但能确保索引对齐。接下来归一化要单独写确保测试集不参与统计train_df load_weather_data(train.csv, feature_cols) test_df load_weather_data(test.csv, feature_cols) scaler StandardScaler().fit(train_df.values) # 只fit训练集 train_norm scaler.transform(train_df.values) test_norm scaler.transform(test_df.values)这里最容易被忽视的是scaler只放在训练集上拟合。我见过不止一个项目因为偷懒在全量数据上fit_transform导致验证集loss虚低上线后误差突然变大。标准化的好处是让Conv1d的梯度更平稳LSTM对输入尺度也更敏感尤其是风速和气压数量级相差很大时不归一化几乎训不动。3.3 滑窗构造样本lookback和horizon怎么定归一化后的数据要切成滑窗样本。lookback指用过去多少小时的特征horizon指预测未来几个小时。对小时级天气我的经验是lookback至少24小时最好48小时因为昼夜循环是24小时周期的要看到完整一个周期LSTM才知道当前处于一天中的哪个阶段。horizon则根据业务需求取1、3、6小时超过6小时CNNLSTM的优势会明显下降长时间预测还是得靠数值模式。构造滑窗时注意样本之间不要做随机打乱。时间序列的验证集必须按时间顺序切在训练集后面任何随机的train_test_split都会让模型“偷看”未来。也不要做交叉验证后打乱时间再合并那是时序预测的大忌。下面这段代码生成标准的滑窗样本def make_samples(data, lookback24, horizon6, step1): X, y [], [] for i in range(len(data) - lookback - horizon 1): X.append(data[i:(i lookback)]) # y是预测未来horizon小时的各要素值 y.append(data[(i lookback):(i lookback horizon)]) return np.array(X), np.array(y)step1表示每小时生成一个样本数据量足够大时可以保留。如果样本太多导致训练太慢可以把step改成训练集最大小时数比如step3每三小时取一个样本减少冗余。这里的y是未来6小时每个要素的值如果想只预测未来第6小时的值可以把y改成data[(ilookbackhorizon-1)]。需要提醒的是多步预测和单步预测的模型结构完全一样只是输出层神经元数量不同我在后面第6章再展开。4. 用PyTorch复现CNN-LSTM天气预测核心代码与训练参数4.1 模型定义Conv1d LSTM 全连接这套源码的核心模型结构不复杂但写法上有几个容易出错的地方。下面是一段可以直接跑的PyTorch模型定义输入形状为(batch, lookback, num_features)输出形状为(batch, horizon, num_targets)。import torch import torch.nn as nn class CNNLSTMWeather(nn.Module): def __init__(self, num_features, cnn_out64, lstm_hidden128, num_layers2, horizon6, num_targets6): super().__init__() # 第一层卷积把每个要素看成通道站点看成一维序列 self.conv1 nn.Conv1d(in_channelsnum_features, out_channelscnn_out, kernel_size3, padding1) self.gelu nn.GELU() self.pool nn.AdaptiveAvgPool1d(1) # 压缩空间维 self.lstm nn.LSTM(input_sizecnn_out, hidden_sizelstm_hidden, num_layersnum_layers, batch_firstTrue) self.fc nn.Sequential( nn.Linear(lstm_hidden, 64), nn.GELU(), nn.Linear(64, horizon * num_targets) ) def forward(self, x): # x: (batch, lookback, num_features) batch, lookback, _ x.shape # 每个时间步独立过卷积需要合并batch和lookback x x.permute(0, 2, 1) # (batch, features, lookback) # 但我们要按时间步处理所以把batch和lookback合并 x x.reshape(batch * lookback, -1, 1) # (batch*lookback, features, 1) x self.conv1(x) # (batch*lookback, cnn_out, 1) x self.gelu(x) x self.pool(x) # (batch*lookback, cnn_out, 1) x x.squeeze(-1) # (batch*lookback, cnn_out) x x.reshape(batch, lookback, -1) # (batch, lookback, cnn_out) out, _ self.lstm(x) # out: (batch, lookback, lstm_hidden) out out[:, -1, :] # 取最后一个时间步的隐藏状态 out self.fc(out) # (batch, horizon * num_targets) return out.view(batch, horizon, -1)代码里最关键的一步是第17行到第21行的reshape。因为Conv1d期望的输入是(batch, channels, length)而原始数据的时间步是独立的不能跨时间步卷积所以先把batch*lookback合并成一个批量每个样本只含一个时间步的数据。卷积完成后再分开成序列送入LSTM。AdaptiveAvgPool1d(1)把站点维压缩成1这步相当于让CNN自己决定哪些空间位置最值得保留。如果你没有站点维而是直接用一维特征这里的池化可以退化为一个取最大值或者直接flatten。全连接输出层用了两层线性结构中间加GELU。气象数据的预测目标一般是连续值没有理由用ReLU限制输出范围。如果预测目标是降水量这类零膨胀数据输出层前可以单独加一个sigmoid门控但一般先用纯回归跑通。4.2 训练循环与损失函数训练循环本身不复杂但有两个地方需要专门处理。第一个是损失函数。小时级气温暖度、风速、气压的量纲不同如果直接算MSE气压的误差数值大会主导梯度。我的做法是对每个预测目标的loss按量纲加权。简单起见也可以先用MSE但要在输出层把每个目标单独接一个全连接好让模型各学各的。更好的做法是使用带权重的MSE权重根据经验设置温度权重1风速权重0.3气压权重0.1降水权重0.5。第二个是学习率调度。LSTM对学习率很敏感太高会震荡太低会陷在局部最优。常见做法是用CosineAnnealingLR或者ReduceLROnPlateau。我在天气项目里习惯先跑5个epoch看loss量级再固定学习率在1e-3左右。def train_epoch(model, loader, optimizer): model.train() total_loss 0 for x, y in loader: optimizer.zero_grad() pred model(x) loss weighted_mse(pred, y) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) optimizer.step() total_loss loss.item() return total_loss / len(loader)clip_grad_norm_在这里不是可选项。LSTM训练时梯度很容易爆炸尤其是输入序列长达24小时以上时。不加梯度裁剪前几个epoch loss就跳到NaN是常事。我一般把max_norm设为1.0如果收敛太慢再调到2.0。weighted_mse是自定义函数权重向量根据训练集里每个要素的方差倒过来设哪个要素方差大给哪个小权重这也是个不错的替代方案。4.3 关键超参数设置与验证超参数决定这套源码最终能不能用。我给一个经过多个天气数据集调参后的起点配置CNN卷积核大小3padding1cnn_out64LSTM隐藏层128层数2dropout在LSTM层间设0.2优化器Adam初始学习率1e-3batch_size取256。如果数据量少于10万条样本CNN输出降到32LSTM隐藏层降到64防止过拟合。验证策略上一定要用时间序列的滚动验证。比如用前两年数据训练第三年验证而不是随机抽样。我会在训练集尾部切出7天数据作为验证集训练过程中每个epoch结束后在验证集上算一次MAE保存最佳模型。很多源码里默认保存最后一个epoch的模型这在天气预测上是个坑因为最后几个epoch往往已经开始过拟合验证集。下面这段是保存逻辑best_val_loss float(inf) for epoch in range(epochs): train_loss train_epoch(...) val_loss evaluate(model, val_loader) if val_loss best_val_loss: best_val_loss val_loss torch.save(model.state_dict(), best_model.pt)如果发现训练loss持续下降但验证loss先降后升就把early stopping patience设为5个epoch。天气数据本身噪声大不要指望验证loss无限下降到一定平台期就该停了。另一个常见问题是归一化后验证集metric看着很漂亮换到原始单位就惨不忍睹。所以验证阶段一定要把预测结果反标准化成实际气温、实际风速再算MAE否则你无法判断模型是不是真的学到了天气规律。5. 训练CNN-LSTM天气预测的避坑清单常见问题与排查5.1 现象loss震荡不收敛训练前几个epoch loss忽上忽下甚至跳到NaN。原因一般是学习率过大、梯度爆炸、或者输入数据里有未处理的极端值。解决步骤依次是先检查数据归一化是否只用了训练集统计量有没有个别特征方差为0再把梯度裁剪阈值从1.0降到0.5最后把学习率从1e-3降到3e-4。如果还不行把LSTM层数从2降到1很多时候是深层LSTM的梯度路径太长导致不稳定。不要一上来就换模型结构先按这个顺序排查十次里能解决八次。5.2 现象预测值滞后真实值预测曲线比真实曲线晚几个小时尤其在温度变化拐点处最明显。这是所有时间序列模型都容易犯的毛病LSTM学到的是“把最近的值往后平移一下”而不是真正的动力演化。原因通常是lookback太短模型找不到能预测变化的先行指标。先把lookback从12小时提升到48小时然后检查CNN层是不是把时间维的特征压得过狠比如你本末倒置地用了跨时间步的Conv2d把过去和未来混在一起。还有一个常见原因损失函数对变化幅度的惩罚不够。可以在loss里加一项预测值差分与真实值差分的MSE让模型学会追踪趋势。5.3 现象CNN层把时间维压没了模型跑通后发现训练速度极快但是loss居高不下打印中间张量形状时发现LSTM的输入时间步只有1。这是reshape顺序写反了。正确顺序是先合并batch和lookback过卷积再分开错误写法是先在batch维上卷积等于把所有时间步当成batchLSTM拿到的是一个长度为1的“序列”。排查方法很简单在forward里打印x.shape确保LSTM输入的第二个维度等于lookback比如24。这类问题在源码里非常隐蔽因为不会报错只会出烂结果。5.4 现象归一化泄露导致测试集效果虚高测试集MAE比验证集好得多甚至比训练集还低。这基本可以断定是归一化时用了全量数据的统计量。很多源码的顶层调用里写着scaler.fit(data)没注意data已经包含了测试集。标准化的均值和标准差虽然只有两个数但已经携带了测试集的分布信息模型相当于是开卷考试。解决方法是严格切分时间后再fit或者把scaler放到数据管道里一个独立模块只在训练阶段执行fit。另外做特征工程时对缺失值插值也要用训练集的数据来拟合插值器不能用测试集里的值去补训练集。5.5 现象小时级突发天气边界预测模糊模型对雷阵雨、大风这类短时突发过程预测不准要么报不出要么报得范围过大。原因有两个一是小时级降水本身就是零膨胀、偏态分布MSE天然会把多数时刻的“无降水”学得更好少数强降水时刻被忽略二是CNN卷积核的感受野太小看不到几十公里外的对流触发信号。解决方向有两个把预测目标改成“未来1小时降水有无”的分类任务和“有降水时降水量多少”的回归任务分开建模或者扩大CNN卷积核到5×1并在输入特征里加入雷达反射率或卫星云图温度场。如果数据源只有站点观测至少要加入相邻多个站点的气压倾向和露点差这些是对流发生前最明显的信号。6. 从源码到可用预报评估指标、多步预测与部署验证6.1 评估指标MAE与RMSE加一个业务指标很多源码用RMSE做唯一指标但RMSE对极端值敏感小时级天气里一次强降水就能让RMSE变得很大掩盖常规时段的误差。我习惯同时看MAE和RMSE两者接近说明误差分布均匀RMSE远大于MAE说明有少数时刻预测得特别离谱。除了这两个还要算一个业务指标预测正确率在容差范围内。比如温度预测误差在±1度内算对风速在±2m/s内算对这个指标直接反映给用户时有多少次能被采纳。为了反标准化需要保存归一化时的均值和标准差。在预测时先用模型输出反标准化回原始单位再计算指标否则所有误差都在0到1之间看不出实际意义。6.2 多步预测递归预测与直接预测如果源码里只有单步预测模块而业务要未来6小时很容易直接把horizon设为6然后一次性输出6个未来值。这种做法叫直接多步预测优点是训练简单但模型会忽略预测时段内自身的误差传导。更好的做法是递归预测预测出第1小时的值把它拼到输入末尾再去预测第2小时。递归法更符合真实使用场景但误差会随时间步累积。我实践下来的折衷方案是用直接预测输出未来3小时再用递归法往后推3小时到6小时。这样既控制了累积误差又让模型见过中间时刻的真实结构。6.3 用历史回测验证模型稳定性把源码跑通后最忌讳直接拿今年数据预测下个月就上线。正确做法是做一套滚动的backtest用2018到2022年数据训练预测2023年每个月1号的未来6小时然后滑窗到2019到2023年训练预测2024年。每次只滚动一年记录每个站点的MAE。天气预测模型最怕季节性偏差训练数据里没有夏季样本夏天预测就必然翻车。滚动回测能发现这个问题。我把回测结果画成误差随时间变化的折线图如果误差逐年没有上升趋势再谈上线。6.4 一个埋坑习惯把模型和数据版本一起锁定我最后想分享一个坑了我很久的习惯只保存模型权重不保存数据管道版本。天气预测数据管道里归一化参数、插值方式、站点排列顺序、滑窗长度每一个都可能变。有一次我改了站点特征忘了重新保存scaler结果旧模型加载新scaler后输出的全是错乱值。从那以后我只用一个配置文件记录所有预处理参数训练时把scaler和模型一起打包。如果明年你想复用这套源码一定记得在模型输出旁边存一份config.json里面写好特征列表、lookback、horizon、站点的排序方式和归一化统计量。这样哪怕过三个月再回来跑也不会因为某个细节不一致而抓瞎。这套源码真正的门槛不在模型结构而在数据管道和验证逻辑。多花一天时间把数据清洗和滚动验证做扎实比多换十种模型结构都管用。希望这个方向的经验能帮你的小时级天气预测项目少走几步弯路。本文还有配套的精品资源点击获取

CNN-LSTM混合网络实现小时级天气预测的原理与PyTorch实践

相关推荐

ChatGLM3 Composite Demo 实战指南：基于 Streamlit 的对话、工具与代码解释器一体化演示

AnyPS5 跨平台图形兼容层：SPIR-V 与 SDL 实战解析

Windows上用Docker部署OpenClaw并接入飞书机器人的完整指南

更多资讯

Python入门高频问题全解析：环境配置、导包、语法与并发

Ubuntu 20.04 WiFi 连接故障排查与 netplan/nmcli 实战配置

PPT公式导入XHEDITOR图文混排的完整方案：从格式探测到LaTeX渲染全链路实战

信息管理系统毕设全流程：从需求分析到Spring Boot+Vue项目落地

档案管理系统建设方案：用Word高效排版与自动化生成实战指南

Agent-Reach 实战：用 CLI 和 Python 打通 AI Agent 的触达层

今日更新

PHP htmlentities()函数用法讲解

AI Agent工程实战：从七要素到七个决策点的系统设计指南

AI入局芯片设计验证：验证收敛50倍加速的真相与应对

本周精选

CMOS设计三大物理效应：体效应、沟道长度调制与亚阈值导电

微信小程序在线阅读毕设全解析：Java后端+MySQL+避坑实战

Android音频问题五层分析法：从App到Codec的系统化诊断

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？