Python股市情绪分析：从爬取股吧文本到相关性验证-北京尧图网络

简介基于Python的股市市场情绪分析项目源码与数据包面向对股市情绪分析、NLP情感分析及量化研究感兴趣的数据工作者和Python学习者。项目从互联网提取投资者情绪利用标注语料分析股评情感再构建情绪指标并研究其与股市走势的关系尤其适合在国内非有效市场环境中为投资决策提供参考。压缩包共15个文件约49.31MB主要包含4个Python脚本负责情绪指数计算、机器学习与深度学习建模、图表绘制、4个CSV数据文件存放评论数据、指数数据及模型分数、2个TXT标注语料、2个PNG结果图以及README说明与License许可文件目录结构清晰便于二次开发。已有2002人学习下载。读者可获得完整源码、示例数据与可视化结果系统理解语料标注、情感分析、指标构建与市场关联的完整流程并据此扩展自己的量化分析策略。1. 用Python股市市场情绪分析不是预测涨跌是量化“人心”很多人第一次听到“市场情绪分析”会下意识以为这是某种能预测明天涨跌的黑匣子。实际上这个Python项目要解决的是另一件事把股吧帖子、财经新闻、社交媒体发言这些非结构化文本转化成可以和行情数据放在同一张表里的情绪分数再拿情绪分数和时间序列指标做相关性分析。它解决的问题很具体——量价数据只能告诉你市场发生了什么情绪数据告诉你市场参与者正在想什么而两者之间的错位往往才是超额收益的来源。这个方向适合两类人一类是做量化研究或策略验证的从业者需要给自己的行情模型补一个另类数据维度另一类是刚入门Python数据分析、想找一个完整实战项目的开发者能把爬虫、文本处理、pandas合并、相关性检验一整条链路跑通。它会用到Python爬虫抓取公开讨论数据用情感词典或预训练模型给文本打分再结合行情数据做滞后相关性分析。整个过程不依赖昂贵的商业数据源本地电脑就能跑起来。2. 先解决数据从哪来用Python爬虫抓讨论文本与行情数据2.1 选数据源为什么股吧帖子比新闻更“贴近情绪”做市场情绪分析第一步是确定语料来源。常见选择有三类财经新闻、个股股吧帖子、社交媒体讨论。我的建议是第一版先用股吧帖子而不是新闻。原因在于情绪分析需要的是“散户情绪”新闻稿通常是机构口径语言中性且经过审校情感极性不突出而股吧帖子是散户直接表达看法的地方“明天涨停”“垃圾股赶紧跑”这种口语化文本情感色彩足够强规则词典也更容易命中。数据源的选取直接决定了后续情感词典的设计方向。我第一次做这个项目时用的就是新闻语料结果情感分数大量集中在0附近——中性文本太多区分度很差。换到股吧帖子后情绪分才真正拉开分布。另外需要注意抓取公开讨论数据时要控制频率只取页面明确提供的字段不要试图绕过反爬机制这是做技术验证和数据研究的底线。2.2 用requests请求股吧接口不登录也能拿到的帖子列表常见的股吧数据获取方式是直接请求网页接口。以东方财富股吧为例它的帖子列表接口是公开的返回JSON格式不需要登录只需要带一个常规的User-Agent即可。下面是一个最小可跑的抓取脚本import requests import pandas as pd def fetch_guba_posts(stock_codesz000001, pages3): 抓取东方财富股吧帖子标题返回DataFrame。 stock_code: 股票代码sz开头代表深市sh开头代表沪市 pages: 抓取页数每页约20条 base_url https://guba.eastmoney.com/list/{stock_code}.html api_url https://guba.eastmoney.com/list,{stock_code}_{page}.html headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36, Referer: base_url.format(stock_codestock_code), } rows [] for page in range(1, pages 1): url api_url.format(stock_codestock_code, pagepage) resp requests.get(url, headersheaders, timeout10) data resp.json() # data[re] 是帖子列表每条包含 post_title、post_publish_time 等字段 for item in data.get(re, []): rows.append({ title: item.get(post_title), time: item.get(post_publish_time), nickname: item.get(post_nickname), read_count: item.get(post_read_count), }) time.sleep(0.5) # 控制请求频率避免对服务器造成压力 return pd.DataFrame(rows) if __name__ __main__: df fetch_guba_posts(pages3) print(df.head()) print(共抓取 {} 条帖子.format(len(df)))这段代码的逻辑是构造分页URL用requests请求JSON接口解析出帖子标题、发布时间、作者和阅读数四个字段存进DataFrame。参数说明stock_code决定抓哪只股票pages控制数据量我一般跑3到5页做连通性测试确认接口稳定后再扩大规模。time.sleep(0.5)不是玄学是给服务器基本的礼貌也是避免IP被临时限制的必要手段。如果你运行完发现返回为空优先检查stock_code格式是否正确深市必须带sz前缀沪市带sh前缀。另外接口字段名可能随页面改版变化如果data.get(re)取不到数据先用print(data.keys())看JSON顶层结构再往上找帖子列表对应的键名。2.3 用akshare拉行情数据免费且无需注册情绪分数要和行情对齐必须有对应的价格数据。这里的常见做法是用akshare它封装了多个公开数据源不需要注册tokenpip install akshare后就能用。相比tushare需要申请tokenakshare对新手更友好适合快速搭原型。import akshare as ak def fetch_daily_kline(symbolsz000001, start_date20240101, end_date20241231): 拉取个股日K线数据。 symbol: 股票代码格式如 sz000001 start_date / end_date: 起止日期格式YYYYMMDD df ak.stock_zh_a_hist( symbolsymbol.replace(sz, ).replace(sh, ), perioddaily, start_datestart_date, end_dateend_date, adjustqfq # 前复权避免分红送股导致的价格跳空 ) # 统一列名后续合并情绪数据时用日期做key df.rename(columns{ 日期: date, 收盘: close, 涨跌幅: pct_change }, inplaceTrue) return df[[date, close, pct_change]] daily fetch_daily_kline() print(daily.tail())这里有个容易忽略的细节ak.stock_zh_a_hist的symbol参数不能带sz前缀直接用6位数字所以代码里做了replace处理。adjustqfq是前复权做历史回测时一定要加否则分红除权日会出现虚假的价格跳空情绪和涨跌的相关性会被扭曲。如果你只想分析指数而不分析个股akshare也提供stock_zh_index_daily接口参数逻辑类似。2.4 数据清洗时间格式、去重、帖子标题清理抓回来的帖子标题往往带一些噪声转载标记、多余空格、重复发帖。清洗这一步如果偷懒后面情感分析的结果会很脏。常见做法是把时间统一成datetime类型按标题做一次去重去掉纯数字或空标题的无效帖子。def clean_posts(df): 清洗原始帖子数据 1. 时间转datetime方便按日分组 2. 标题去空格、去换行 3. 按标题去重保留第一条 4. 过滤掉空标题和纯乱码标题 df df.copy() df[time] pd.to_datetime(df[time], errorscoerce) df[title] df[title].astype(str).str.replace(\n, , regexFalse) df[title] df[title].str.strip() df[date] df[time].dt.date df df.dropna(subset[time]) df df.drop_duplicates(subset[title], keepfirst) df df[df[title].str.len() 2] # 过滤单字/空标题 df df.dropna(subset[title]) return df清洗的逻辑依次是时间解析失败的行直接丢弃标题完全相同的重复帖子保留第一条过滤长度小于2的噪声数据。这里我没有过滤表情符号和URL因为它们对中文情感分析的影响不大而且后续词典匹配时自然会被忽略。如果你发现清洗后数据量骤减多半是接口返回了空标题或者时间解析失败建议打印出time列的原始值看格式用errorscoerce之后检查NaT占比。3. 把文本变成情绪分数从词典打分到模型推理的落地3.1 为什么先选词典打分而不是直接上BERT文本情感分析有两条常见路线预训练模型和自定义词典打分。很多人一上来就想用transformers加载一个中文情感分析模型但我的建议是第一版先用规则词典跑通整个链路再考虑模型替换。原因是词典打分完全可控——你能明确知道哪句话因为哪个词加了分出了问题能顺着逻辑排查而预训练模型是个“黑匣子”在财经这种强领域语境下通用模型经常把“暴跌”判成中性把“减持”判成负面但实际语境中“减持完毕利空出尽”反而是偏正面的表达。词典方法的核心是三张表积极词表、消极词表、否定词表。每张表就是一个Python列表每句话的分数等于积极词命中数减消极词命中数再根据否定词和程度副词做加权修正。这个方法精度不高但它可解释、可调参而且对硬件的需求为零。等整个链路跑通、确认情绪指标确实有分析价值之后再换模型不迟。3.2 构建金融情感词典通用词典不够用还要补金融词一个常见误区是直接复用开源的中文情感词典。豆瓣评论的情感词和股吧评论差异很大——“看多”“低吸”“加仓”这些词在通用词典里根本没有“爆雷”“割肉”“套牢”虽然是口语但也不在通用负向词表里。所以金融领域必须自定义扩充。下面是我常用的一版词典结构FINANCIAL_POSITIVE_WORDS [ 涨停, 大涨, 突破, 利好, 看多, 买入, 加仓, 低吸, 抄底, 反弹, 拉升, 主力, 资金流入, 增持, 回购, 扭亏, 超预期, 启动, 龙头, 新高 ] FINANCIAL_NEGATIVE_WORDS [ 跌停, 暴跌, 新低, 利空, 看空, 卖出, 减仓, 割肉, 套牢, 爆雷, ST, 退市, 质押, 计提, 违约, 下跌, 溃败, 垫底, 崩盘, 跑路 ] NEGATION_WORDS [不, 没, 别, 无, 未, 莫, 非, 勿] # 程度副词增强或减弱情感强度 DEGREE_ADVERBS { 非常: 1.8, 极其: 2.0, 很: 1.5, 太: 1.5, 稍微: 0.6, 有点: 0.7, 略微: 0.7, 比较: 1.2 }这套词典的设计思路是金融词优先匹配匹配到之后直接计入基础分数否定词放在情感词前一个位置命中则翻转极性程度副词则对基础分数做乘法缩放。比如“不看好”会被解析为命中积极词“看好”计1前面有否定词“不”分数翻转为-1。再比如“非常看好”会被解析为1乘以1.8等于1.8。词典的覆盖度直接决定了情绪分数的区分度。我第一版只放了三四十个词跑出来的分数几乎全部是0——因为大部分股吧帖子并不包含“涨停”“暴跌”这类极端词。后续我用半个月的帖子文本统计词频把高频情感词逐步补进词典分数才开始有分布。这个迭代过程是绕不开的没有哪个现成词典能直接覆盖你的语料。3.3 给每条帖子打分处理否定词、程度副词和句子切分有了词典下一步是写打分函数。这里有一个关键细节不能对整个帖子标题做一次性情感词匹配因为一个标题里可能有多个分句比如“早盘拉升但午后暴跌”整句得分会被抵消成0。常见做法是按逗号、句号、感叹号切分成子句先对每个子句独立打分再汇总成整条帖子的情绪分数。import re def score_title(text, pos_words, neg_words, negations, degree_adverbs): 对一条帖子标题做情感打分。返回分数为正表示偏乐观为负表示偏悲观0表示中性。 if not text or len(text) 2: return 0.0 # 按中文标点切分子句 clauses re.split(r[。!?;、\s], text) total_score 0.0 for clause in clauses: if not clause: continue clause_score 0.0 for i, word in enumerate(pos_words): if word in clause: clause_score 1.0 # 检查情感词前一个位置是否有否定词 if i 0 and clause[i-1] in negations: clause_score - 2.0 # 翻转为相反极性 # 检查更前面的位置是否有程度副词 if i 1 and clause[i-2] in degree_adverbs: clause_score * degree_adverbs[clause[i-2]] for i, word in enumerate(neg_words): if word in clause: clause_score - 1.0 if i 0 and clause[i-1] in negations: clause_score 2.0 if i 1 and clause[i-2] in degree_adverbs: clause_score * degree_adverbs[clause[i-2]] total_score clause_score return total_score这段代码有几个需要说清的逻辑clause[i-1]判断情感词前一个字是不是否定词但这里有个隐患——它是按“字符索引”判断而不是按“词边界”判断的。比如“不”和“看好”之间如果隔着标点会被切分到不同子句不会误判但如果文本是“不怎么样看好”就会误判。对于第一版来说这个误差可以接受更高精度的做法是用jieba分词后按词序列判断复杂度会明显上升。我的经验是先用字符级判断跑通再看误差率是否影响结论。评分策略上积极词计1、消极词计-1是比较基础的设定。你可以把它升级成权重制——把“涨停”的权重调到2把“反弹”的权重调到1.5这本质上是在用词典方法逼近模型的效果。权重怎么设没有标准答案我一般用词频加权的思路情感词在语料中出现频率越高权重越接近1越罕见但极性越强的词权重越高。4. 把情绪分数和行情对齐计算每日指标并验证相关性4.1 构建每日情绪指标均值、多空比和极端值单条帖子的情绪分数没有分析价值有价值的是聚合后的日度序列。每个交易日把所有帖子按日期分组后常见做法是计算三个指标平均情绪分、看多占比、情绪极值差。平均情绪分反映整体偏乐观还是偏悲观看多占比是正分帖子数除以当日总帖子数比平均数更稳健不容易被个别极端帖子带偏情绪极值差是当日最高分和最低分的差反映分歧度。def daily_sentiment(posts_df, score_colsentiment_score): 把带情绪分的帖子按日期聚合生成日度情绪指标。 posts_df posts_df.copy() posts_df[date] pd.to_datetime(posts_df[date]).dt.date daily posts_df.groupby(date).agg( avg_score(sentiment_score, mean), positive_ratio( sentiment_score, lambda x: (x 0).sum() / max(len(x), 1) ), extreme_diff( sentiment_score, lambda x: x.max() - x.min() ), post_count(sentiment_score, count) ).reset_index() # 过滤帖子数过少的日期避免小样本噪声 daily daily[daily[post_count] 3] return daily # 使用示例假设 posts_df 已经有 sentiment_score 列 # daily_ind daily_sentiment(posts_df) # print(daily_ind.head())post_count 3这个过滤条件值得强调某天只有1条帖子算出来的情绪分没有统计意义。我一般会把阈值设成5如果样本量不足宁可丢到那一天的数据也不硬算。x 0的比例相当于看多占比是一个0到1之间的值后续做相关性分析时它比均值更稳定——因为均值会被“涨”和“暴涨”的权重差异干扰而占比只关心方向。4.2 合并情绪指标和行情pandas里最关键的merge操作情绪数据是按自然日聚合的行情数据是按交易日聚合的两者直接合并会出现对不齐的情况节假日有帖子没有行情周末有帖子但下一交易日才有行情。常见做法是把帖子时间戳统一到最近的交易日——周一凌晨的帖子属于周一盘前的情绪应该对应周一收盘的数据。def merge_sentiment_market(daily_sentiment, daily_kline): 合并日度情绪指标和日K行情数据。情绪日期取最近的一个交易日进行对齐。 # 先把行情日期转成字符串统一格式 kline daily_kline.copy() kline[date] pd.to_datetime(kline[date]).dt.date merged pd.merge( daily_sentiment, kline, ondate, howinner # 只保留两边都有数据的日期 ) merged merged.sort_values(date).reset_index(dropTrue) # 计算次日涨跌幅用于滞后相关性分析 merged[next_day_pct] merged[pct_change].shift(-1) return merged这里的howinner是刻意的选择。如果你用left或outer会把没有行情数据的节假日期也保留下来这些行的pct_change是NaN后续相关性计算会被pandas默认丢弃。与其事后清理不如一开始就用inner join。另一点要注意的是pct_change是akshare直接给的涨跌幅字段单位是百分比数值而不是小数计算相关性时不用统一量纲相关系数本身就是标准化的。4.3 用协方差和相关系数验证情绪到底有没有预测力合并完成后最直观的验证方式是计算相关系数。建议同时算三个当日情绪分与当日涨跌幅的相关性同步相关性、当日情绪分与次日涨跌幅的相关性滞后一期预测力、看多占比与次日涨跌幅的相关性稳健性检验。import numpy as np def validate_correlation(merged): 计算情绪指标与涨跌幅的相关性输出相关系数矩阵。 cols_of_interest [avg_score, positive_ratio, extreme_diff] corr_results {} for col in cols_of_interest: # 同步相关性情绪 vs 当日涨跌 sync_corr merged[col].corr(merged[pct_change]) # 滞后相关性情绪 vs 次日涨跌 lag_corr merged[col].corr(merged[next_day_pct]) corr_results[col] {sync_corr: sync_corr, lag_corr: lag_corr} return pd.DataFrame(corr_results).T # corr_df validate_correlation(merged_data) # print(corr_df)跑出来的相关系数通常在-0.2到0.3之间不要指望出现0.8这种数字——金融时间序列的相关性能到0.2以上就已经值得深挖了。我实际跑过的经验是同步相关性通常比滞后相关性强说明情绪更多是市场的“镜子”而非“预测器”滞后相关性如果为正且稳定说明情绪极端乐观后次日惯性上涨的概率偏高但这是个统计规律不是交易信号。相关系数的显著性问题容易被忽略。样本量只有五六十个交易日时0.2的相关系数可能并不显著需要用scipy.stats.pearsonr计算p值。常见做法是如果p值大于0.05这个相关性就当作噪声处理不要为它构建任何策略逻辑。5. 市场情绪分析避坑实录现象、原因与修复5.1 爬虫拿到的数据全是空标题或乱码现象用requests请求股吧接口返回的DataFrame里“title”列大量为空或者出现“%E4%BD%A0%E5%A5%BD”这类百分号编码。原因接口返回的JSON里标题字段可能是URL编码形式也可能是字段名变了。另外请求头缺少Referer时部分接口会返回降级数据。解决不要直接解析post_title字段先打印原始JSON字典找到标题实际对应的键名。如果是URL编码用urllib.parse.unquote()解码。请求头必须带Referer我习惯同时带一个完整的User-Agent这两项是绕过基础反爬的最小配置。5.2 情感分数九成落在0附近序列毫无区分度现象跑完打分后sentiment_score列大部分是0只有零星几条是1或-1日度均值画出来接近一条直线。原因99%的情况是词典覆盖度不够。股吧帖子大量使用“坐等”“起飞”“绿了”“接盘”这类口语词通用词典根本没收录。另一个原因是文本长度太短一条标题只有六七个字命中情感词的概率天然很低。解决先统计语料词频然后按频率从高到低逐个补充词典。具体做法是用jieba对所有标题分词打印TOP50高频词把其中带情感色彩的词补进词典。这一步需要人工判断没有捷径。补充两三轮之后中性样本占比会从八成降到五成左右情绪序列的方差就出来了。5.3 情绪数据和行情数据合并后大量日期缺失现象merge之后的行数只有预期的一半检查发现很多有帖子的日期在行情表里找不到反之亦然。原因股吧帖子覆盖自然日包括周末和节假日行情数据只覆盖交易日。直接用merge(howinner)时周六日发的帖子对应不到任何行情会被全部丢弃。解决把情绪日期向后对齐到下一个交易日。我一般会先准备一份交易日历然后用pd.merge_asof做最近邻合并方向设置为forward让周六日的帖子归到周一。akyahare有tool_trade_date_hist_sina()可以直接获取交易日历不用自己维护。5.4 相关系数时正时负换个时间段结论就反转现象用上半年数据跑出来情绪与涨跌正相关换成下半年变成负相关结论完全相反。原因市场情绪在牛熊环境中的表现本来就不同。上涨趋势中乐观情绪持续推高价格正相关明显下跌趋势中情绪过热反而经常对应短期见顶滞后相关性转负。如果不做市场环境区分直接全样本计算结论就会被不同区间互相抵消。解决按趋势分段计算。用close的均线把样本切成“上行段”和“下行段”分别计算相关性。实践价值不在于得到一个稳定的相关系数而在于理解你所分析标的正处在哪种环境情绪指标的解读方式需要随环境切换。5.5 用python跑脚本时环境配置反复翻车现象在vscode python环境配置完成后import akshare报ModuleNotFoundError但pip show akshare明明显示已安装。原因这是典型的多环境冲突pip装到了一个Python解释器vscode选中的却是另一个解释器。尤其是刚按python安装教程配置好环境时系统里往往同时存在python、python3和虚拟环境三个版本。解决用python -m pip install akshare而不是pip install akshare保证装进当前解释器然后在vscode里通过命令面板选择解释器时手动指向python -c import sys; print(sys.executable)输出的路径。这一步现在看起来简单但确实是我在这个项目上踩过最久的一次坑。6. 进阶把整个流程封成一个可重复运行的批处理脚本做到这一步你已经有了完整的分析链路但每次手动跑爬虫、清洗、打分、合并、验证步骤太多容易漏。最后给你一套进阶做法把全流程封装成run_sentiment_analysis()函数用参数控制股票代码和日期范围让整个流程可以一条命令重复执行。def run_sentiment_analysis(stock_codesz000001, pages10, start_date20240101, end_date20241231): 完整执行抓帖子 - 清洗 - 打分 - 合并行情 - 输出相关系数。 # 1. 数据采集 posts_df fetch_guba_posts(stock_codestock_code, pagespages) posts_df clean_posts(posts_df) # 2. 情感打分遍历每条帖子调用词典打分函数 posts_df[sentiment_score] posts_df[title].apply( lambda t: score_title(t, FINANCIAL_POSITIVE_WORDS, FINANCIAL_NEGATIVE_WORDS, NEGATION_WORDS, DEGREE_ADVERBS) ) # 3. 日度聚合 daily daily_sentiment(posts_df) # 4. 拉取行情并合并 kline fetch_daily_kline(stock_codestock_code, start_datestart_date, end_dateend_date) merged merge_sentiment_market(daily, kline) # 5. 相关性校验 corr validate_correlation(merged) print( * 50) print(股票代码:, stock_code) print(corr.round(4)) return merged # 使用示例 merged_data run_sentiment_analysis(sz000001, pages5)封装的价值不只是少敲几行命令更重要的是让实验可重复。当你改了词典、调了权重、换了数据源只需要重新跑一次run_sentiment_analysis()就能获得一组完全可对比的结果。这也是这个方向值不值得做的关键判断标准——如果情绪指标在不同股票、不同时间段上的一致性尚可就值得继续投入如果换个标的结论就崩那说明你的词典或对齐逻辑有问题需要回到上游修而不是急着拿它构建策略。我自己的习惯是每次跑完都把merged数据落盘成CSV文件名带上参数和后端日期这样后续做策略回测或画图时不用重新抓数据。还有一点提醒情绪分析的价值不在于预测精确点位而在于捕捉极端情绪——当情绪分数连续多日压缩在极低区间往往意味着市场悲观到极致这种时刻的风险收益比值得你去关注。希望这个项目方向能给你一个扎实的起点也希望这些踩过的坑能帮你少走弯路。本文还有配套的精品资源点击获取

Python股市情绪分析：从爬取股吧文本到相关性验证

相关推荐

跨境电商AI获客实战：GEO优化与多智能体系统落地指南

Steam游戏价值评估指南：避开算法陷阱，找到真正属于你的‘好玩’

Coding Plan：AI编码协同工作流落地实践指南

更多资讯

Python基于ARIMA时间序列的销量预测模型实战：从环境搭建到上线验证

MCGS触摸屏通讯故障排查：RS485与RS232常见问题及状态值详解

国产FPGA替代赛灵思实测：紫光同创Titan与安路EG4选型与工具链经验

塑胶材料库建设指南：从Excel数据到全员选材平台

解决PowerShell中npm.ps1未签名无法运行的实用指南

Java集成支付宝扫码支付实战：从下单到回调的完整链路与避坑指南

今日更新

济南做网站多少钱：3个案例拆解，防黑源码下载全攻略

婚恋网站实战案例：避开3个高价坑，省钱50%还能跑赢流量

制作网页比较方便的软件怎么选?一文搞懂避坑指南

本周精选

如何彻底离线使用 Laya-CoreML：Hugging Face 下载、缓存机制与 local_files_only 详解

基于1Panel 部署MySQL MCP 服务：TaoToken 统一 Key 接入与 config.toml 配置实战

崇州园区营销网站建设避坑指南：5大注意事项保备案安全

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？