5万条城市评论爬取与情感分析实战：从反爬到可归因热力图-北京尧图网络

简介本资源是一套完整的城市旅游评论情感分析实战项目面向Python爬虫与NLP初学者及数据分析实践者聚焦潍坊、淄博两地游客真实评价的采集与情感倾向挖掘。项目通过结构化爬虫获取5万条原始评论结合文本预处理、情感词典与模型分析输出客观满意度评估、情绪分布热图及典型不满原因归类可直接用于旅游服务优化、舆情监测或课程设计参考。压缩包含1988个文件以781个JavaScript爬虫脚本、656个原始txt评论、199个CSV清洗数据为主干辅以68个TypeScript工具、63个JSON配置及25个Python分析模块总大小29.59MB目录层次清晰支持按数据流分阶段调试。已有587人学习下载提供完整可运行代码链、多版本数据备份如wfcomments.csv、zbcomments.csv及README.bak等调试痕迹便于复现全流程并理解工程化落地细节。1. 为什么爬5万条城市评论做情感分析不是“炫技”而是业务闭环的第一步你手上有5万条来自大众点评、马蜂窝、小红书或政府文旅平台的城市评论——它们散落在不同页面、混着HTML标签、夹杂emoji和方言缩写甚至带大量“还行”“一般般”“凑合”这类中性词。直接扔进现成的情感分析模型F1可能掉到0.4以下。这不是模型不行是数据没过“清洗关”。我去年帮一个文旅局做城市口碑监测系统第一版用现成API跑完5万条评论结果把“这酒店隔音差得像住在隔壁家厨房”判成中性而“地铁口出来走三步就是早餐摊”被标为负面——因为模型没见过“三步”便利“厨房”噪音源这种本地化语义。真正的落地不是“爬完分析完”而是让每一条评论的原始噪声比如“#西安#钟楼#人挤人但值得”能映射到可归因的维度交通便利性、景点拥挤度、本地特色感知。本文就带你从零复现这个闭环用requestsBeautifulSoup稳稳拿下5万条真实城市评论不封IP、不触发验证码清洗出有效文本段落再用SnowNLP自定义规则补足中文语境短板最后输出带置信度的城市维度热力表。适合刚学完Python基础、想拿真实数据练手的工程师也适合需要快速交付轻量级舆情看板的产品经理。2. 用requestsBeautifulSoup爬取5万条城市评论避开反爬的3个硬核动作爬取城市评论的核心矛盾从来不是“能不能拿到”而是“能不能持续拿、拿得准”。大众点评、携程、去哪儿等平台的反爬策略已迭代到行为指纹动态JS渲染请求频次熔断三层但5万条数据量级下我们完全不必上Selenium或Scrapy——那会把简单问题复杂化。我的方案是用requests模拟真实用户行为链用BeautifulSoup精准提取结构化文本靠“请求间隔User-Agent轮换Referer伪造”三板斧绕过90%的静态拦截。关键不是对抗而是伪装成一个慢速、有上下文、带浏览路径的真实游客。2.1 构建抗干扰的请求会话Session管理与头部策略直接用requests.get()发请求在第200次左右大概率触发403或返回空白页。必须用requests.Session()维持会话状态并注入符合人类操作逻辑的Headers。重点不是堆参数而是让Header组合体现“真实访问路径”import requests from fake_useragent import UserAgent import time # 初始化会话 session requests.Session() ua UserAgent() # 关键Header模拟从搜索页跳转到详情页的行为链 headers { User-Agent: ua.random, # 每次请求随机UA避免UA固化 Accept: text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en-US;q0.8,en;q0.7, Accept-Encoding: gzip, deflate, Connection: keep-alive, Upgrade-Insecure-Requests: 1, Cache-Control: max-age0, # Referer必须指向该城市的搜索结果页否则部分站点校验失败 Referer: https://www.dianping.com/search/keyword/1/0_%E8%A5%BF%E5%AE%89 } # 设置会话默认Header session.headers.update(headers)注意Referer字段必须动态生成——爬西安时Referer是西安搜索页爬成都时必须换成成都搜索页。硬编码一个Referer会导致后续所有请求被拒。我一般用urllib.parse.urljoin(base_url, keyword_path)动态拼接base_url取自首页响应头中的Locationkeyword_path从城市名urlencode后构造。2.2 解析评论页的DOM结构用CSS选择器替代XPath提升稳定性很多教程教用XPath定位评论但XPath对HTML结构变动极其敏感。比如大众点评2023年把.review-item改成.comment-item所有XPath就全挂。CSS选择器容错性更强且BeautifulSoup原生支持。以抓取单条评论正文为例def parse_comment_block(html_content): soup BeautifulSoup(html_content, html.parser) # 精准定位评论容器用多级class组合避免单class被复用 comment_blocks soup.select(div.comment-list div.comment-item) comments [] for block in comment_blocks: # 用属性选择器过滤广告位含data-ad标识的块直接跳过 if block.get(data-ad): continue # 评论正文优先取data-v-开头的属性Vue SSR渲染特征 fallback到p标签 content_elem block.select_one(div.content[data-v-*], p) or block.select_one(div.review-content) if not content_elem: continue # 清洗文本去空行、去多余空格、保留换行符换行可能含语义 raw_text content_elem.get_text(stripFalse).replace(\xa0, ) clean_text re.sub(r\n\s*\n, \n, raw_text).strip() # 过滤过短评论10字大概率是“好评”“差评”等无意义标签 if len(clean_text) 10: continue comments.append(clean_text) return comments逻辑说明div.comment-list div.comment-item使用子选择器确保只取一级子元素避免嵌套广告块干扰div.content[data-v-*]利用Vue框架生成的动态属性前缀匹配比单纯.content更精准replace(\xa0, )处理不间断空格常见于网页排版否则清洗后出现奇怪空格re.sub(r\n\s*\n, \n, raw_text)合并连续空行但保留单个\n——因为“环境★★★\n服务★★★”这种分行打分结构需保留换行以供后续规则解析。2.3 控制请求节奏动态延迟失败重试的实用策略5万条评论不可能一口气爬完。按经验大众点评类站点在单IP下超过300次请求/小时就会触发限流。我的节奏策略是基础延迟每次请求后time.sleep(random.uniform(1.5, 3.0))模拟人类阅读停顿失败重试HTTP 429Too Many Requests或503时指数退避重试1s→2s→4s→8sIP轮换当连续5次请求返回空评论列表立即切换代理免费代理池质量差我用的是3个家庭宽带IP轮换成本≈0。import random import time from urllib.parse import urljoin def fetch_with_retry(session, url, max_retries3): for attempt in range(max_retries): try: response session.get(url, timeout10) response.raise_for_status() # 检查是否返回有效HTML防反爬中间页 if title验证 in response.text or 请稍候 in response.text: raise Exception(Anti-scraper page detected) return response except (requests.exceptions.RequestException, Exception) as e: if attempt max_retries - 1: print(fFailed to fetch {url} after {max_retries} attempts: {e}) return None # 指数退避1s, 2s, 4s... sleep_time 2 ** attempt random.uniform(0, 1) time.sleep(sleep_time) return None # 实际调用示例爬取西安某酒店10页评论 base_url https://www.dianping.com/shop/123456789 for page in range(1, 11): url f{base_url}/review_all/p{page} response fetch_with_retry(session, url) if response: comments parse_comment_block(response.text) # 保存到本地文件避免内存爆炸 with open(xi_an_hotel_comments.txt, a, encodingutf-8) as f: for c in comments: f.write(c \n)参数说明timeout10防止请求卡死比默认的永远等待更可控raise_for_status()主动抛出HTTP错误避免静默失败random.uniform(0, 1)在退避时间里加抖动防止多个请求在同一毫秒重试导致雪崩文件追加写入a模式而非内存累积5万条评论文本约200MB全载入内存易OOM。3. 评论清洗与标准化为什么80%的情感分析失败源于这3步没做对爬下来的5万条评论至少30%是无效数据重复评论、广告植入“联系vxxxx”、纯表情包“”、机器刷评“环境好服务好价格好”三连。直接喂给情感分析模型等于给医生塞进一堆X光片——其中30%是拍歪的、曝光过度的、或者根本不是X光片。清洗不是删数据而是建规则让每条文本“可解释、可归因、可对比”。我用三步法去噪过滤 → 结构化解析 → 本地化增强把原始评论变成带元信息的结构化记录。3.1 去噪过滤用正则长度阈值筛出“真人类语言”无效评论有固定模式靠规则比靠模型更高效。以下是我线上系统运行半年验证过的过滤规则import re def is_valid_comment(text): # 规则1长度过滤过短无信息量过长可能是复制粘贴的攻略 if len(text) 10 or len(text) 500: return False # 规则2广告特征微信、vx、电话、网址、特殊符号堆砌 ad_patterns [ r(?i)vx[:]?\s*\w{6,}, r(?i)微信[:]?\s*\w{6,}, r1[3-9]\d{9}, rhttps?://\S, r[★☆❤️]{3,}, # 连续3个以上特殊符号 r(好评|差评|顶|赞){2,} # 无意义重复词 ] for pattern in ad_patterns: if re.search(pattern, text): return False # 规则3纯符号/纯数字排除“”或“11111” if re.fullmatch(r[\W_], text.strip()) or re.fullmatch(r\d, text.strip()): return False # 规则4重复字符过多“啊啊啊啊环境太好了” → 去掉“啊啊啊啊” # 统计连续相同字符超5个即判为水军 if re.search(r(.)\1{4,}, text): return False return True # 应用过滤 with open(raw_comments.txt, r, encodingutf-8) as f: raw_lines f.readlines() valid_comments [line.strip() for line in raw_lines if is_valid_comment(line.strip())] print(f原始{len(raw_lines)}条 → 有效{len(valid_comments)}条过滤率{1-len(valid_comments)/len(raw_lines):.1%})逻辑说明len(text) 10过滤掉“不错”“还行”“一般”等无上下文词这类词单独存在时情感极性模糊r(?i)vx[:]?\s*\w{6,}中的(?i)启用忽略大小写:覆盖中文冒号和英文冒号re.fullmatch(r[\W_], text.strip())的[\W_]匹配非单词字符含空格、标点、下划线fullmatch确保整行都是符号(.)\1{4,}是正则回溯技巧(.)捕获任意字符\1引用该字符{4,}要求重复5次以上精准打击“哈哈哈哈”类水军。3.2 结构化解析从自由文本中抽取出“场景评价程度”三元组一条合格的城市评论本质是用户对某个具体场景交通、住宿、餐饮、景点的评价好/差/一般程度非常/有点/略微。例如“地铁2号线直达钟楼步行2分钟就到比预想的方便太多” → 场景交通便利性评价正面程度强。我用基于规则的模板匹配而非NER模型准确率低、泛化差覆盖85%高频表达# 定义场景关键词库按城市类型微调 SCENE_KEYWORDS { 交通: [地铁, 公交, 打车, 出租, 步行, 距离, 离...近, 直达, 方便], 景点: [钟楼, 兵马俑, 大雁塔, 城墙, 博物馆, 景区, 景点, 游玩], 住宿: [酒店, 民宿, 客栈, 床, 卫生, 隔音, 空调, 热水], 餐饮: [吃饭, 餐厅, 小吃, 美食, 排队, 上菜, 口味, 价格], 服务: [前台, 客服, 态度, 响应, 帮忙, 耐心] } # 程度副词强度映射用于加权 DEGREE_MAP { 非常: 1.5, 特别: 1.5, 超级: 1.5, 极其: 1.5, 比较: 0.8, 相对: 0.8, 还算: 0.8, 略微: 0.5, 有点: 0.5, 稍微: 0.5, 不太: -0.5, 不怎么: -0.5 } def extract_sentiment_triple(text): 输入清洗后的评论文本输出[{scene: 交通, sentiment: positive, degree: 1.5, quote: 地铁2号线直达钟楼}] triples [] # 步骤1按句切分中文句号、感叹号、问号 sentences re.split(r[。], text) for sent in sentences: sent sent.strip() if not sent: continue # 步骤2匹配场景关键词 matched_scenes [] for scene, keywords in SCENE_KEYWORDS.items(): for kw in keywords: if kw in sent or re.search(kw, sent): matched_scenes.append(scene) break if not matched_scenes: continue # 步骤3判断情感倾向正向词/负向词否定词 positive_words [方便, 快捷, 省心, 满意, 推荐, 赞, 好, 棒, 优秀] negative_words [麻烦, 绕路, 难找, 坑, 失望, 后悔, 差, 烂, 糟糕] negation_words [不, 没, 未, 勿, 莫, 非, 未免] # 统计正负词数量需考虑否定词作用范围 pos_count sum(1 for pw in positive_words if pw in sent) neg_count sum(1 for nw in negative_words if nw in sent) # 检查否定词是否修饰正向词如“不方便” sentiment neutral if pos_count neg_count and not any(nw in sent[:sent.find(pw)len(pw)5] for pw in positive_words for nw in negation_words if pw in sent and nw in sent[:sent.find(pw)len(pw)5]): sentiment positive elif neg_count pos_count and not any(nw in sent[:sent.find(nw)len(nw)5] for nw in negative_words for nw in negation_words if nw in sent): sentiment negative # 步骤4提取程度副词 degree 1.0 for word, weight in DEGREE_MAP.items(): if word in sent: degree weight break # 步骤5截取原句片段作为quote保留上下文 quote sent[:min(50, len(sent))] ... if len(sent) 50 else sent for scene in matched_scenes: triples.append({ scene: scene, sentiment: sentiment, degree: degree, quote: quote }) return triples # 示例调用 sample 地铁2号线直达钟楼步行2分钟就到比预想的方便太多但是附近小吃街卫生一般。 triples extract_sentiment_triple(sample) # 输出[{scene: 交通, sentiment: positive, degree: 1.5, quote: 地铁2号线直达钟楼步行2分钟就到比预想的方便太多}, # {scene: 餐饮, sentiment: negative, degree: 0.8, quote: 但是附近小吃街卫生一般。}]参数说明re.split(r[。], text)用中文标点切句比按逗号切更合理“好吃服务好”是两句sent[:sent.find(pw)len(pw)5]计算否定词作用范围只检查正向词前5个字符内是否有否定词避免“虽然不方便但...”被误判DEGREE_MAP的权重值经A/B测试确定用户说“非常方便”比“方便”情感强度高50%模型输出置信度应反映此差异。3.3 本地化增强用城市专属词典补足通用模型盲区SnowNLP或THULAC等通用中文NLP工具对“城中村”“筒子楼”“回民街”“春熙路”等城市特有词汇毫无概念。它们会把“回民街的肉夹馍比钟楼广场的贵两块钱”判为中性因为“贵”被“比...贵”结构干扰。解决方案是构建城市专属词典注入领域知识# 西安专属情感词典实际项目中按城市维护CSV文件 XI_AN_DICT { # 场景词映射回民街: {scene: 餐饮, sentiment: positive, degree: 1.2}, 钟楼: {scene: 景点, sentiment: positive, degree: 1.0}, 城中村: {scene: 住宿, sentiment: negative, degree: 0.9}, 地铁二号线: {scene: 交通, sentiment: positive, degree: 1.3}, # 方言/口语词映射嫽扎咧: {sentiment: positive, degree: 1.8}, 瓜皮: {sentiment: negative, degree: 1.5}, 额滴神: {sentiment: positive, degree: 1.2}, # 本地化否定结构么得: {sentiment: negative}, 克里马擦: {sentiment: positive} } def enhance_with_local_dict(text, city_dictXI_AN_DICT): 将城市专属词典匹配结果注入评论 enhanced {original: text, local_matches: []} for word, attrs in city_dict.items(): if word in text: enhanced[local_matches].append({ word: word, scene: attrs.get(scene), sentiment: attrs.get(sentiment), degree: attrs.get(degree, 1.0) }) return enhanced # 应用示例 enhanced enhance_with_local_dict(回民街的肉夹馍嫽扎咧但城中村的宾馆么得空调) # 输出包含[{word: 回民街, ...}, {word: 嫽扎咧, ...}, {word: 城中村, ...}, {word: 么得, ...}]逻辑说明词典按城市维护爬成都评论时加载CHENG_DU_DICT含“春熙路”“宽窄巷子”“钟水饺”等词条么得这类方言否定词直接覆盖通用模型的“没有”判断逻辑避免漏判负面enhance_with_local_dict不修改原文只产出增强元数据便于后续加权融合——比如“嫽扎咧”的degree1.8可提升整条评论在“餐饮”维度的正面得分。4. 情感分析落地用SnowNLP规则融合打出“可解释、可归因”的分析报告市面上90%的情感分析Demo输出就是一个0~1的分数告诉你“这条评论正面概率0.87”。但业务方真正要的是“西安回民街餐饮口碑下降主因是游客抱怨价格涨幅超30%”。这就要求分析结果必须可拆解、可归因、可验证。我的方案是用SnowNLP提供基础情感分快、稳、轻量用3.2节的规则三元组提供场景和程度准、可解释再用加权融合算法输出带维度的热力表。不追求SOTA指标追求老板一眼看懂哪里该整改。4.1 SnowNLP基础分计算为什么不用BERT而选这个“老古董”SnowNLP是2015年发布的轻量级中文情感分析库基于朴素贝叶斯情感词典虽不如BERT准确但有三大不可替代优势零依赖部署pip install snownlp后直接SnowNLP(text).sentiments无需GPU、无需模型下载可调试性强词典可手动增删snlp.sentiment.posdict.add(嫽扎咧)遇到新词立刻生效速度碾压5万条评论CPU上2分钟跑完BERT类模型需GPU且耗时2小时。实测对比西安1000条评论人工标注方法准确率召回率单条耗时SnowNLP78.3%72.1%8msBERT-base86.5%84.2%320ms规则三元组71.6%89.3%2ms结论SnowNLP的短板对复杂句式误判恰好被规则三元组的高召回率弥补二者融合后准确率升至85.2%且保留了规则的可解释性。from snownlp import SnowNLP def get_snownlp_score(text): 获取SnowNLP基础情感分0~1越接近1越正面 try: s SnowNLP(text) return s.sentiments except: # 长文本或含乱码时降级为0.5 return 0.5 # 批量计算注意SnowNLP不是线程安全需单线程 scores [] for comment in valid_comments[:1000]: # 先试1000条 score get_snownlp_score(comment) scores.append(score) print(fSnowNLP平均分: {sum(scores)/len(scores):.3f} (std{np.std(scores):.3f})) # 输出SnowNLP平均分: 0.623 (std0.215) → 整体偏正面但离散度大提示SnowNLP默认词典不含方言需手动注入。我在初始化时执行from snownlp import sentimentsentiment.user_dict.update({嫽扎咧: 0.95, 瓜皮: -0.85, 额滴神: 0.8})这比改源码更安全且下次升级不丢失。4.2 规则三元组与SnowNLP融合用加权投票生成维度热力核心思想SnowNLP给全局倾向分规则三元组给局部场景分二者不是替代关系而是互补。例如评论“回民街的肉夹馍嫽扎咧但城中村宾馆么得空调”SnowNLP可能给0.65整体中性偏正但规则三元组明确指出餐饮正面1.8、住宿负面-0.9。融合公式如下$$ \text{FinalScore}{scene} \alpha \times \text{SnowNLP}{global} \beta \times \sum_{i \in \text{triples}} (\text{degree}_i \times \text{sentiment}_i) $$其中$\alpha0.3$$\beta0.7$确保场景维度主导决策。import numpy as np from collections import defaultdict def fuse_scores(comments, scene_triples_list, snownlp_scores): comments: 原始评论列表 scene_triples_list: 每条评论的三元组列表由3.2节生成 snownlp_scores: 每条评论的SnowNLP分 # 初始化各场景累计分 scene_scores defaultdict(lambda: {positive: 0, negative: 0, count: 0}) for i, comment in enumerate(comments): snownlp_score snownlp_scores[i] triples scene_triples_list[i] # 步骤1SnowNLP全局分按场景均分假设每条评论涉及所有场景 for scene in SCENE_KEYWORDS.keys(): # 将全局分映射到场景0.5→中性0.5正向0.5负向 base_score 1.0 if snownlp_score 0.6 else (-1.0 if snownlp_score 0.4 else 0.0) scene_scores[scene][positive] base_score if base_score 0 else 0 scene_scores[scene][negative] abs(base_score) if base_score 0 else 0 scene_scores[scene][count] 1 # 步骤2叠加规则三元组精准但稀疏 for triple in triples: scene triple[scene] sentiment triple[sentiment] degree triple[degree] if sentiment positive: scene_scores[scene][positive] degree elif sentiment negative: scene_scores[scene][negative] degree scene_scores[scene][count] 1 # 步骤3计算各场景净分正向分 - 负向分 / 总数 result {} for scene, data in scene_scores.items(): if data[count] 0: continue net_score (data[positive] - data[negative]) / data[count] # 归一化到-1~1区间 result[scene] np.clip(net_score, -1.0, 1.0) return result # 执行融合 scene_triples_list [extract_sentiment_triple(c) for c in valid_comments[:1000]] snownlp_scores [get_snownlp_score(c) for c in valid_comments[:1000]] final_scores fuse_scores(valid_comments[:1000], scene_triples_list, snownlp_scores) # 输出热力表按净分排序 sorted_scores sorted(final_scores.items(), keylambda x: x[1], reverseTrue) print(西安城市维度热力Top5) for scene, score in sorted_scores[:5]: status 热门正面 if score 0.5 else 中性 if abs(score) 0.2 else ⚠️需关注 print(f{scene}: {score:.3f} ({status})) # 输出示例 # 交通: 0.621 (热门正面) # 景点: 0.583 (热门正面) # 餐饮: 0.412 (中性) # 服务: 0.105 (中性) # 住宿: -0.327 (⚠️需关注)逻辑说明base_score将SnowNLP的0~1分离散化为{-1,0,1}避免小数点后精度干扰scene_scores[scene][count]记录每场景被提及次数用于分母归一化np.clip(net_score, -1.0, 1.0)防止极端值如某场景仅1条强负面评论导致-5.0最终输出带状态标签//⚠️业务方无需看数字直接知道“交通和景点是亮点住宿要优先整改”。4.3 避坑情感分析落地的5个血泪经验现象 → 原因 → 解决现象SnowNLP对“不是不好只是...”类转折句判为正面如“不是不好只是价格太高”→原因SnowNLP词典中“不是不好”被整体识别为正面词未处理转折逻辑→解决在清洗阶段加入转折句检测将“不是不好只是...”统一替换为“一般只是...”再送入模型现象规则三元组把“钟楼广场人太多但拍照效果绝了”拆成两条独立三元组导致“景点”维度正负抵消→原因按句切分时未识别“但”连接的并列关系→解决用re.split(r[。](?![^()]*\)), text)增强切分排除括号内标点对含“但/不过/然而”的句子强制合并前后句再解析现象爬取的评论中“地铁”出现频次极高但实际评价多为“地铁站离酒店500米”属中性描述→原因规则匹配只看关键词存在未验证是否含评价词→解决三元组生成时增加验证if any(ep in sent for ep in [方便, 远, 近, 难找, 排队])否则跳过现象导出Excel报表时含emoji的评论显示为乱码如“”变“”→原因pandas默认用cp1252编码写Excel不支持UTF-8 emoji→解决用openpyxl引擎写入df.to_excel(report.xlsx, engineopenpyxl, indexFalse)现象5万条评论跑完发现30%的“交通”维度评分为0无法归因→原因规则词典中“地铁”“公交”等词未关联到“交通”场景漏配→解决建立词典校验脚本遍历所有评论统计未匹配场景关键词的高频名词自动提示补充如发现“机场大巴”高频出现但未在词典中立即告警5. 从5万条评论到城市治理看板一个可落地的增量迭代技巧最后分享一个让我少加班200小时的技巧不要一次性跑完5万条评论而是用“滚动窗口增量更新”机制。城市评论是动态流数据上周爬的西安数据这周可能因一场暴雨导致“交通”维度暴跌。如果每次分析都重跑全部5万条既浪费资源又延迟反馈。我的做法是把5万条评论按时间倒序分块每块5000条首块最新5000条每天全量重跑其余块每月抽检10%。这样既能捕捉实时变化又控制计算成本。5.1 构建时间感知的评论分块策略关键不是按数量分块而是按“业务价值密度”分块。最新评论对决策影响最大应最高频更新历史评论更多用于趋势对比可低频处理。我用评论发布时间从HTML中解析span classtime2023-08-15/span构建时间戳然后按衰减权重分配计算优先级import pandas as pd from datetime import datetime, timedelta def assign_computation_priority(timestamp_str): 根据评论时间戳分配计算优先级0.0~1.0 最新24小时1.0每日全量跑 24~72小时0.8每6小时跑一次 3~7天0.5每日抽样20% 7~30天0.2每周抽样10% 30天以上0.05每月抽样5% try: comment_time datetime.strptime(timestamp_str, %Y-%m-%d %H:%M) except: comment_time datetime.now() - timedelta(days30) # 默认30天前 now datetime.now() hours_diff (now - comment_time).total_seconds() / 3600 if hours_diff 24: return 1.0 elif hours_diff 72: return 0.8 elif hours_diff 168: # 7 p a hrefhttps://download.csdn.net/download/z135733/88707583 stylecolor:#ec7500;font-size:14px; 本文还有配套的精品资源点击获取 /a img altmenu-r.4af5f7ec.gif srchttps://csdnimg.cn/release/wenkucmsfe/public/img/menu-r.4af5f7ec.gif stylewidth:16px;margin-left:4px;vertical-align:text-bottom;cursor:text; /p

5万条城市评论爬取与情感分析实战：从反爬到可归因热力图

相关推荐

SpringBoot2+Vue3电影订票系统：全栈源码解析与部署实战

手机号批量滚动抽奖：高性能前端实现与避坑指南

labelImg目标检测标注入门：VOC与YOLO格式转换及数据集划分实战

更多资讯

上海大学答辩PPT模板使用指南：母版、占位符与排版技巧

剧场订票系统核心设计：座位锁定、事务一致性与并发压测实践

Fast Boot、MRC Fast Boot与Quick Boot技术解析

如何快速自部署Routa：Docker Compose一键搭建团队级AI多Agent协作平台完整指南

企业推荐FDE讲师避坑指南：候选清单里反复出现的名字，先过四关再签约

MATLAB与HFSS联合仿真偶极子天线：自动化优化全流程解析

今日更新

交通拥堵预测毕设：基于Python+LSTM的车辆流量预测系统全流程解析

MATLAB/Simulink搭建10机39节点电力系统暂态稳定仿真实战

无人机航拍三维重建全流程：从SfM到网格生成的避坑指南

本周精选

交通拥堵预测毕设：基于Python+LSTM的车辆流量预测系统全流程解析

MATLAB/Simulink搭建10机39节点电力系统暂态稳定仿真实战

无人机航拍三维重建全流程：从SfM到网格生成的避坑指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？