尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
我是怎么用 Python 爬新浪新闻搜索结果的
前段时间有个需求要批量采集某个关键词相关的新闻数据做舆情分析。选了一圈数据源最后落在新浪新闻搜索上。原因有几个收录量大搜索结果带时间戳和来源媒体字段数据结构相对规整适合做时间序列分析。另外返回的是服务端渲染的 HTML不需要处理 JavaScript 动态加载采集成本低。这篇文章记录整个爬取过程的技术细节包括请求构造、响应解析、反爬策略和代理池设计。搜索接口分析新浪新闻搜索的入口地址是https://search.sina.com.cn/。在浏览器中搜索一个关键词通过 Chrome DevTools 抓包可以看到结果是通过一个 GET 请求返回的GET https://search.sina.com.cn/?q人工智能cnewssortrelrangeallnum10page1参数含义可选值q搜索关键词需 URL 编码任意字符串c频道分类news / video / blog 等sort排序方式rel相关性/ time时间range时间范围all / 1d / 1w / 1m 等num每页条数默认 10page页码从 1 开始新浪对User-Agent做了基本校验缺失或为空会直接返回 403。Referer字段建议携带模拟从搜索页面发起的正常浏览行为。Accept-Encoding设为gzip, deflate可以减少传输体积requests库会自动处理解压。请求封装用requests.Session复用 TCP 连接减少握手开销。在批量翻页场景下能明显减少请求耗时。配合HTTPAdapter设置重试策略对 429 和 5xx 自动重试并指数退避避免对目标服务器造成瞬时压力importrequestsfromrequests.adaptersimportHTTPAdapterfromurllib3.util.retryimportRetrydefcreate_session()-requests.Session:sessionrequests.Session()retryRetry(total3,backoff_factor1,status_forcelist[429,500,502,503],allowed_methods[GET])adapterHTTPAdapter(max_retriesretry,pool_connections10,pool_maxsize10)session.mount(http://,adapter)session.mount(https://,adapter)returnsessiondefsearch_sina_news(session,keyword,page1,sorttime,num10,timeout15):urlhttps://search.sina.com.cn/params{q:keyword,c:news,sort:sort,range:all,num:num,page:page}headers{User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36,Referer:https://search.sina.com.cn/}respsession.get(url,paramsparams,headersheaders,timeouttimeout)ifresp.encodingandresp.encoding.lower()iso-8859-1:resp.encodingresp.apparent_encoding resp.encodingresp.encodingorutf-8returnresp.text编码处理这段值得说明。requests在响应头没有声明charset时会默认用 ISO-8859-1导致中文乱码。这里检测到这个默认值就回退到apparent_encoding基于chardet的自动检测再兜底用 UTF-8。新浪搜索结果页实际是 UTF-8但这个防御性写法可以兼容后续可能遇到的非标准页面。结果解析分析返回的 HTML 结构每条搜索结果包裹在div classbox-result中包含标题链接、摘要和来源时间信息。用 CSS 选择器提取字段同时做基本的数据清洗frombs4importBeautifulSoupfromdataclassesimportdataclass,asdictimportredataclassclassNewsItem:title:strurl:strsummary:strsource:strpub_time:strdefparse_results(html):soupBeautifulSoup(html,lxml)results[]foriteminsoup.select(.box-result):title_tagitem.select_one(h2 a)ifnottitle_tag:continuemetaitem.select_one(.fgray_time)meta_textmeta.get_text(stripTrue)ifmetaelsemre.match(r^(.*?)\s(\d{4}[-/年]\d{1,2}[-/月]\d{1,2}日?.*)$,meta_text)source,pub_time(m.group(1).strip(),m.group(2).strip())ifmelse(meta_text,)summary_tagitem.select_one(p.content)results.append(NewsItem(titletitle_tag.get_text(stripTrue),urltitle_tag.get(href,),summarysummary_tag.get_text(stripTrue)ifsummary_tagelse,sourcesource,pub_timepub_time))returnresults用dataclass定义数据模型比裸字典安全字段类型在编码阶段就约束好后续序列化到 CSV 或数据库不容易出问题。_parse_meta里的正则兼容了两种常见时间格式2024-01-15和2024年01月15日比简单字符串拆分健壮。反爬策略与代理池新浪的反爬分两个层级。第一层是基于 IP 的请求频率统计同一 IP 短时间发送过多请求会触发限流返回 403 或跳转验证码。第二层是行为检测请求间隔过于均匀也会被标记为爬虫。对应策略是随机延迟加代理 IP 轮换。纯延迟策略在采集量大时效率太低。100 个关键词每个 30 页单 IP 延迟 3 秒要跑 2.5 小时。引入代理后多线程并发能压到 20 分钟以内。免费代理可用率通常低于 20%建议用付费代理关注代理类型和并发限制即可。代理池的核心是健康检查和淘汰机制不能拿到代理就直接用需要在使用中记录成功率和响应时间importtimeimportrandomfromtypingimportOptionaldataclassclassProxyNode:address:strsuccess_count:int0fail_count:int0avg_latency:float0.0propertydefscore(self):totalself.success_countself.fail_countiftotal0:return0.5returnself.success_count/total*0.7max(0,1-self.avg_latency/5.0)*0.3classProxyPool:def__init__(self,fetch_func,min_size5):self._fetchfetch_func self._minmin_size self._nodes[]defrefresh(self):foraddrinself._fetch():ifnotany(n.addressaddrforninself._nodes):self._nodes.append(ProxyNode(addressaddr))defget_proxy(self):available[nforninself._nodesifn.fail_count3]iflen(available)self._min:self.refresh()available[nforninself._nodesifn.fail_count3]ifnotavailable:returnNoneweights[max(n.score,0.01)forninavailable]returnrandom.choices(available,weightsweights,k1)[0]defreport(self,node,success,latency0):ifsuccess:node.success_count1node.avg_latencynode.avg_latency*0.7latency*0.3else:node.fail_count1ifnode.fail_count5:self._nodes.remove(node)按健康分加权选择代理成功率高的优先调度连续失败 5 次自动淘汰。avg_latency用滑动平均系数 0.7平滑波动避免单次偶发慢响应拉偏评分。代理请求的 timeout 建议设短一点10 秒左右质量差的代理经常建立连接后不返回数据timeout 太长会阻塞整个采集线程。完整采集流程把前面的模块组装起来加上数据存储和去重importcsvimportloggingimporttimeimportrandomimportrequests logging.basicConfig(levellogging.INFO,format%(asctime)s [%(levelname)s] %(message)s)loggerlogging.getLogger(__name__)# 亿牛云隧道代理配置TUNNEL_HOSTproxy.16yun.cnTUNNEL_PORT3128TUNNEL_USERxxxxxTUNNEL_PASSxxxxxdefget_tunnel_proxies()-dict:构建亿牛云隧道代理每次请求由隧道自动切换出口 IPproxy_urlfhttp://{TUNNEL_USER}:{TUNNEL_PASS}{TUNNEL_HOST}:{TUNNEL_PORT}return{http:proxy_url,https:proxy_url}def_is_blocked(html:str)-bool:returnany(kinhtmlforkin[验证码,访问受限,暂时无法访问])defsearch_with_tunnel(session:requests.Session,keyword:str,page:int,proxies:dict,max_retries:int3)-str:通过亿牛云隧道代理请求搜索接口被拦截时自动重试换 IPurlhttps://search.sina.com.cn/params{q:keyword,c:news,sort:time,range:all,num:10,page:page}headers{User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36,Referer:https://search.sina.com.cn/}forattemptinrange(max_retries):try:respsession.get(url,paramsparams,headersheaders,proxiesproxies,timeout10)ifresp.encodingandresp.encoding.lower()iso-8859-1:resp.encodingresp.apparent_encoding resp.encodingresp.encodingorutf-8ifresp.status_code200andnot_is_blocked(resp.text):returnresp.text logger.warning(fpage{page}attempt{attempt1}被拦截或状态码异常)except(requests.Timeout,requests.ConnectionError)ase:logger.warning(fpage{page}attempt{attempt1}请求失败:{e})time.sleep(random.uniform(1.0,2.0))returndefcrawl_and_save(keyword,max_pages30,use_proxyTrue):sessioncreate_session()proxiesget_tunnel_proxies()ifuse_proxyelseNoneresults,seen[],set()forpageinrange(1,max_pages1):ifuse_proxy:htmlsearch_with_tunnel(session,keyword,page,proxies)else:htmlsearch_sina_news(session,keyword,pagepage)ifnothtmlor_is_blocked(html):logger.warning(fpage{page}触发反爬跳过)continueitemsparse_results(html)ifnotitems:breaknew[rforrinitemsifr.urlnotinseen]seen.update(r.urlforrinnew)results.extend(new)logger.info(fpage{page}new{len(new)}total{len(results)})time.sleep(random.uniform(1.5,3.0))ifresults:withopen(fsina_news_{keyword}.csv,w,newline,encodingutf-8-sig)asf:writercsv.DictWriter(f,fieldnamesasdict(results[0]).keys())writer.writeheader()writer.writerows([asdict(r)forrinresults])returnresultsURL 去重用 set 存储已抓链接新浪搜索结果偶尔跨页重复尤其是按相关性排序时同一篇新闻可能出现在多个页码。CSV 用 utf-8-sig 编码带 BOMWindows 下 Excel 直接打开不乱码。 ## 踩过的坑 编码不一致。搜索页是 UTF-8但跳转到详情页后编码可能是 GB2312 或 GBKmeta charset 和实际字节流偶尔对不上。不要信任单一来源的编码声明用 chardet.detect() 检测字节流再解码。 搜索结果有页码上限。新浪新闻搜索最多返回约 760 条76 页超过后返回空页面。关键词命中量大时需要用 range 参数按时间分段查询再合并。 短效代理的生存周期。短效代理有效期通常 1 到 5 分钟拉取后必须尽快消费。池子不要囤太多快用完时再拉下一批配合实际消费速度。 摘要字段是截断的。搜索页返回的 content 是正文前 100 到 200 字不是完整正文。需要全文要额外请求详情页详情页反爬比搜索页严格。 ## 最后 新浪新闻搜索采集整体难度不高。请求是标准 GET 参数拼接响应是服务端渲染 HTML不需要 Selenium 或 Playwright 这类浏览器自动化工具。主要工程挑战在反爬应对频率控制、代理池管理、健康检查和淘汰策略。这些模块设计好了换目标站点只需改请求参数和解析逻辑底层框架可以复用。 单线程顺序采集对多数舆情分析场景够用。需要提速的话用 concurrent.futures.ThreadPoolExecutor线程数控制在 5 到 10 个配合代理池的并发限制。不建议开太多线程一方面代理有并发上限另一方面对目标站点压力过大可能触发更严格的封禁策略。 代码里用 logging 替代 print 输出日志带时间戳和级别标签方便后续接入日志收集系统。如果采集任务需要长期运行建议加上异常捕获和断点续采逻辑把已完成的页码持久化到本地文件程序中断后从断点恢复避免重复采集。
RELATED

相关推荐

SkillCloak 击穿 90% 扫描器:当 AI 编程助手的“技能市场“成了供应链灾难

SkillCloak 击穿 90% 扫描器:当 AI 编程助手的“技能市场“成了供应链灾难

标签:DeepSeek-V4-Pro、Qwen3.7-Max、GLM-5.2、MiniMax-M3 事件回顾:三记重锤砸向 AI 编程助手的信任地基 2026 年 7 月,AI 编程助手的安全议程被三起事件密集引爆,它们分别从"技能市场"“命令执行”"工具协议&qu…

📅 2026/10/24 2:46:14
票房冲破20亿!周星驰《功夫女足》引爆暑期档,18家资本同台博弈,谁是深藏幕后的隐形赢家?

票房冲破20亿!周星驰《功夫女足》引爆暑期档,18家资本同台博弈,谁是深藏幕后的隐形赢家?

周星驰携重磅新作《功夫女足》以零宣发空降模式登陆暑期院线,业内预测影片总票房有望冲击30亿大关。暌违七年,星爷标志性的周氏无厘头喜剧重返大银幕。影片延续热血逆袭的叙事内核,叠加《少林足球》时隔二十载的情怀滤镜,一举盘活…

📅 2026/11/18 5:34:30
SpringBoot+Vue构建零食商铺系统的技术实践

SpringBoot+Vue构建零食商铺系统的技术实践

1. 项目概述:小零食商铺系统的技术选型与核心价值去年帮朋友改造他的线下零食店时,我首次尝试将SpringBoot和Vue组合使用。这个看似简单的技术搭配,在实际运营中让店铺订单处理效率提升了60%。小零食商铺系统作为典型的轻量级电商应用&#x…

📅 2026/9/24 17:27:43
MORE NEWS

更多资讯

📰

建设厅电工证山西样本怎么转异地 2026河南最新政策全解析

建设厅电工证山西样本怎么转异地 2026河南最新政策全解析 证书过期了不知道怎么复审延期?别慌!你不是一个人。在河南,尤其是焦作等地的水利工程从业者,很多都面临类似的问题,尤其是在2026河南最新政策出台之后,特种作业操作证的复审流程和要求…

📰

唐山电工证办理流程这样走不被坑 郑州报考避坑指南也适用

唐山电工证办理流程这样走不被坑 郑州报考避坑指南也适用 你是不是也遇到过这种情况: 不知道去哪报名怕被中介坑 ,一打电话就遇到各种“包过”“包办”的套路?最近我就遇到一个朋友,他从濮阳过来,想考个低压电工证,结果跑了三家机构,被坑了将近20…

📰

中级电工证培训内部消息:外省证能不能转?放心的中级电工证培训怎么考

中级电工证培训内部消息:外省证能不能转?放心的中级电工证培训怎么考 之前考的证在外省能不能转过来?这是很多人在问的问题,尤其是像我们这种在郑州做施工项目的,经常要跨地区作业,证照转移就成了必须面对的现实。 内部消息…

📰

电工实操考试心里没底怕挂科?2026河南最新政策全解析+建设厅电工证山西样本

电工实操考试心里没底怕挂科?2026河南最新政策全解析+建设厅电工证山西样本 你是不是正准备考电工证,但心里总在打鼓:实操考试会不会挂科?别急,2026河南最新政策已经出炉,结合【建设厅电工证山西样本】,咱们来一步步拆解怎么稳稳拿下证书,规…

📰

电工证k1武汉到期换证流程,官方回应实操考试心里没底怕挂科

电工证k1武汉到期换证流程,官方回应实操考试心里没底怕挂科 实操考试心里没底怕挂科?这是很多准备报考或换证的电工从业者最真实的感受。特别是在武汉地区,随着政策更新和证书审核的严格化,很多人开始担心自己是否能顺利通过考试。 官方回应…

📰

哪个电工证级别最高实操考试考什么

证书过期了不知道怎么复审延期 低压高压电工证哪个级别最高多少钱 证书过期了不知道怎么复审延期?你不是一个人,这个问题在我们这个圈子里太常见了。特别是像低压电工证、高压电工证这样的特种作业操作证,一旦过了有效期,就等于失去了执业资格,甚至可能…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬