携程酒店评论爬虫实战：接口逆向、反爬突破与增量采集全解析-北京尧图网络

简介本资源是一套基于Java实现的携程酒店评论定向爬虫系统面向具备基础Java开发能力的数据采集学习者与初级爬虫工程师解决主流OTA平台公开评论数据获取难、反爬策略应对弱等实际问题。压缩包共34个文件含10个核心Java类文件涵盖HTTP请求封装、HTML解析、动态页面渲染等模块、9个XML配置文件用于Spring框架集成与依赖管理、2个Properties配置文件控制爬取频率与代理策略以及pom.xml等构建脚本整体仅149KB轻量易部署。已有321人下载学习代码结构清晰包含完整项目目录src/main/java、resources、target等标准Maven布局并附带xiecheng_hotel.xlsx示例数据模板便于快速验证爬取结果与字段映射关系同时提供基础反爬应对逻辑如User-Agent轮换、请求间隔控制可作为Java Web爬虫实践的入门级参考范例。做酒店评论采集这个需求最开始是朋友找我帮忙——他想分析某家酒店近一年的用户反馈看看差评主要集中在哪些方面。我打开携程页面一看评论是动态加载的直接抓HTML拿不到完整内容翻页多了还会弹验证码。折腾了几天总算跑通了一条从页面分析、接口逆向到数据落地的完整链路最后把整套代码打包成了“携程酒店评论爬虫.zip”。这篇文章就把整个思路和踩过的坑完整拆一遍给打算做同类采集项目的朋友一个参考。1. 项目整体设计与思路拆解1.1 这个爬虫要解决什么问题携程的酒店评论数据价值在于量大、维度全、更新快。一个热门酒店轻轻松松上千条评论里面包含了评分、房型、入住时间、用户ID、评论内容、图片、点赞数、酒店回复等多个维度。如果靠人工一条条复制一晚上都搞不定一个酒店更别说批量分析趋势了。但采集这件事难的不是“写代码”而是“怎么稳定地拿到数据”。携程的评论区是典型的异步加载也就是说页面打开时HTML里只有一部分评论剩下的要靠JavaScript向后端接口发起请求才能动态渲染出来。直接requests请求页面源码拿到的只是一个空壳子里面根本没有完整的评论数据。所以项目的核心目标有三个定位真实的评论数据接口绕过页面渲染直接拿结构化JSON数据构造合法的请求头模拟正常浏览器行为降低被识别拦截的风险把评论数据落库支持增量更新避免重复采集和漏采整体定位是“垂直型爬虫”加“增量型爬虫”的组合只针对携程酒店评论这一个垂直领域同时支持按天增量抓取新评论而不是每次全量重爬。1.2 为什么选择Python requests这套方案技术选型上最初也纠结过用Scrapy还是自己用requests手写。Scrapy框架成熟自带并发调度、去重、中间件工程上很规范。但对这个项目来说携程评论接口结构不算特别复杂单机跑完全够用Scrapy反而有点杀鸡用牛刀的感觉——框架重、调试链路长、出问题排查成本高。requests方案的优势是轻量、直观、每一行代码都看得懂。配合BeautifulSoup和json库做解析整个核心逻辑不超过300行代码。而且对新手来说用requests入门爬虫能更清晰地理解HTTP请求、响应、会话、Cookie这些基础概念而不是一上来就被框架的各种组件绕晕。有一点需要提前说明这套方案只适用于中小规模的采集需求。如果要做全站级别的数据抓取还是得换成Scrapy或分布式方案毕竟requests是同步阻塞的IO等待时间长了效率上不去。1.3 架构设计从URL到数据的完整链路整个爬虫的流程可以拆成五层每一层各管一件事输入层接收酒店ID、页码范围、日期范围等参数请求层构造HTTP请求头带上Cookie、Referer、UA等信息解析层把返回的JSON解析成结构化的评论数据存储层去重后写入CSV或本地数据库调度层控制请求频率、异常重试、断点续爬分层的好处是后期维护方便。比如携程改版导致接口地址变了只需要改请求层解析和存储逻辑完全不用动。再比如想换存储方式从CSV改成MySQL也只要动存储层其他地方不受影响。我画过一张简单的流程图但写代码的时候发现其实不需要把架构想得太复杂。核心就一句话模拟浏览器发请求拿到JSON解析后存起来。实际开发中真正花时间的是第三步——怎么让服务器认为你是个正常用户。2. 核心细节解析携程评论数据的获取路径2.1 先摸清数据是怎么加载的拿到一个采集目标第一件事不要急着写代码而是打开浏览器开发者工具亲自看一下页面请求过程。按F12切到Network面板刷新页面留意XHR和Fetch类型的请求。携程酒店详情页打开后评论区域是分页加载的滚动到底部会触发新的请求。在Network面板里过滤XHR能看到一个比较可疑的请求返回内容是一个很大的JSON里面基本包含了当前页全部评论数据。这个就对了。这里有个细节页面URL中的参数未必是接口需要的参数。比如页面地址带的hotelId可能是加密的或者经过编码的而真实的接口参数可能是另外一套体系比如poiId、districtId等。所以光看页面URL是不够的必须仔细分析接口的请求参数。2.2 接口逆向找到真正的数据源在Network面板里找到评论相关的接口请求后右键复制为cURL格式粘贴到Postman或直接导入到requests代码里能快速验证接口可不可以用。拿我实际操作的案例来说携程评论接口在移动端页面m.ctrip.com下相对容易拿到参数也更规整。POST请求Content-Type是application/json请求体里是transactionId、oid、包含酒店标识和分页信息的arg对象。返回的数据结构是嵌套的JSON评论列表在data.commentList里总数在data.totalCount里。这个arg对象是核心里面有渠道渠道IDChannelId、酒店POI ID、入住开始日期StartRow、标签筛选条件TagId、页码PageIndex、每页条数PageSize等参数。想要哪个酒店的评论就填哪个酒店的ID想要第几页就改PageIndex。这些都是可以在页面上用真实翻页请求对比出来的。一个重要提醒接口地址和参数结构随时可能调整。我写这篇文章时用的接口路径过几个月可能就失效了。所以更关键的是掌握分析方法而不是死记硬背接口地址。2.3 请求伪造这些头部参数一个都不能少接口找到了直接requests.post一发大概率返回一个错误码或者干脆没有数据。原因很简单服务器会核对请求头信息发现你不是浏览器就把请求拦了。常用的请求头字段有这几个User-Agent必填直接决定服务器怎么识别你Referer来源页面携程对部分接口会校验这个字段Cookie登录状态和访问痕迹不登录也能拿到部分评论但想拿全量或者更高星级用户的评论建议带CookieAccept和Content-Type要和实际请求保持一致POST请求通常都是application/json实际上只带这几个还不够。携程部分接口会校验请求体中某个动态字段比如用时间戳加盐生成的签名值。遇到这种情况需要去页面JavaScript代码里找生成逻辑或者直接分析接口响应日志。另一个常见问题是Cookie过期。带Cookie请求时如果发现某一天开始突然返回“未登录”或者数据为空先检查Cookie是不是失效了重新在浏览器里登录一次再抓最新的Cookie就行。Cookie给爬虫使用的方式很简单就是放到requests的headers里或者用requests.Session()建立会话后set进去后续请求自动携带。3. 实操过程从零写一个可用的评论采集脚本3.1 环境准备与依赖安装基础环境是Python 3.8以上推荐3.10或3.11更好用。开发工具用PyCharm或者VS Code都行我是用PyCharm写的调试方便。依赖库就三个安装命令如下pip install requests beautifulsoup4 pandas这里说一下为什么需要BeautifulSoup。虽然接口返回的是JSON理论上用json库就能解决但实际采集过程中评论内容里偶尔会有HTML标签比如换行符、加粗标记用BeautifulSoup可以把这些标签清洗干净得到纯文本内容。pandas则是为了最后的数据整理方便生成表格或者导出CSV都顺手。如果下载慢可以换国内镜像源pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests beautifulsoup4 pandas3.2 构造请求、解析JSON、提取关键字段这一段给出核心代码框架注释写清楚每一步在做什么。import requests import json import time import random import pandas as pd HEADERS { User-Agent: Mozilla/5.0 (Linux; Android 13; MI 9) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Mobile Safari/537.36, Referer: https://m.ctrip.com/webapp/hotel/, Cookie: 替换成你自己的Cookie, Content-Type: application/json } def fetch_comments(hotel_id, page_index1, page_size10, start_date2024-01-01): url https://m.ctrip.com/restapi/soa2/13444/json/getCommentList payload { arg: { ChannelId: 6, HotelId: hotel_id, PageIndex: page_index, PageSize: page_size, StartRow: start_date, TagId: 0, OrderBy: 0 }, transactionId: .join(random.choices(0123456789abcdef, k24)) } try: resp requests.post(url, headersHEADERS, jsonpayload, timeout10) resp.raise_for_status() data resp.json() comments data.get(data, {}).get(commentList, []) return comments, data.get(data, {}).get(totalCount, 0) except Exception as e: print(f请求异常{e}) return [], 0获取到的comments列表里每条评论包含多个字段重点提取这几个roomName房型名称content评论正文含HTML标签需要清洗checkInDate入住日期score评分username用户昵称可能被脱敏处理commentTime评论时间hotelReplyList酒店回复内容解析和清洗的代码from bs4 import BeautifulSoup def clean_html(raw): if not raw: return soup BeautifulSoup(raw, html.parser) return soup.get_text(separator ).strip() def parse_comment_list(comments): rows [] for c in comments: rows.append({ 房型: c.get(roomName, ), 评论内容: clean_html(c.get(content, )), 入住日期: c.get(checkInDate, ), 评分: c.get(score, 0), 用户: c.get(username, ), 评论时间: c.get(commentTime, ), 酒店回复: clean_html(str(c.get(hotelReplyList, ))) }) return rows3.3 增量爬取与去重逻辑评论是一直在更新的如果每次重跑都从头抓所有页既慢又浪费资源。所以做了增量设计在存储层记录上次抓取的最大评论ID或最新评论时间下次启动时只抓这个时间点之后的新评论。去重逻辑也很重要。有时候接口返回的数据会有重复项比如翻页过程中恰好有新的评论插入导致前一页最后一条在下一页又出现一次。我的做法是用评论ID做去重键因为评论ID是唯一的。如果接口没有明确评论ID字段就用“用户评论时间评论内容前50字”拼成的字符串做MD5哈希作为去重键准确率也很高。import hashlib def dedup_key(row): raw f{row[用户]}|{row[评论时间]}|{row[评论内容][:50]} return hashlib.md5(raw.encode(utf-8)).hexdigest() seen set() unique_rows [] for row in all_rows: key dedup_key(row) if key not in seen: seen.add(key) unique_rows.append(row)这个去重方案配合增量时间戳基本能保证数据日清日结不会重复也不会漏太多。3.4 打包成zip分发前的收尾工作代码写完、调试通过之后就可以整理目录结构打包成zip分享给同事或朋友。打包之前我会做几件事删掉代码里写死的Cookie和敏感个人信息改成用配置文件或者环境变量读取加一个README.md说明依赖安装命令、运行方式、参数含义把输出结果默认放到data目录和代码分开Linux下压缩命令很简单zip -r 携程酒店评论爬虫.zip 携程酒店评论爬虫/如果是Windows直接右键压缩也行。这里提醒一个常见问题压缩之后如果别人解压时报“file is not a zip file”多半是压缩文件本身损坏了或者传输过程中被截断。解决办法是重新压缩并用unzip -t命令测试压缩包完整性unzip -t 携程酒店评论爬虫.zip如果显示“No errors detected in compressed data”说明压缩包是好的可以放心分发。还有一个小技巧如果担心别人解压时看到自己的本地路径信息可以在压缩前把输出文件统一整理到相对路径下不要包含绝对路径。用zip命令的-j参数可以只保存文件名不要路径结构但这样会丢失目录层级需要按需取舍。4. 常见问题与排查技巧实录4.1 请求被拦验证码和频率限制这是整个项目里最容易遇到的问题也是热词列表里“爬虫返回百度安全验证”这类困扰的源头。携程的反爬策略主要分几个层级频率检测同一IP短时间内请求次数过多会触发验证码头部校验请求头不完整或Set-Cookie不一致会被拒绝行为分析点击速度、停留时间等异常也会被标记我的实测经验是单IP请求频率控制在每秒最多1-2次跑几千条评论没有问题。想更快就老老实实买代理IP池轮换着用。另外把程序伪装成真人操作例如每次请求之间随机睡眠1-3秒比固定睡眠更有用因为真人不会精确到毫秒。time.sleep(random.uniform(1, 3))如果连续请求较多建议每页请求之间加一个稍长的间隔每50页左右休息10秒给服务器一点“喘息”空间。实测下来这种节奏能大幅降低触发验证码的概率。4.2 数据解析错乱编码与字段缺失JSON解析是另一个高频报错点。返回结果里偶尔会有个别字段缺失比如某条评论没有评分或者没有房型信息直接取字典里的键就会报KeyError。解决方法是统一用dict.get()方法并给默认值。还遇到过获取的评论内容里有“\u003cbr\u003e”这类字符这是Unicode转义。在JSON层面它是合法的不需要额外处理但如果直接写入CSVExcel打开后可能显示成乱码。解决方法是写CSV时用utf-8-sig编码而不是utf-8。df.to_csv(comments.csv, indexFalse, encodingutf-8-sig)4.3 zip文件打不开或损坏排查与修复标题里带了“zip”顺带说一下zip相关的问题。有几次同事反馈压缩包解压失败报“invalid zip archive: could not find eocd”或者“file is not a zip file”。排查思路很简单先看文件大小是不是只有几KB如果是大概率是传输中断或者压缩时源文件就出错了用file命令确认文件类型正常zip文件开头应该是“PK”两个字符用unzip -t检测完整性如果是拿到别人给的损坏zip文件可以尝试用zip -FF命令修复但成功率不是百分百最好还是重新打包。另外如果压缩时包含了隐藏文件或者临时文件比如.DS_Store、__pycache__分发前记得清理掉避免别人拿到一堆无关文件。4.4 数据量一大就崩异常重试与断点续爬爬了两千条之后程序突然报连接超时或者返回空数据这种情况太常见了。一开始我的做法是让程序直接退出重新跑一遍。后来发现这样效率太低还是得加异常重试和断点续爬机制。先写一个简单的重试装饰器def retry(times3, delay2): def decorator(func): def wrapper(*args, **kwargs): for i in range(times): try: return func(*args, **kwargs) except Exception as e: print(f第{i1}次失败{e}等待{delay}秒后重试) time.sleep(delay) return None return wrapper return decorator retry(times3, delay2) def fetch_comments_with_retry(hotel_id, page_index): return fetch_comments(hotel_id, page_index)断点续爬的思路是每次成功抓完一页把当前页码记录到一个进度文件里比如progress.txt下次启动时读取进度文件的页码从断点处继续抓而不是从头开始。这样即使程序中断也不会浪费之前已经抓到的数据。def save_progress(page): with open(progress.txt, w, encodingutf-8) as f: f.write(str(page)) def load_progress(): try: with open(progress.txt, r, encodingutf-8) as f: return int(f.read().strip()) except FileNotFoundError: return 14.5 请求头采坑少数网站会校验Cookie的完整性有些朋友直接用requests.get带一个没有登录的Cookie去访问结果发现返回的数据不完整甚至直接跳到登录页。问题往往出在Cookie上。携程部分接口的Cookie里带有用户访问令牌如MUID、NID等这些令牌在正常浏览器里是登录后自动生成的如果缺失服务器会认为你是非法访问。解决办法很简单打开浏览器登录携程按F12在Network里任意找一个请求把它的完整Cookie复制出来粘贴到代码里。注意Cookie是会过期的一般几天到几周不等过期后重新复制一份即可。还有一点Cookie和User-Agent要配对使用。如果你用的是移动端User-AgentCookie最好也是移动端获取的如果你用桌面端UACookie就取自桌面浏览器。混用有时会导致接口返回异常。5. 数据落库与后续扩展思路5.1 CSV还是数据库按数据量选采集结果最直接的保存格式是CSV用pandas一行代码就能搞定。CSV的好处是人眼可读、Excel直接打开、方便二次处理适合几千条到几万条的数据量。但如果数据量超过十万条或者需要多字段筛选、多表关联CSV就吃力了。这种场景建议换成SQLite或者MySQL。SQLite胜在零配置、单文件、Python内置支持适合个人项目MySQL适合多人协作或后续接后台展示系统。SQLite建表语句示例CREATE TABLE IF NOT EXISTS comments ( id INTEGER PRIMARY KEY AUTOINCREMENT, hotel_id TEXT NOT NULL, room_name TEXT, content TEXT, check_in_date TEXT, score REAL, username TEXT, comment_time TEXT, hotel_reply TEXT, unique_key TEXT UNIQUE );注意给unique_key字段加了唯一约束这样插入重复数据时会自动报错配合INSERT OR IGNORE就能实现数据库层面的去重比在Python层面手动判断更可靠。5.2 采集后的数据能做什么数据到手只是第一步真正的价值在分析。这部分说几个我实测有效且操作成本不高的方向情感分析对评论内容做分词和情感打分区分好评、中评、差评再用词云展示高频词。不用自己训练模型用jieba分词加SnowNLP就能跑出不错的效果。维度拆解按“卫生”“位置”“服务”“价格”几个维度分类评论看酒店在哪个维度被吐槽最多。最简单的方法是用关键词匹配比如“卫生”“干净”“清洁”归到卫生类。趋势变化按时间维度统计评分均值看酒店近半年的服务质量是上升还是下降这个对竞品分析非常有用。这些方向本质上都是围绕采集到的评论数据做二次加工代码量不大但产出很容易讲成故事。如果你只是打算把数据存起来吃灰那这个爬虫项目就只做了一半。5.3 增量更新的定时方案如果想实现每天自动更新评论可以加一层定时调度。Linux用crontab最简单0 2 * * * cd /path/to/project /usr/bin/python3 main.py run.log 21意思是每天凌晨2点跑一次主程序日志写入run.log方便第二天排查。Windows下可以用任务计划程序或者干脆写个死循环加sleep的Python脚本。定时任务跑起来之后增量爬取的价值才能真正体现出来。6. 爬虫的边界技术之外的两条准则这部分放在最后但认真程度不亚于前面任何一段代码逻辑。爬虫能跑通是技术问题能不能一直跑是合规问题。做采集项目有两个底线必须守住一是只采公开数据不碰需要登录才能看到的信息不碰用户隐私字段。酒店评论本质上属于公开内容但评论中偶尔包含用户昵称、入住日期等信息这些在存储和展示时要做脱敏处理不能暴露完整个人信息。二是控制请求频率不对目标服务器造成压力。我自己的标准是单机单IP下QPS不超过1.5单次任务总量不超过几千条。本质上就是“够用就好”而不是“能抓多少抓多少”。如果你这个项目将来要商业化比如接外包给别人做数据服务那就必须咨询专业人士做好合规审查。爬虫外包项目价格从几千到几万都有差距主要就在数据源难度和合规设计上。别人报价高很多时候不是代码多复杂而是人家给你做了风控方案。回到技术层面requests能做的远不止一个携程评论。同程机票、微信公众号文章、企查查企业信息、今日头条页面底层套路都一样分析请求、伪造成浏览器、解析数据、落库。把这套思维练熟遇到任何目标网站都能快速上手。最后再分享一个自己总结的小技巧写爬虫之前先在浏览器里手动完成一遍目标操作同时在开发者工具里观察每一个请求。你手动操作得越熟悉写出来的爬虫就越精准。很多人一上来就翻代码结果翻半天不知道哪些参数是必须的浪费的时间远超手动分析的那几分钟。本文还有配套的精品资源点击获取

携程酒店评论爬虫实战：接口逆向、反爬突破与增量采集全解析

相关推荐

AI落地卡点不在技术，而在管理层的五种领导力

UI组件库罗塞塔石碑：Ant Design/Element Plus等跨库映射完全指南

串口调试助手源码详解：从zip解压到编译运行

更多资讯

双辽特种作业操作证通过率揭秘：不知道去哪报名怕被中介坑？别再被坑了

证书过期了不知道怎么复审延期？官方回应江苏进网作业电工证复审全攻略

中级电工证文案怎么写？官方报名入口在这里，别再被中介坑了！

专科中级电工证怎么考在哪考实操考试心里没底怕挂科

天津水电工证考试真题与备考技巧：证书过期了不知道怎么复审延期？郑州报考避坑指南

枣阳电工证考试流程全知道，学历不高也能考，内部消息来了

今日更新

安监局电工证分数查询怎么查才能知道含金量高不高

新疆电工作业干活累吗良心建议助你避开考不过的坑

中牟县电工证怎么报名外省证能转吗

本周精选

安监局电工证分数查询怎么查才能知道含金量高不高

新疆电工作业干活累吗良心建议助你避开考不过的坑

中牟县电工证怎么报名外省证能转吗

本月热门

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

基于DRV8818与STM32的双极步进电机驱动方案实战解析

DRV8818PWPR+PIC18F45K80双极步进电机控制方案实战

读完文章，想聊聊您的网站？

相关推荐

AI落地卡点不在技术，而在管理层的五种领导力

UI组件库罗塞塔石碑：Ant Design/Element Plus等跨库映射完全指南

串口调试助手源码详解：从zip解压到编译运行

更多资讯

双辽特种作业操作证通过率揭秘：不知道去哪报名怕被中介坑？别再被坑了

证书过期了不知道怎么复审延期？官方回应江苏进网作业电工证复审全攻略

中级电工证文案怎么写？官方报名入口在这里，别再被中介坑了！

专科中级电工证怎么考在哪考实操考试心里没底怕挂科

天津水电工证考试真题与备考技巧：证书过期了不知道怎么复审延期？郑州报考避坑指南

枣阳电工证考试流程全知道，学历不高也能考，内部消息来了

今日更新

安监局电工证分数查询怎么查才能知道含金量高不高

新疆电工作业干活累吗 良心建议助你避开考不过的坑

中牟县电工证怎么报名外省证能转吗

本周精选

安监局电工证分数查询怎么查才能知道含金量高不高

新疆电工作业干活累吗 良心建议助你避开考不过的坑

中牟县电工证怎么报名外省证能转吗

本月热门

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

基于DRV8818与STM32的双极步进电机驱动方案实战解析

DRV8818PWPR+PIC18F45K80双极步进电机控制方案实战

读完文章，想聊聊您的网站？

新疆电工作业干活累吗良心建议助你避开考不过的坑

新疆电工作业干活累吗良心建议助你避开考不过的坑