1. 项目概述与核心挑战最近在做一个数据采集项目时遇到了一个典型的“拦路虎”目标网站我们暂且称之为“某点数据”在发起核心数据请求时会对一个名为k的参数进行加密。这个k参数是请求能否成功的关键服务器端会用它来校验请求的合法性。如果直接使用原始数据或者一个固定的值返回的要么是空数据要么就是一个冷冰冰的“403 Forbidden”。这其实就是现代Web应用对抗自动化爬虫的常规操作——前端JavaScript加密。对于爬虫开发者来说这就是一场与网站安全工程师之间的“猫鼠游戏”而“JS逆向”正是我们破解前端加密逻辑、让爬虫重新“活”过来的核心技术。这个项目标题“【爬虫JS逆向实战】某点数据参数 ‘k’ 加密逆向”精准地概括了我们要做的事情针对一个具体网站某点数据定位并逆向其前端JavaScript代码中对关键参数k的加密算法。整个过程充满了挑战和乐趣它要求你不仅懂Python爬虫还要能深入浏览器的世界理解JavaScript的执行逻辑甚至要具备一定的密码学常识。下面我就把这次完整的逆向过程、踩过的坑以及总结出的实战经验毫无保留地分享出来。2. 逆向前的环境与思路准备在真正动手抠代码之前充分的准备工作能让你事半功倍避免在混乱的JS文件中迷失方向。2.1 核心工具链搭建工欲善其事必先利其器。JS逆向不是用记事本就能搞定的你需要一套专业的工具。浏览器开发者工具Chrome DevTools这是我们的主战场。重点掌握Network网络面板和Sources源代码面板。Network面板用于捕获和分析所有网络请求特别是XHR/Fetch请求查看其请求头、参数和响应。Sources面板用于查看、调试和搜索页面加载的所有JavaScript文件。Node.js环境很多加密算法如CryptoJS或复杂的JS逻辑需要在本地复现。安装Node.js可以让我们在脱离浏览器的环境下执行和测试逆向出来的JS代码片段验证其正确性。Python环境及相关库最终我们的爬虫还是要用Python来写。除了经典的requests我强烈推荐httpx它对于处理现代网站复杂的Cookie、重定向和连接池更加得心应手。此外execjs或PyExecJS库是连接Python和JavaScript的桥梁允许你在Python中调用Node.js或本地JS引擎来执行解密函数。代码编辑与搜索工具一个能全局搜索、语法高亮的编辑器如VSCode至关重要。有时你需要把关键的JS文件保存到本地进行格式化美化和深度搜索。注意不要一上来就试图“美化”或“格式化”所有JS文件。大型网站往往有数兆字节的混淆代码全部格式化可能导致浏览器卡死。正确的做法是先精准定位再处理关键文件。2.2 通用逆向思路与流程面对一个加密参数最忌讳的就是一头扎进几万行的混淆代码里。必须遵循一个清晰的排查路径请求捕获在开发者工具的Network面板中勾选“Preserve log”保留日志然后执行触发数据加载的操作如点击搜索、翻页。找到返回目标数据的那条XHR请求。参数定位仔细查看该请求的“Payload”负载或“Query String Parameters”查询字符串参数找到我们的目标——加密的k参数。记下它的值。入口搜索在Network面板中对该请求右键选择“Search in all files”在所有文件中搜索输入k或k:寻找设置或生成这个参数的地方。这通常能直接定位到发起请求的JavaScript代码段。调用栈分析在Sources面板中在可能设置k参数的行号上打上断点点击行号左侧然后重新触发请求。浏览器会在此处暂停这时查看右侧的“Call Stack”调用栈它能告诉你当前函数是被谁调用的一层层向上追溯往往能找到加密函数的核心入口。逻辑分析与复现进入加密函数后逐步调试F10单步跳过F11单步进入观察输入明文是如何一步步变成输出密文k的。记录下关键的转换步骤、使用的常量如密钥、IV和调用的函数如CryptoJS.AES.encrypt。这套流程是逆向的“北斗七星”能保证你在绝大多数情况下找到方向。接下来我们就用这套方法深入“某点数据”的实战。3. “某点数据”参数k的逆向实战拆解假设我们目标网站是example.com其数据接口为/api/data/list请求时必须携带加密参数k。3.1 网络请求捕获与初步分析打开Chrome开发者工具切换到Network面板访问目标列表页。观察请求很快发现一个关键的XHR请求请求URL: https://api.example.com/api/data/list?page1size20 请求方法: POST 请求负载 (Payload): {k: U2FsdGVkX12w5Dp7KLk...很长一串Base64样的字符...}很明显k参数是一个长长的、看起来像Base64编码的字符串这很可能是一个对称加密如AES的结果。我们的目标就是找出生成这个字符串的原始数据和加密算法。3.2 加密入口的定位与追踪在Network面板对该请求右键 - “Search in all files”搜索k。在搜索结果中我们发现了类似下面的代码片段经过简化和去混淆function getEncryptedKey(params) { var t JSON.stringify(params); var e CryptoJS.MD5(some_secret_salt Date.now()).toString(); var k CryptoJS.AES.encrypt(t, CryptoJS.enc.Utf8.parse(e), { mode: CryptoJS.mode.ECB, padding: CryptoJS.pad.Pkcs7 }).toString(); return {k: k}; } // 在请求发送处被调用 var requestData getEncryptedKey({page: currentPage, size: pageSize}); axios.post(/api/data/list, requestData);这是一个非常清晰的线索加密函数getEncryptedKey就在眼前。它做了以下几件事将传入的参数对象params序列化成JSON字符串t。生成一个动态密钥e用固定的字符串some_secret_salt拼接当前时间戳Date.now()然后计算其MD5值。使用AES算法以ECB模式、Pkcs7填充方式用密钥e对字符串t进行加密。将加密结果一个CipherParams对象转换成字符串这通常就是Base64格式。实操心得搜索时不要只搜k可以尝试k:、k、k甚至encrypt、AES等关键词。网站可能使用不同的变量名但加密算法名称如CryptoJS通常是明文的这是一个极佳的突破口。3.3 深入加密逻辑与细节还原找到了入口但事情还没完。我们需要在本地完全复现这个逻辑。这里有几个关键细节需要确认密钥的生成是否真的这么简单我们通过断点调试发现Date.now()返回的是一个13位的时间戳毫秒级。但服务器如何同步这个时间这里可能存在时间窗校验。进一步调试发现网站实际使用的是Math.floor(Date.now() / 1000)即秒级时间戳这降低了同步难度。AES加密的具体配置代码中显示是ECB模式和Pkcs7填充。在CryptoJS中密钥需要处理成WordArray格式。CryptoJS.enc.Utf8.parse(e)正是将UTF-8字符串的密钥转换成WordArray。ECB模式不需要初始化向量IV。加密输出的格式CryptoJS.AES.encrypt默认返回的是一个CipherParams对象直接.toString()会将其转换为OpenSSL格式的字符串以U2FsdGVkX1开头这是Salt头。这正是我们在请求中看到的格式。所以最终的加密逻辑修正如下function getEncryptedKey(params) { const plainText JSON.stringify(params); // 使用秒级时间戳 const timestamp Math.floor(Date.now() / 1000); // 密钥 secret_salt 秒级时间戳取MD5 const rawKey some_secret_salt${timestamp}; const secretKey CryptoJS.MD5(rawKey).toString(); // AES-ECB加密 const encrypted CryptoJS.AES.encrypt( plainText, CryptoJS.enc.Utf8.parse(secretKey), { mode: CryptoJS.mode.ECB, padding: CryptoJS.pad.Pkcs7 } ); return encrypted.toString(); // 返回Base64格式的密文 }3.4 本地Python代码复现逻辑清晰后我们就可以用Python来复现了。这里有两个主流方案方案一使用PyExecJS调用Node.js环境执行JS代码这种方法最省事几乎可以原封不动地执行我们逆向出来的JS函数。import execjs import time import json # 1. 读取包含加密函数的JS文件 with open(encrypt.js, r, encodingutf-8) as f: js_code f.read() # 2. 创建JS执行环境 ctx execjs.compile(js_code) # 3. 准备参数 params {page: 1, size: 20} # 4. 调用JS函数注意时间戳需要在JS环境内生成以保证一致 # 我们可以把时间戳作为参数传入也可以在JS函数内部生成。 # 这里选择在Python生成秒级时间戳传入更灵活。 timestamp int(time.time()) encrypted_k ctx.call(getEncryptedKey, params, timestamp) print(f生成的加密参数 k: {encrypted_k})encrypt.js文件内容就是我们上面修正后的JS函数但需要稍作修改以接收外部传入的时间戳。方案二使用Python密码学库纯Python实现这种方法性能更好不依赖外部JS引擎但需要确保算法实现完全一致。import hashlib import json import time import base64 from Crypto.Cipher import AES from Crypto.Util.Padding import pad def encrypt_k(params: dict, timestamp: int) - str: 复现前端加密逻辑 # 1. 生成明文 plain_text json.dumps(params, separators(,, :), ensure_asciiFalse) # 注意CryptoJS默认使用UTF-8编码Python的json.dumps返回的是Unicode字符串需要编码 plain_text_bytes plain_text.encode(utf-8) # 2. 生成MD5密钥 raw_key fsome_secret_salt{timestamp} # CryptoJS的MD5输出是32位小写十六进制字符串 secret_key_hex hashlib.md5(raw_key.encode()).hexdigest() # AES-128-ECB需要16字节的密钥MD5正好是16字节 secret_key_bytes bytes.fromhex(secret_key_hex) # 3. AES-ECB加密 cipher AES.new(secret_key_bytes, AES.MODE_ECB) # PKCS7填充 padded_data pad(plain_text_bytes, AES.block_size) encrypted_bytes cipher.encrypt(padded_data) # 4. 转换为Base64字符串 (CryptoJS.toString() 的默认行为) # 注意这里模拟的是CryptoJS的默认输出可能包含Salt头。 # 但根据我们看到的密文格式它确实是OpenSSL兼容格式。 # 纯ECB模式无IV但CryptoJS.encrypt()默认可能会加一个固定Salt头。 # 更稳妥的方式是直接匹配前端输出。如果前端是简单Base64则 encrypted_b64 base64.b64encode(encrypted_bytes).decode(utf-8) # 如果前端输出是 U2FsdGVkX1... 格式说明它包含了Salted__头。 # 我们可以使用以下方式构造这是一个通用格式但并非所有CryptoJS输出都如此 # salt bSalted__ os.urandom(8) # 但ECB模式通常不用盐这里是个矛盾点。 # 实战中最可靠的方法是用Python的pycryptodome库以相同参数加密一个已知明文 # 对比前端输出如果一致则说明我们的方法正确。 return encrypted_b64 # 使用 timestamp int(time.time()) params {page: 1, size: 20} k_value encrypt_k(params, timestamp) print(fPython生成的 k: {k_value})踩坑实录最大的坑在于加密结果的对齐。CryptoJS的.toString()和Python的base64.b64encode()结果可能因为编码、填充或是否包含头信息而不同。最有效的验证方法是“已知明文-密文对”比对。在浏览器中断点调试获取一组准确的(明文参数, 时间戳, 输出k)。然后用你的Python代码输入相同的明文和时间戳看输出是否完全一致。如果不一致逐一检查MD5结果、密钥字节、AES模式和填充、最终Base64编码。我遇到过因为JSON字符串化时空格和缩进不一致导致加密结果天差地别的情况所以务必使用json.dumps(..., separators(,, :))来生成最紧凑的JSON。4. 逆向过程中的常见问题与深度排查即使思路清晰实战中也会遇到各种“诡异”的情况。下面是我总结的常见问题库和排查清单。4.1 加密逻辑无法稳定复现症状本地生成的k参数有时有效有时无效。排查时间戳同步问题这是最常见的坑。检查前端是使用毫秒级还是秒级时间戳。服务器可能有时间容错窗口如±60秒。确保你的爬虫服务器时间与目标网站服务器时间大致同步NTP同步。可以在请求时从前端页面源码或某个公开接口获取服务器时间。密钥依赖其他动态变量密钥生成可能不仅依赖时间戳还依赖页面上的一个随机数nonce、用户令牌token或某个Cookie值。你需要通过断点仔细查看加密函数被调用时传入的所有参数和函数内部访问的所有全局变量。加密模式或填充错误确认是AES-CBC还是ECB是PKCS7还是ZeroPadding一个字符之差结果完全不同。仔细阅读JS代码中的mode和padding配置。4.2 加密函数被深度混淆或动态加载症状搜索不到明显的CryptoJS或encrypt关键字代码全是a, b, c, d变量名或者加密逻辑在动态请求的JS文件中。对策Hook大法在控制台注入代码拦截关键函数。例如拦截JSON.stringify、Date.now、CryptoJS.AES.encrypt如果存在或btoa/atob。// 在Sources面板的Snippet中新建代码片段并执行 (function() { var stringify JSON.stringify; JSON.stringify function(params) { console.trace(JSON.stringify被调用:, params); debugger; // 自动断点 return stringify.apply(this, arguments); }; })();当加密函数调用JSON.stringify时会自动断点并显示调用栈。跟栈大法在Network中找到携带k参数的请求在“Initiator”发起者列点击链接可以直接跳转到发起该请求的JS代码行。即使代码被混淆你也可以在此处打上断点然后逐步执行F11跟踪参数的生成过程。AST还原对于极度复杂的混淆可以考虑使用AST抽象语法树反混淆工具如babel插件或专门的反混淆网站进行初步还原但这需要较高的JS功底。4.3 算法不是标准AES而是自定义加密症状代码里没有常见的加密库而是自己实现了一堆位运算^,,,。对策耐心分析将自定义的加密函数代码完整地抠出来。注意其初始值、循环次数、置换表S-Box等。本地复现在Node.js环境中原封不动地运行这段抠出来的JS函数用多个测试用例验证其输入输出。翻译为Python如果逻辑不复杂可以手动将其翻译成Python代码。如果涉及大量位操作使用execjs调用抠出来的JS函数是更稳妥的选择。4.4 请求成功但返回数据异常或为空症状k参数验证通过了但返回的数据不是预期的。排查其他反爬机制参数k可能只是第一道防线。检查请求头是否完整模拟特别是User-Agent、Referer、Origin以及一些自定义的头部如X-Requested-With。Cookie与会话确保你的爬虫管理好了会话Session。某些网站需要先访问首页获取初始Cookie这个Cookie可能参与了k的生成或后续校验。使用requests.Session()或httpx.Client()来自动保持Cookie。参数完整性确认你加密的参数对象是否和前端完全一致。除了page和size可能还有sort、filter、_防缓存时间戳等隐藏参数。用断点查看前端实际发送的完整载荷。5. 提升逆向效率与稳健性的高级技巧掌握了基本方法后这些技巧能让你如虎添翼。5.1 使用“油猴脚本”或浏览器插件进行动态Hook手动打桩和调试效率较低。可以编写Tampermonkey脚本在页面加载时自动注入Hook代码将关键函数如加密函数的输入输出自动打印到控制台甚至保存下来。这样你只需要正常操作网页所有加密过程一目了然。5.2 构建本地化测试环境将关键的、被混淆的JS文件保存到本地使用Node.js配合vm2沙箱模块来执行和调试。你可以修改本地文件添加console.log反复测试而不影响线上网站。这对于分析复杂的、状态依赖的加密逻辑至关重要。5.3 面向未来变化的架构设计网站会更新加密算法会变。你的爬虫不能一劳永逸。配置化将加密算法的关键参数如密钥盐、加密模式、时间戳格式提取到配置文件中。模块化将加密函数单独封装成一个模块或类如Encryptor。当算法变更时只需修改或替换这个模块。健康检查爬虫启动时或运行一段时间后用一个已知有效的请求测试加密函数是否依然工作。如果失败可以触发告警或自动切换备用方案。降级策略如果逆向难度极大且更新频繁评估是否值得。有时使用自动化测试工具如Selenium、Playwright模拟浏览器操作虽然慢但稳定可能是性价比更高的选择。这需要根据数据量、实时性要求和维护成本来权衡。6. 法律、伦理与反爬策略的思考最后必须谈一谈红线。JS逆向是一项技术但技术的使用必须有边界。遵守robots.txt在爬取任何网站前先检查其robots.txt文件通常位于网站根目录如example.com/robots.txt。它指明了网站允许和禁止爬虫访问的路径。尊重它是最基本的网络礼仪。控制请求频率这是最重要的道德和技术准则。疯狂的高频请求会构成DoS攻击对目标网站服务器造成巨大压力影响正常用户访问也“把正规爬虫挤得都没带宽了”。务必在代码中添加延迟如time.sleep(random.uniform(1, 3))模拟人类操作间隔。识别并尊重反爬机制如果网站返回了明确的错误码如429 Too Many Requests、验证码或直接封禁IP说明你的行为已被识别为爬虫。此时应立即暂停分析原因调整策略如更换代理IP、降低频率、处理验证码或者考虑放弃。强行突破可能涉及法律风险。数据使用目的确保你爬取的数据用于合法的、个人学习或分析的目的。切勿用于商业牟利、侵犯隐私或损害他人权益。JS逆向就像一场智力游戏它考验你的耐心、细心和技术广度。每一次成功的逆向不仅意味着爬虫能跑通更代表你对Web前端安全、加密学和网络协议的理解更深了一层。希望这篇基于“某点数据”参数k加密逆向的实战记录能为你打开这扇门并提供一条清晰、可循的路径。记住保持好奇保持敬畏在技术的世界里合法合规地探索。
1. 项目概述与核心挑战最近在做一个数据采集项目时遇到了一个典型的“拦路虎”目标网站我们暂且称之为“某点数据”在发起核心数据请求时会对一个名为k的参数进行加密。这个k参数是请求能否成功的关键服务器端会用它来校验请求的合法性。如果直接使用原始数据或者一个固定的值返回的要么是空数据要么就是一个冷冰冰的“403 Forbidden”。这其实就是现代Web应用对抗自动化爬虫的常规操作——前端JavaScript加密。对于爬虫开发者来说这就是一场与网站安全工程师之间的“猫鼠游戏”而“JS逆向”正是我们破解前端加密逻辑、让爬虫重新“活”过来的核心技术。这个项目标题“【爬虫JS逆向实战】某点数据参数 ‘k’ 加密逆向”精准地概括了我们要做的事情针对一个具体网站某点数据定位并逆向其前端JavaScript代码中对关键参数k的加密算法。整个过程充满了挑战和乐趣它要求你不仅懂Python爬虫还要能深入浏览器的世界理解JavaScript的执行逻辑甚至要具备一定的密码学常识。下面我就把这次完整的逆向过程、踩过的坑以及总结出的实战经验毫无保留地分享出来。2. 逆向前的环境与思路准备在真正动手抠代码之前充分的准备工作能让你事半功倍避免在混乱的JS文件中迷失方向。2.1 核心工具链搭建工欲善其事必先利其器。JS逆向不是用记事本就能搞定的你需要一套专业的工具。浏览器开发者工具Chrome DevTools这是我们的主战场。重点掌握Network网络面板和Sources源代码面板。Network面板用于捕获和分析所有网络请求特别是XHR/Fetch请求查看其请求头、参数和响应。Sources面板用于查看、调试和搜索页面加载的所有JavaScript文件。Node.js环境很多加密算法如CryptoJS或复杂的JS逻辑需要在本地复现。安装Node.js可以让我们在脱离浏览器的环境下执行和测试逆向出来的JS代码片段验证其正确性。Python环境及相关库最终我们的爬虫还是要用Python来写。除了经典的requests我强烈推荐httpx它对于处理现代网站复杂的Cookie、重定向和连接池更加得心应手。此外execjs或PyExecJS库是连接Python和JavaScript的桥梁允许你在Python中调用Node.js或本地JS引擎来执行解密函数。代码编辑与搜索工具一个能全局搜索、语法高亮的编辑器如VSCode至关重要。有时你需要把关键的JS文件保存到本地进行格式化美化和深度搜索。注意不要一上来就试图“美化”或“格式化”所有JS文件。大型网站往往有数兆字节的混淆代码全部格式化可能导致浏览器卡死。正确的做法是先精准定位再处理关键文件。2.2 通用逆向思路与流程面对一个加密参数最忌讳的就是一头扎进几万行的混淆代码里。必须遵循一个清晰的排查路径请求捕获在开发者工具的Network面板中勾选“Preserve log”保留日志然后执行触发数据加载的操作如点击搜索、翻页。找到返回目标数据的那条XHR请求。参数定位仔细查看该请求的“Payload”负载或“Query String Parameters”查询字符串参数找到我们的目标——加密的k参数。记下它的值。入口搜索在Network面板中对该请求右键选择“Search in all files”在所有文件中搜索输入k或k:寻找设置或生成这个参数的地方。这通常能直接定位到发起请求的JavaScript代码段。调用栈分析在Sources面板中在可能设置k参数的行号上打上断点点击行号左侧然后重新触发请求。浏览器会在此处暂停这时查看右侧的“Call Stack”调用栈它能告诉你当前函数是被谁调用的一层层向上追溯往往能找到加密函数的核心入口。逻辑分析与复现进入加密函数后逐步调试F10单步跳过F11单步进入观察输入明文是如何一步步变成输出密文k的。记录下关键的转换步骤、使用的常量如密钥、IV和调用的函数如CryptoJS.AES.encrypt。这套流程是逆向的“北斗七星”能保证你在绝大多数情况下找到方向。接下来我们就用这套方法深入“某点数据”的实战。3. “某点数据”参数k的逆向实战拆解假设我们目标网站是example.com其数据接口为/api/data/list请求时必须携带加密参数k。3.1 网络请求捕获与初步分析打开Chrome开发者工具切换到Network面板访问目标列表页。观察请求很快发现一个关键的XHR请求请求URL: https://api.example.com/api/data/list?page1size20 请求方法: POST 请求负载 (Payload): {k: U2FsdGVkX12w5Dp7KLk...很长一串Base64样的字符...}很明显k参数是一个长长的、看起来像Base64编码的字符串这很可能是一个对称加密如AES的结果。我们的目标就是找出生成这个字符串的原始数据和加密算法。3.2 加密入口的定位与追踪在Network面板对该请求右键 - “Search in all files”搜索k。在搜索结果中我们发现了类似下面的代码片段经过简化和去混淆function getEncryptedKey(params) { var t JSON.stringify(params); var e CryptoJS.MD5(some_secret_salt Date.now()).toString(); var k CryptoJS.AES.encrypt(t, CryptoJS.enc.Utf8.parse(e), { mode: CryptoJS.mode.ECB, padding: CryptoJS.pad.Pkcs7 }).toString(); return {k: k}; } // 在请求发送处被调用 var requestData getEncryptedKey({page: currentPage, size: pageSize}); axios.post(/api/data/list, requestData);这是一个非常清晰的线索加密函数getEncryptedKey就在眼前。它做了以下几件事将传入的参数对象params序列化成JSON字符串t。生成一个动态密钥e用固定的字符串some_secret_salt拼接当前时间戳Date.now()然后计算其MD5值。使用AES算法以ECB模式、Pkcs7填充方式用密钥e对字符串t进行加密。将加密结果一个CipherParams对象转换成字符串这通常就是Base64格式。实操心得搜索时不要只搜k可以尝试k:、k、k甚至encrypt、AES等关键词。网站可能使用不同的变量名但加密算法名称如CryptoJS通常是明文的这是一个极佳的突破口。3.3 深入加密逻辑与细节还原找到了入口但事情还没完。我们需要在本地完全复现这个逻辑。这里有几个关键细节需要确认密钥的生成是否真的这么简单我们通过断点调试发现Date.now()返回的是一个13位的时间戳毫秒级。但服务器如何同步这个时间这里可能存在时间窗校验。进一步调试发现网站实际使用的是Math.floor(Date.now() / 1000)即秒级时间戳这降低了同步难度。AES加密的具体配置代码中显示是ECB模式和Pkcs7填充。在CryptoJS中密钥需要处理成WordArray格式。CryptoJS.enc.Utf8.parse(e)正是将UTF-8字符串的密钥转换成WordArray。ECB模式不需要初始化向量IV。加密输出的格式CryptoJS.AES.encrypt默认返回的是一个CipherParams对象直接.toString()会将其转换为OpenSSL格式的字符串以U2FsdGVkX1开头这是Salt头。这正是我们在请求中看到的格式。所以最终的加密逻辑修正如下function getEncryptedKey(params) { const plainText JSON.stringify(params); // 使用秒级时间戳 const timestamp Math.floor(Date.now() / 1000); // 密钥 secret_salt 秒级时间戳取MD5 const rawKey some_secret_salt${timestamp}; const secretKey CryptoJS.MD5(rawKey).toString(); // AES-ECB加密 const encrypted CryptoJS.AES.encrypt( plainText, CryptoJS.enc.Utf8.parse(secretKey), { mode: CryptoJS.mode.ECB, padding: CryptoJS.pad.Pkcs7 } ); return encrypted.toString(); // 返回Base64格式的密文 }3.4 本地Python代码复现逻辑清晰后我们就可以用Python来复现了。这里有两个主流方案方案一使用PyExecJS调用Node.js环境执行JS代码这种方法最省事几乎可以原封不动地执行我们逆向出来的JS函数。import execjs import time import json # 1. 读取包含加密函数的JS文件 with open(encrypt.js, r, encodingutf-8) as f: js_code f.read() # 2. 创建JS执行环境 ctx execjs.compile(js_code) # 3. 准备参数 params {page: 1, size: 20} # 4. 调用JS函数注意时间戳需要在JS环境内生成以保证一致 # 我们可以把时间戳作为参数传入也可以在JS函数内部生成。 # 这里选择在Python生成秒级时间戳传入更灵活。 timestamp int(time.time()) encrypted_k ctx.call(getEncryptedKey, params, timestamp) print(f生成的加密参数 k: {encrypted_k})encrypt.js文件内容就是我们上面修正后的JS函数但需要稍作修改以接收外部传入的时间戳。方案二使用Python密码学库纯Python实现这种方法性能更好不依赖外部JS引擎但需要确保算法实现完全一致。import hashlib import json import time import base64 from Crypto.Cipher import AES from Crypto.Util.Padding import pad def encrypt_k(params: dict, timestamp: int) - str: 复现前端加密逻辑 # 1. 生成明文 plain_text json.dumps(params, separators(,, :), ensure_asciiFalse) # 注意CryptoJS默认使用UTF-8编码Python的json.dumps返回的是Unicode字符串需要编码 plain_text_bytes plain_text.encode(utf-8) # 2. 生成MD5密钥 raw_key fsome_secret_salt{timestamp} # CryptoJS的MD5输出是32位小写十六进制字符串 secret_key_hex hashlib.md5(raw_key.encode()).hexdigest() # AES-128-ECB需要16字节的密钥MD5正好是16字节 secret_key_bytes bytes.fromhex(secret_key_hex) # 3. AES-ECB加密 cipher AES.new(secret_key_bytes, AES.MODE_ECB) # PKCS7填充 padded_data pad(plain_text_bytes, AES.block_size) encrypted_bytes cipher.encrypt(padded_data) # 4. 转换为Base64字符串 (CryptoJS.toString() 的默认行为) # 注意这里模拟的是CryptoJS的默认输出可能包含Salt头。 # 但根据我们看到的密文格式它确实是OpenSSL兼容格式。 # 纯ECB模式无IV但CryptoJS.encrypt()默认可能会加一个固定Salt头。 # 更稳妥的方式是直接匹配前端输出。如果前端是简单Base64则 encrypted_b64 base64.b64encode(encrypted_bytes).decode(utf-8) # 如果前端输出是 U2FsdGVkX1... 格式说明它包含了Salted__头。 # 我们可以使用以下方式构造这是一个通用格式但并非所有CryptoJS输出都如此 # salt bSalted__ os.urandom(8) # 但ECB模式通常不用盐这里是个矛盾点。 # 实战中最可靠的方法是用Python的pycryptodome库以相同参数加密一个已知明文 # 对比前端输出如果一致则说明我们的方法正确。 return encrypted_b64 # 使用 timestamp int(time.time()) params {page: 1, size: 20} k_value encrypt_k(params, timestamp) print(fPython生成的 k: {k_value})踩坑实录最大的坑在于加密结果的对齐。CryptoJS的.toString()和Python的base64.b64encode()结果可能因为编码、填充或是否包含头信息而不同。最有效的验证方法是“已知明文-密文对”比对。在浏览器中断点调试获取一组准确的(明文参数, 时间戳, 输出k)。然后用你的Python代码输入相同的明文和时间戳看输出是否完全一致。如果不一致逐一检查MD5结果、密钥字节、AES模式和填充、最终Base64编码。我遇到过因为JSON字符串化时空格和缩进不一致导致加密结果天差地别的情况所以务必使用json.dumps(..., separators(,, :))来生成最紧凑的JSON。4. 逆向过程中的常见问题与深度排查即使思路清晰实战中也会遇到各种“诡异”的情况。下面是我总结的常见问题库和排查清单。4.1 加密逻辑无法稳定复现症状本地生成的k参数有时有效有时无效。排查时间戳同步问题这是最常见的坑。检查前端是使用毫秒级还是秒级时间戳。服务器可能有时间容错窗口如±60秒。确保你的爬虫服务器时间与目标网站服务器时间大致同步NTP同步。可以在请求时从前端页面源码或某个公开接口获取服务器时间。密钥依赖其他动态变量密钥生成可能不仅依赖时间戳还依赖页面上的一个随机数nonce、用户令牌token或某个Cookie值。你需要通过断点仔细查看加密函数被调用时传入的所有参数和函数内部访问的所有全局变量。加密模式或填充错误确认是AES-CBC还是ECB是PKCS7还是ZeroPadding一个字符之差结果完全不同。仔细阅读JS代码中的mode和padding配置。4.2 加密函数被深度混淆或动态加载症状搜索不到明显的CryptoJS或encrypt关键字代码全是a, b, c, d变量名或者加密逻辑在动态请求的JS文件中。对策Hook大法在控制台注入代码拦截关键函数。例如拦截JSON.stringify、Date.now、CryptoJS.AES.encrypt如果存在或btoa/atob。// 在Sources面板的Snippet中新建代码片段并执行 (function() { var stringify JSON.stringify; JSON.stringify function(params) { console.trace(JSON.stringify被调用:, params); debugger; // 自动断点 return stringify.apply(this, arguments); }; })();当加密函数调用JSON.stringify时会自动断点并显示调用栈。跟栈大法在Network中找到携带k参数的请求在“Initiator”发起者列点击链接可以直接跳转到发起该请求的JS代码行。即使代码被混淆你也可以在此处打上断点然后逐步执行F11跟踪参数的生成过程。AST还原对于极度复杂的混淆可以考虑使用AST抽象语法树反混淆工具如babel插件或专门的反混淆网站进行初步还原但这需要较高的JS功底。4.3 算法不是标准AES而是自定义加密症状代码里没有常见的加密库而是自己实现了一堆位运算^,,,。对策耐心分析将自定义的加密函数代码完整地抠出来。注意其初始值、循环次数、置换表S-Box等。本地复现在Node.js环境中原封不动地运行这段抠出来的JS函数用多个测试用例验证其输入输出。翻译为Python如果逻辑不复杂可以手动将其翻译成Python代码。如果涉及大量位操作使用execjs调用抠出来的JS函数是更稳妥的选择。4.4 请求成功但返回数据异常或为空症状k参数验证通过了但返回的数据不是预期的。排查其他反爬机制参数k可能只是第一道防线。检查请求头是否完整模拟特别是User-Agent、Referer、Origin以及一些自定义的头部如X-Requested-With。Cookie与会话确保你的爬虫管理好了会话Session。某些网站需要先访问首页获取初始Cookie这个Cookie可能参与了k的生成或后续校验。使用requests.Session()或httpx.Client()来自动保持Cookie。参数完整性确认你加密的参数对象是否和前端完全一致。除了page和size可能还有sort、filter、_防缓存时间戳等隐藏参数。用断点查看前端实际发送的完整载荷。5. 提升逆向效率与稳健性的高级技巧掌握了基本方法后这些技巧能让你如虎添翼。5.1 使用“油猴脚本”或浏览器插件进行动态Hook手动打桩和调试效率较低。可以编写Tampermonkey脚本在页面加载时自动注入Hook代码将关键函数如加密函数的输入输出自动打印到控制台甚至保存下来。这样你只需要正常操作网页所有加密过程一目了然。5.2 构建本地化测试环境将关键的、被混淆的JS文件保存到本地使用Node.js配合vm2沙箱模块来执行和调试。你可以修改本地文件添加console.log反复测试而不影响线上网站。这对于分析复杂的、状态依赖的加密逻辑至关重要。5.3 面向未来变化的架构设计网站会更新加密算法会变。你的爬虫不能一劳永逸。配置化将加密算法的关键参数如密钥盐、加密模式、时间戳格式提取到配置文件中。模块化将加密函数单独封装成一个模块或类如Encryptor。当算法变更时只需修改或替换这个模块。健康检查爬虫启动时或运行一段时间后用一个已知有效的请求测试加密函数是否依然工作。如果失败可以触发告警或自动切换备用方案。降级策略如果逆向难度极大且更新频繁评估是否值得。有时使用自动化测试工具如Selenium、Playwright模拟浏览器操作虽然慢但稳定可能是性价比更高的选择。这需要根据数据量、实时性要求和维护成本来权衡。6. 法律、伦理与反爬策略的思考最后必须谈一谈红线。JS逆向是一项技术但技术的使用必须有边界。遵守robots.txt在爬取任何网站前先检查其robots.txt文件通常位于网站根目录如example.com/robots.txt。它指明了网站允许和禁止爬虫访问的路径。尊重它是最基本的网络礼仪。控制请求频率这是最重要的道德和技术准则。疯狂的高频请求会构成DoS攻击对目标网站服务器造成巨大压力影响正常用户访问也“把正规爬虫挤得都没带宽了”。务必在代码中添加延迟如time.sleep(random.uniform(1, 3))模拟人类操作间隔。识别并尊重反爬机制如果网站返回了明确的错误码如429 Too Many Requests、验证码或直接封禁IP说明你的行为已被识别为爬虫。此时应立即暂停分析原因调整策略如更换代理IP、降低频率、处理验证码或者考虑放弃。强行突破可能涉及法律风险。数据使用目的确保你爬取的数据用于合法的、个人学习或分析的目的。切勿用于商业牟利、侵犯隐私或损害他人权益。JS逆向就像一场智力游戏它考验你的耐心、细心和技术广度。每一次成功的逆向不仅意味着爬虫能跑通更代表你对Web前端安全、加密学和网络协议的理解更深了一层。希望这篇基于“某点数据”参数k加密逆向的实战记录能为你打开这扇门并提供一条清晰、可循的路径。记住保持好奇保持敬畏在技术的世界里合法合规地探索。
双梁正问题 【 torch 实战】（Python代码实现）)
