影刀RPA 动态加载网页的稳定采集三策略-北京尧图网络

影刀RPA 动态加载网页的稳定采集三策略作者林焱什么情况用这个打开一个网页数据是慢慢长出来的——先出骨架然后一条条数据刷出来有时候还要滚动才加载。你的【获取元素列表】在这一刻抓到了10条下一刻可能就是50条。到底什么时候才算加载完成什么时候开始采集最稳动态网页的采集难点不在抓数据在于判断时机。抓早了数据不全抓晚了浪费时间。这篇文章给你三种稳定采集策略覆盖Ajax、懒加载、虚拟滚动等所有动态加载场景。怎么做策略一等待数据稳定最常用核心思想连续两次检测到的数据量相同说明加载完毕。defwait_for_data_stable(driver,selector,stable_count2,max_wait30): 等待数据量稳定 stable_count: 连续N次数量不变才算稳定 last_count0stable_times0for_inrange(max_wait*2):elementsdriver.find_elements(By.CSS_SELECTOR,selector)current_countlen(elements)ifcurrent_countlast_countandcurrent_count0:stable_times1ifstable_timesstable_count:returnelementselse:stable_times0last_countcurrent_count time.sleep(0.5)returndriver.find_elements(By.CSS_SELECTOR,selector)# 超时了也返回策略二监听网络请求完成更精确的做法——等Ajax请求全部完成defwait_for_ajax_complete(driver,timeout15):等待所有Ajax请求完成jQuery/XMLHttpRequest# 注入Ajax监听driver.execute_script( window.__ajaxActive 0; var origXHR window.XMLHttpRequest.prototype; var origOpen origXHR.open; var origSend origXHR.send; origXHR.open function() { this._active true; return origOpen.apply(this, arguments); }; origXHR.send function() { window.__ajaxActive; this.addEventListener(loadend, function() { window.__ajaxActive--; }); return origSend.apply(this, arguments); }; )# 等待活跃请求数降到0for_inrange(timeout*10):activedriver.execute_script(return window.__ajaxActive || 0)ifactive0:time.sleep(0.3)# 确认一下activedriver.execute_script(return window.__ajaxActive || 0)ifactive0:returnTruetime.sleep(0.1)returnFalse策略三MutationObserver监听DOM变化最精确的方式——监听特定容器内的DOM变化defwait_for_dom_stable(driver,container_selector,idle_ms500,timeout15): 监听DOM变化连续idle_ms毫秒没有新变化才算稳定 driver.execute_script(f window.__domStable false; window.__domTimer null; var target document.querySelector({container_selector}); if (!target) return; var observer new MutationObserver(function() {{ window.__domStable false; clearTimeout(window.__domTimer); window.__domTimer setTimeout(function() {{ window.__domStable true; }},{idle_ms}); }}); observer.observe(target, {{ childList: true, subtree: true }}); // 初始设置定时器 window.__domTimer setTimeout(function() {{ window.__domStable true; }},{idle_ms}); )# 等待稳定标志for_inrange(timeout*10):stabledriver.execute_script(return window.__domStable)ifstable:returnTruetime.sleep(0.1)returnFalse有什么坑坑一数据一直在变永远不会稳定现象实时更新的数据看板数据一直在刷新永远等不到稳定。解决设定最大等待时间超时就按当前数据采集。或者用采集前N条策略不等全部加载。坑二虚拟滚动的数据看到才存在现象DOM里只有可见区域的20条数据上面的已经移除、下面的还没生成。解决边滚动边采集——滚一段、等加载、采集、记录位置、继续滚。坑三等待了Ajax但数据是WebSocket推的现象Ajax监听显示完成了但数据还在通过WebSocket进来。解决这种情况下只能用策略一等数据量稳定或策略三DOM变化监听。总结三种策略的适用场景——绝大多数情况用策略一等数据量稳定Ajax频繁的页面用策略二等网络请求完成实时更新的看板用策略三DOM监听。

影刀RPA 动态加载网页的稳定采集三策略

相关推荐

如何利用etmem与cslide引擎实现内存垂直扩展？终极AEP高性能存储解决方案

影刀RPA 函数参数详解：位置参数、关键字参数、默认值

Java 大厂面试高频题：别再只会 new 了！Java 创建对象竟然有这么多种方式

更多资讯

BLE蓝牙胎压监测方案：从选型到广播数据解析实战

DataHub Rest Emitter 深度指南：通过 REST 协议向 DataHub 推送元数据的完整实战

Tabby 终端工具完整指南：本地 Shell、SSH 与串口调试一站搞定

企业级大模型应用：核心价值与落地实践

Encore 中如何接收常规 HTTP 请求：Raw Endpoints 完整实战指南

用 jemalloc mallctl 看进程内存的真相

今日更新

基于高阶循环谱的MPSK载波频率估计与MATLAB实现

MiniPdf方：.NET开源Office转PDF的高效解决方案

Solon AI v3.10：Java全栈智能体开发框架解析

本周精选

AI驱动的自动化专利分析平台技术解析

LeetCode-Go 题解：1252. Cells with Odd Values in a Matrix（奇数值单元格计数）双解法剖析

在线答疑系统Java毕设实战：Spring Boot前后端分离与状态流转

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？