利用AI工具实现代码-北京尧图网络

代码# -*- coding: utf-8 -*- 从可阅文学网批量抓取《围城》全文并保存为 txt 文件。章节链接格式: https://www.kepub.net/book/1105/10001 ~ 10013 import re import time import urllib.request from html.parser import HTMLParser BASE https://www.kepub.net/book/1105/ CHAPTER_IDS list(range(10001, 10014)) # 序 9章附录 HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36 } class TextExtractor(HTMLParser): 简易 HTML 正文提取器只保留 div classcontent 或 reader 容器里的文本 def __init__(self): super().__init__() self.in_content False self.depth 0 self.parts [] self.current_tag def handle_starttag(self, tag, attrs): attrs dict(attrs) cls attrs.get(class, ) # 站点正文容器常见类名 if tag div and (content in cls or reader in cls or article in cls): self.in_content True self.depth 1 elif self.in_content: self.depth 1 self.current_tag tag def handle_endtag(self, tag): if self.in_content: self.depth - 1 if self.depth 0: self.in_content False def handle_data(self, data): if self.in_content: t data.strip() if t: self.parts.append(t) def fetch_chapter(cid): url BASE str(cid) req urllib.request.Request(url, headersHEADERS) with urllib.request.urlopen(req, timeout20) as resp: raw resp.read() # 尝试多种编码 for enc in (utf-8, gbk, gb18030): try: html raw.decode(enc) break except UnicodeDecodeError: continue return html def extract_text(html): 优先用正则定位 div ... idcontent ... 区块再退回 HTMLParser # 常见正文 div m re.search( rdiv[^]*class[^]*(?:content|article|reader-content|showtxt)[^]*[^]*(.*?)/div\s*!--, html, re.S) if not m: m re.search( rdiv[^]*id[^]*content[^]*[^]*(.*?)/div, html, re.S) if m: body m.group(1) # 去标签 text re.sub(rbr\s*/?, \n, body) text re.sub(r[^], , text) text re.sub(rnbsp;, , text) text re.sub(rldquo;|rdquo;, , text) text re.sub(rmdash;, —, text) return text.strip() # 退回通用 parser p TextExtractor() p.feed(html) return \n.join(p.parts).strip() def main(): full [] for cid in CHAPTER_IDS: print(f正在抓取章节 {cid} ...) try: html fetch_chapter(cid) text extract_text(html) # 取章节标题 tm re.search(rtitle(.*?)/title, html) title tm.group(1) if tm else str(cid) title re.sub(r[_\-–—].*?(可阅文学网|手机版).*$, , title).strip() full.append(f\n\n {title} \n\n) full.append(text) print(f - {title}, {len(text)} 字) except Exception as e: print(f 失败: {e}) time.sleep(1.5) # 礼貌延时 out .join(full) with open(围城.txt, w, encodingutf-8) as f: f.write(out) print(f\n完成共 {len(out)} 字已保存到围城.txt) if __name__ __main__: main()结果

利用AI工具实现代码

相关推荐

AIGC工具平台-Tauri2.x智能工具桌面应用模块：把本地模型 endpoint 改到 TaoToken

天池肺部CT数据集实战避坑指南：DICOM物理参数与临床一致性处理

Java入门指南：从零搭建环境到写出第一个实战项目

更多资讯

欧税通递表港交所，合规服务商资本化提速，欧美跨境电商服务商对接平台推荐：实测按目标市场筛选合规服务商

LSTM多输入单输出分类预测：数据形状、滑窗切片与调参避坑指南

PS5辅助工具AnyPS5：用Python与图像识别自动化主机操作

Docker部署Qdrant向量数据库：从安装到持久化实战

Decompiler Explorer 开源上架 GitHub：在线反编译对比开卷，本地装 Ghidra 还香吗？

让 AI 助手记住你读过的网页：Hister MCP 接口接入实战

今日更新

再见，SSE！你好，Streamable HTTP！轻松开发 Streamable HTTP MCP Server 并接入 TaoToken

工业软件标准化路线图：国产替代的落地施工图

VCMI安卓版实操指南：原生运行英雄无敌3的3步技术落地

本周精选

CMOS设计三大物理效应：体效应、沟道长度调制与亚阈值导电

微信小程序在线阅读毕设全解析：Java后端+MySQL+避坑实战

Android音频问题五层分析法：从App到Codec的系统化诊断

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？