机器学习之数据清洗（Machine Learning about Data Cleaning）-北京尧图网络

一、数据清洗1、基础知识1.1 数据清洗的用途爬虫获取的原始数据往往存在各种问题HTML标签残余空格换行不一致编码混乱格式不一致有缺失值这些问题如果不解决将会影响后续的数据分析与挖掘工作。数据清洗是整个爬虫项目不可或缺的一环其决定了最终数据的质量。数据清洗不是一次性工作而是需要根据实际需求分析需求反复迭代的过程。1.2 常见数据问题与解决方案问题一多余空格和换行字符串前后的空白字符是爬虫数据中最常见的问题。使用 str.strip() 能够去除首尾空格df[name] df[name].str.strip()问题二HTML标签残留从网页直接提取的文本可能包含未解析的HTML标签使用正则表达式可以清除它们df[content] df[content].str.replace(r[^], , regexTrue)问题三提取数字或特定格式有时需要从混合文本里提取出特定的信息比如从“666元”里面提取数字df[price_num] df[price].str.extract(r(\d))[0].astype(float)问题四文本格式不统一对于城市名称有时需要大小写进行区分因此需要进行 upper、title 或 lower 等操作df[city] df[city].str.title() #首字母大写其余小写df[city] df[city].str.upper() # 全部大写df[city] df[city].str.lower() # 全部小写1.3 缺失值处理现实数据里面往往会有缺失值NaN的出现因此需要对其进行相关处理方法说明适用场景df.fillna(value)使用指定值进行填充缺失缺失有明确的含义df.dropna(value)删除包含缺失值的行缺失数据较少时df[col].fillna(mean)用均值/中位数填充数值型字段# 查看每列的缺失值数量 df.isnull().sum() # 用0填充缺失值 df.fillna(0) # 删除有缺失值的行 df.dropna() # 用均值填充数据型缺失值 df[score].fillna(df[score].mean())实战建议先使用df.isnull().sum()了解缺失情况再决定处理策略。如果某列缺失率超过50%通常考虑删除该列而非填充。1.4 数据类型转换有时需要提取数据类型不符合预期例如有时需要数字类型但爬虫数据是字符串类型# 转换为数值型 df[age] pd.to_numeric(df[age], errorscoerce) # 转换为日期型 df[date] pd.to_datetime(df[date], errorscoerce) # 转换为字符串 df[phone] df[phone].astype(str)注意errorscoerce参数会在转换失败时将值设为NaN而不是抛出异常这是处理脏数据的好帮手

机器学习之数据清洗（Machine Learning about Data Cleaning）

相关推荐

Java后端转Agent必看：5个阶段助你快速上手并收藏这份学习指南！

【2018-04-28】TLS简单笔记-SSL中的RSA、DHE、ECDHE、ECDH流程与区别

ArrayList vs LinkedList：性能对决全解析！

更多资讯

段式内存管理地址变换与越界检查：课堂练习4.1复盘

基于YOLOv8的舰船目标检测系统：从数据集标注到PyQt5界面集成

JMeter实战入门：以飞致云平台为靶标快速掌握接口测试核心技能

Mac读写NTFS移动硬盘的三种实用方案：从驱动到exFAT

逐行拆解one-skill-to-rule-them-all的bash脚本：ID推导、归档扫描，以及你必须防住的三种静默失败

银河麒麟v10 SP1安装Docker：前置问题、内核参数与离线部署指南

今日更新

MATLAB+Yalmip+CPLEX实战：综合能源系统优化调度全流程解析

I3C比I2C快10倍？RK3576实战：速率、DTS配置与混合总线避坑指南

字符串转对象：JSON.parse、new Function与URLSearchParams

本周精选

如何彻底离线使用 Laya-CoreML：Hugging Face 下载、缓存机制与 local_files_only 详解

基于1Panel 部署MySQL MCP 服务：TaoToken 统一 Key 接入与 config.toml 配置实战

崇州园区营销网站建设避坑指南：5大注意事项保备案安全

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？