python代码分析nginx访问日志-北京尧图网络

本人网站使用内网穿透分析结结果IP都是内网地址。统计结果总访问量641805独立IP数14最活跃IP192.168.1.29访问492948次访问高峰时段16时59997次图表已保存至C:/Users/czliu/Downloads/nginx_analysis.png代码importreimportpandasaspdimportmatplotlib.pyplotaspltfromcollectionsimportCounterfromdatetimeimportdatetime# 配置项你的日志路径 LOG_PATHrC:\Users\czliu\Downloads\access.log# # 辅助函数清理字符串中的无效字符defclean_string(s):ifisinstance(s,str):# 移除非打印字符和二进制数据return.join(cforcinsifc.isprintable())returns# 1. Nginx日志正则表达式通用格式# 匹配格式IP - - [时间] 请求状态码大小来源 UAlog_patternre.compile(r(\d\.\d\.\d\.\d)\s-\s-\s\[(.*?)\]\s(.*?)\s(\d)\s(\d|-))# 2. 解析日志parsed_data[]withopen(LOG_PATH,r,encodingutf-8,errorsignore)asf:forlineinf:# 清理日志行中的无效字符clean_lineclean_string(line)matchlog_pattern.match(clean_line.strip())ifmatch:ip,time_str,request,status,sizematch.groups()# 清理各个字段ipclean_string(ip)time_strclean_string(time_str)requestclean_string(request)statusclean_string(status)sizeclean_string(size)# 处理时间dtNonetry:# 日志时间格式03/Jan/2025:12:34:56 0800dtdatetime.strptime(time_str,%d/%b/%Y:%H:%M:%S %z)hourdt.hour# 按小时统计except:hour-1# 提取请求方法和URLreq_partsrequest.split()methodreq_parts[0]iflen(req_parts)0elseUNKNOWNurlreq_parts[1]iflen(req_parts)1else/# 再次清理方法和URLmethodclean_string(method)urlclean_string(url)parsed_data.append({ip:ip,time:dt,hour:hour,method:method,url:url,status:int(status),size:int(size)ifsize!-else0})# 转为DataFrame方便分析dfpd.DataFrame(parsed_data)print(f日志解析完成总访问量{len(df)}条)# 清理数据iflen(df)0:df[ip]df[ip].apply(clean_string)df[method]df[method].apply(clean_string)df[url]df[url].apply(clean_string)# 3. 分析核心数据# 3.1 访问量TOP10 IPip_top10Counter(df[ip]).most_common(10)# 3.2 按小时访问趋势hour_countsdf[df[hour]!-1][hour].value_counts().sort_index()# 3.3 HTTP状态码分布status_countsdf[status].value_counts()# 3.4 请求方法分布method_countsdf[method].value_counts()# 4. 绘制综合图表2x2子图iflen(df)0:plt.rcParams[font.sans-serif][SimHei]# 解决中文乱码plt.rcParams[axes.unicode_minus]Falseplt.rcParams[text.usetex]False# 禁用LaTeXplt.rcParams[text.parse_math]False# 禁用mathtext解析防止反斜杠被误解析fig,((ax1,ax2),(ax3,ax4))plt.subplots(2,2,figsize(16,10))fig.suptitle(Nginx访问日志分析报告,fontsize18,fontweightbold)# 子图1TOP10访问IPifip_top10:# 清理IP地址中的特殊字符并限制长度clean_ips[]forip,_inip_top10:clean_ipclean_string(ip)# 限制IP显示长度避免过长iflen(clean_ip)15:clean_ipclean_ip[:15]...clean_ips.append(clean_ip)ax1.barh(clean_ips,[cntfor_,cntinip_top10],color#1f77b4)ax1.set_title(TOP10 访问IP,fontsize14)ax1.set_xlabel(访问次数)else:ax1.set_title(TOP10 访问IP,fontsize14)ax1.text(0.5,0.5,无数据,hacenter,vacenter)# 子图2小时访问趋势ifnothour_counts.empty:ax2.plot(hour_counts.index,hour_counts.values,markero,color#ff7f0e,linewidth2)ax2.set_title(24小时访问趋势,fontsize14)ax2.set_xlabel(小时)ax2.set_ylabel(访问量)ax2.grid(alpha0.3)else:ax2.set_title(24小时访问趋势,fontsize14)ax2.text(0.5,0.5,无数据,hacenter,vacenter)# 子图3HTTP状态码分布ifnotstatus_counts.empty:colors[#2ca02c,#d62728,#9467bd,#8c564b]# 确保标签是字符串且干净labels[str(label)forlabelinstatus_counts.index]ax3.pie(status_counts.values,labelslabels,autopct%1.1f%%,colorscolors[:len(status_counts)])ax3.set_title(HTTP状态码分布,fontsize14)else:ax3.set_title(HTTP状态码分布,fontsize14)ax3.text(0.5,0.5,无数据,hacenter,vacenter)# 子图4请求方法分布ifnotmethod_counts.empty:# 清理请求方法中的特殊字符并过滤掉无效方法clean_methods[]clean_values[]formethod,cntinmethod_counts.items():clean_methodclean_string(method)# 只保留有效的HTTP方法ifclean_methodin[GET,POST,PUT,DELETE,HEAD,OPTIONS]orcnt10:clean_methods.append(clean_method)clean_values.append(cnt)ifclean_methods:ax4.bar(clean_methods,clean_values,color#e377c2)ax4.set_title(请求方法分布,fontsize14)ax4.set_ylabel(次数)else:ax4.set_title(请求方法分布,fontsize14)ax4.text(0.5,0.5,无数据,hacenter,vacenter)else:ax4.set_title(请求方法分布,fontsize14)ax4.text(0.5,0.5,无数据,hacenter,vacenter)plt.tight_layout()plt.savefig(rC:\Users\czliu\Downloads\nginx_analysis.png,dpi300,bbox_inchestight)plt.close()# 关闭图表避免在非交互式环境中出现问题# 5. 打印关键统计print(\n 统计结果 )print(f总访问量{len(df)})print(f独立IP数{df[ip].nunique()})ifip_top10:print(f最活跃IP{ip_top10[0][0]}访问{ip_top10[0][1]}次)else:print(最活跃IP无数据)ifnothour_counts.empty:print(f访问高峰时段{hour_counts.idxmax()}时{hour_counts.max()}次)else:print(访问高峰时段无数据)iflen(df)0:print(f图表已保存至C:/Users/czliu/Downloads/nginx_analysis.png)else:print(图表无数据未生成)

python代码分析nginx访问日志

相关推荐

智能驾驶（L2）相关法规以及标准

《如何搭建：“数字人宣讲视频 + Flask 展示页”的演示系统》

深入解析以太网DMA与描述符机制：从原理到嵌入式网络驱动实践

更多资讯

msn官方下载正式版避坑指南新手必看的3个环境配置真相

国税网上打印完税证明新手避坑指南

Linux脚本实战：5个高频考点速查手册，面试不慌

3步搞定ip地址分类源码解析：运维人必看的实战指南

MCP Host 集成 MCP 服务器，Base URL 走 TaoToken 通道

Unity项目开发规范全解析：从目录结构到性能优化的工程实践

今日更新

OneUptime 自定义探针（Custom Probe）部署实战：私网监控、代理配置与断连排障全指南

大众TL52625前端框架材料要求详解：从性能测试到落地执行

TiXL 浮点运算算子库 Lib.numbers.float 完全指南：44 个算子的参数详解、源码原理与实战串联

本周精选

深入解析Transformer多头注意力机制与工程优化

OpenClaw 的 Skills 跑学习任务，模型通道改到 TaoToken 通道行不行？

ChatGPT报错Oops, an error occurred! 全链路排查指南

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？