K8s Pod状态CrashLoopBackOff重启崩溃-北京尧图网络

K8s Pod状态CrashLoopBackOff重启崩溃排障实操技术栈Kubernetes v1.32.13 Rocky Linux 8.6 Containerd 1.7.x操作环境 / 对接原理 / 详细步骤 / 完整命令 / 配置文件 / 验证流程 / 排错方案K8s Pod状态CrashLoopBackOff重启崩溃排障实操操作环境K8s 集群 3 节点k8s-master(192.168.1.10), k8s-node1(192.168.1.11), k8s-node2(192.168.1.12)K8s 版本 v1.32.13排障场景Pod故障排查已部署完整K8s集群核心组件正常运行业务Pod已部署监控告警系统已配置操作系统 Rocky Linux 8.6容器运行时 Containerd 1.7.x网络插件 Calico存储已配置PVC已配置kubectl命令行工具具备集群管理员权限可访问所有命名空间和资源已配置监控系统PrometheusGrafana可查看集群指标、日志、事件便于排障定位对接原理K8s Pod状态CrashLoopBackOff重启崩溃排障实操是 K8s 生产集群运维排障中的核心操作场景。K8s 集群排障遵循由表及里、逐层定位、快速恢复、根因根治的原则首先通过监控告警和用户反馈发现异常然后通过集群状态检查、日志分析、事件追踪、资源监控等手段逐层定位故障根因接着采取应急措施快速恢复业务最后进行根因修复和预防措施落地。Pod故障排查排障的核心目标是确保集群高可用、业务连续性、数据安全性通过规范化的排障流程缩短故障恢复时间MTTR通过深度根因分析避免故障重复发生通过预防性巡检和监控告警提前发现隐患通过标准化SOP确保排障操作可复制可追溯。所有排障操作需遵循先备份后操作、先观察后变更、先灰度后全量的安全原则避免排障操作引发二次故障。详细步骤1. 故障现象确认与集群状态盘点# 1. 检查集群整体状态 kubectl get nodes -o wide kubectl get pods -A -o wide | head -50 kubectl get events -A --sort-by.lastTimestamp | tail -30 # 2. 检查核心组件状态 kubectl get pods -n kube-system -o wide kubectl get componentstatuses 2/dev/null || kubectl get --raw/healthz?verbose # 3. 检查集群资源使用 kubectl top nodes kubectl top pods -A --sort-bycpu | head -20 kubectl top pods -A --sort-bymemory | head -20 # 4. 检查异常Pod kubectl get pods -A | grep -vE Running|Completed|NAME kubectl get pods -A -o wide | grep -E Pending|CrashLoop|Error|ImagePull|Terminating|OOMKilled # 5. 检查节点状态详情 kubectl describe nodes | grep -A5 Conditions: kubectl get nodes -o jsonpath{.items[*].status.conditions[?(.typeReady)].status} # 6. 检查集群事件 kubectl get events -A --sort-by.lastTimestamp | tail -50 kubectl get events -A --field-selector typeWarning | tail -30 # 7. 检查网络状态 kubectl get svc -A kubectl get endpoints -A kubectl get ingress -A 2/dev/null # 8. 检查存储状态 kubectl get pv kubectl get pvc -A kubectl get storageclass # 9. 导出当前状态备份 kubectl get all -A -o yaml /tmp/cluster_state_$(date %Y%m%d_%H%M%S).yaml kubectl get nodes -o yaml /tmp/nodes_state_$(date %Y%m%d_%H%M%S).yaml echo 集群状态已备份到 /tmp/ 2. 备份防护与排障方案制定# 1. 备份关键配置排障前必做 kubectl get cm -A -o yaml /tmp/cm_backup_$(date %Y%m%d_%H%M%S).yaml kubectl get secret -A -o yaml /tmp/secret_backup_$(date %Y%m%d_%H%M%S).yaml kubectl get deployment,statefulset,daemonset -A -o yaml /tmp/workload_backup_$(date %Y%m%d_%H%M%S).yaml kubectl get svc,ingress -A -o yaml /tmp/network_backup_$(date %Y%m%d_%H%M%S).yaml kubectl get pv,pvc -A -o yaml /tmp/storage_backup_$(date %Y%m%d_%H%M%S).yaml # 2. 记录故障现象 echo 故障现象记录 $(date) /tmp/troubleshoot_log.txt echo 故障时间: $(date) /tmp/troubleshoot_log.txt echo 故障现象: /tmp/troubleshoot_log.txt echo 影响范围: /tmp/troubleshoot_log.txt echo 业务影响: /tmp/troubleshoot_log.txt cat /tmp/troubleshoot_log.txt # 3. 制定排障方案 cat /tmp/troubleshoot_plan.md EOF # 排障方案 ## 一、故障现象 ## 二、影响范围评估 ## 三、排障步骤与时间窗口 ## 四、应急恢复措施 ## 五、根因定位方法 ## 六、修复方案 ## 七、验证标准 ## 八、回滚方案 ## 九、风险点与应对措施 EOF echo 排障方案模板已创建 # 4. 确认业务窗口 echo 当前时间: $(date) echo 建议在业务低峰期执行排障操作避免影响业务 # 5. 通知相关业务方 # echo K8s集群排障操作通知 | mail -s 集群排障通知 adminexample.com 3. 逐层定位与根因分析# 1. 查看异常Pod详细信息 # kubectl describe pod pod-name -n namespace # kubectl logs pod-name -n namespace --tail100 # kubectl logs pod-name -n namespace --previous # 2. 查看节点详细信息 # kubectl describe node node-name # 检查节点Conditions、资源、污点、标签、事件 # 3. 查看核心组件日志 # kubectl logs -n kube-system component-pod --tail100 # kubectl logs -n kube-system component-pod --previous # 4. 查看etcd状态 # kubectl exec -n kube-system etcd-node -- etcdctl endpoint health # kubectl exec -n kube-system etcd-node -- etcdctl member list # kubectl exec -n kube-system etcd-node -- etcdctl endpoint status --write-outtable # 5. 查看网络连通性 # kubectl run -it --rm debug --imagebusybox --restartNever -- sh # 在容器内执行: nslookup, ping, wget, curl 等 # 6. 查看存储挂载 # kubectl describe pvc pvc-name -n namespace # kubectl describe pv pv-name # 登录节点查看挂载: df -h, mount, dmesg # 7. 查看kubelet状态 # 登录节点执行: systemctl status kubelet # journalctl -u kubelet -f --since 10 minutes ago # 8. 查看容器运行时 # 登录节点执行: crictl ps -a # crictl logs container-id # crictl inspect container-id # 9. 执行具体排障操作根据故障类型调整 echo 执行具体排障操作... echo 请根据排障方案执行具体步骤 # 10. 应用修复配置 # kubectl apply -f /tmp/fix_config.yaml # kubectl rollout restart deployment/name -n namespace # kubectl rollout status deployment/name -n namespace --timeout120s 4. 应急恢复与业务验证# 1. 验证集群状态 kubectl get nodes -o wide # 预期所有节点 Ready 状态 # 2. 验证核心组件 kubectl get pods -n kube-system -o wide # 预期所有核心组件 Pod RunningREADY 正常 # 3. 验证业务Pod kubectl get pods -A | grep -vE Running|Completed|NAME # 预期无异常Pod # 4. 验证业务服务 # kubectl get svc -n namespace # kubectl get endpoints -n namespace # 预期Service 有对应 Endpoints # 5. 验证网络连通性 # kubectl run -it --rm debug --imagebusybox --restartNever -- nslookup kubernetes.default # 预期DNS解析正常 # kubectl run -it --rm debug --imagebusybox --restartNever -- wget -O- http://service-name.namespace.svc.cluster.local # 预期服务访问正常 # 6. 验证存储 kubectl get pvc -A # 预期PVC Bound 状态 # kubectl exec -it pod-with-pvc -- df -h # 预期存储挂载正常 # 7. 验证资源使用 kubectl top nodes kubectl top pods -A --sort-bycpu | head -10 # 预期资源使用在合理范围内 # 8. 验证监控告警 # 检查Prometheus Targets状态 # 检查Grafana面板数据 # 检查Alertmanager告警状态 # 预期监控正常无异常告警 # 9. 验证业务功能 # 执行业务接口测试 # curl http://业务地址/health # 预期业务接口返回正常 # 10. 清理调试资源 # kubectl delete pod debug --ignore-not-found # kubectl delete -f /tmp/debug_resources.yaml 2/dev/null echo 验证完成 5. 根因修复与预防配置# 1. 配置监控告警 # 检查Prometheus告警规则 # kubectl get cm -n monitoring prometheus-rules -o yaml 2/dev/null | head -100 # 2. 配置日志采集 # 检查日志采集配置 # kubectl get cm -n logging -o name 2/dev/null | head -10 # 3. 配置资源限制 # 检查Deployment资源限制 # kubectl get deployment -n namespace -o jsonpath{.items[*].spec.template.spec.containers[*].resources} # 4. 配置高可用 # 检查副本数和反亲和性 # kubectl get deployment -n namespace -o jsonpath{.items[*].spec.replicas} # kubectl get deployment -n namespace -o jsonpath{.items[*].spec.template.spec.affinity} # 5. 配置备份策略 # 检查etcd备份 # kubectl get cronjob -A 2/dev/null | grep -i backup # 检查PV快照 # kubectl get volumesnapshot -A 2/dev/null # 6. 配置安全策略 # 检查RBAC权限 # kubectl get clusterrolebinding -o name | head -20 # 检查网络策略 # kubectl get networkpolicy -A 2/dev/null # 7. 配置节点维护 # 检查节点污点和标签 # kubectl get nodes -o jsonpath{.items[*].spec.taints} # kubectl get nodes --show-labels # 8. 配置升级策略 # 检查集群版本 # kubectl version --short # 检查节点版本 # kubectl get nodes -o jsonpath{.items[*].status.nodeInfo.kubeletVersion} 6. 最终验证与排障报告# 1. 最终验证集群状态 kubectl get nodes -o wide kubectl get pods -A -o wide | grep -vE Running|Completed|NAME | wc -l # 预期异常Pod数为0 # 2. 验证核心组件健康 kubectl get --raw/healthz?verbose 2/dev/null | head -20 # 预期所有健康检查通过 # 3. 验证业务服务 # kubectl get svc -A # kubectl get endpoints -A # 预期所有Service有对应Endpoints # 4. 验证监控数据 # 检查Prometheus指标 # kubectl port-forward -n monitoring svc/prometheus 9090:9090 # sleep 5 # curl -s http://localhost:9090/api/v1/query?queryup | jq .data.result | length # 预期指标数据正常 # 5. 验证日志 # 检查日志采集 # kubectl logs -n logging fluentd-pod --tail10 2/dev/null # 预期日志正常采集 # 6. 生成排障报告 echo 排障报告 /tmp/troubleshoot_report.txt echo 排障时间: $(date) /tmp/troubleshoot_report.txt echo 故障现象: /tmp/troubleshoot_report.txt echo 根因分析: /tmp/troubleshoot_report.txt echo 修复措施: /tmp/troubleshoot_report.txt echo 验证结果: /tmp/troubleshoot_report.txt echo 预防措施: /tmp/troubleshoot_report.txt echo 经验总结: /tmp/troubleshoot_report.txt cat /tmp/troubleshoot_report.txt # 7. 清理临时文件 # rm -f /tmp/debug_*.yaml /tmp/troubleshoot_*.txt 2/dev/null # echo 临时文件已清理 # 8. 清理port-forward # pkill -f port-forward 2/dev/null echo 排障完成验证流程# 1. 集群状态验证 kubectl get nodes -o wide # 预期所有节点 Ready # 2. 核心组件验证 kubectl get pods -n kube-system -o wide # 预期所有核心组件 Running # 3. 业务Pod验证 kubectl get pods -A | grep -vE Running|Completed|NAME # 预期无异常Pod # 4. 服务连通性验证 # kubectl run -it --rm debug --imagebusybox --restartNever -- nslookup kubernetes.default # 预期DNS正常 # 5. 资源使用验证 kubectl top nodes kubectl top pods -A --sort-bycpu | head -10 # 预期资源合理 # 6. 监控告警验证 # 检查Prometheus/Grafana/Alertmanager状态 # 预期监控正常 # 7. 业务功能验证 # curl http://业务地址/health # 预期业务正常 # 8. 排障报告验证 cat /tmp/troubleshoot_report.txt # 预期报告完整排错方案Pod Pending 调度失败检查资源请求、节点选择器、污点容忍、亲和性、资源配额、PVC绑定、镜像拉取、调度器日志Pod CrashLoopBackOff 重启崩溃检查容器日志、启动命令、配置文件、依赖服务、资源限制、健康探针、权限、镜像Pod ImagePullBackOff 镜像拉取失败检查镜像地址、仓库认证、网络连通性、DNS解析、镜像标签、仓库状态、代理配置Pod ErrImageNeverPull 镜像策略异常检查imagePullPolicy、本地镜像、镜像标签、仓库配置、节点镜像缓存、策略冲突Pod Terminating 卡死无法删除检查finalizers、容器状态、存储挂载、网络配置、kubelet状态、强制删除、优雅终止Pod OOMKilled 内存溢出被杀检查内存限制、应用内存、JVM配置、内存泄漏、资源请求、cgroup、监控告警、调优Pod 网络不通跨Pod访问失败检查网络插件、Service配置、网络策略、DNS解析、端口监听、iptables规则、路由、防火墙Pod 域名解析异常DNS故障检查CoreDNS状态、resolv.conf、上游DNS、缓存、网络策略、DNS策略、搜索域、超时配置Pod 端口冲突启动失败检查容器端口、hostPort、Service端口、节点端口、端口占用、网络命名空间、端口范围、冲突Pod 权限不足启动异常检查SecurityContext、RBAC、ServiceAccount、Capabilities、SELinux、AppArmor、用户权限、文件权限Pod 健康检查探针失败检查liveness/readiness/startup探针、端口路径、超时时间、初始延迟、应用状态、日志、依赖Pod 资源限制过低性能卡顿检查CPU/内存限制、应用性能、资源请求、QoS等级、节点资源、监控、调优、扩容Pod 临时文件爆满写入失败检查emptyDir、临时存储、磁盘配额、应用日志、文件清理、存储限制、监控、扩容Pod 内核参数不兼容启动异常检查sysctl、安全上下文、内核版本、命名空间参数、特权模式、节点内核、兼容性、调优Pod 时区不一致日志时间错乱检查时区配置、容器镜像、hostPath挂载、TZ环境变量、时间同步、日志时间、应用配置

K8s Pod状态CrashLoopBackOff重启崩溃

相关推荐

Python pytest装饰器总结(实例详解)

优效日历深度体验：免费三合一时间管理工具，让日程与待办不再割裂

Python re模块的使用全过程

更多资讯

基于Java的超市积分管理系统：源码+数据库+答辩PPT全套课设资源

Django实战拆解：Python医院信息系统HIS开发全流程与避坑指南

Java+JSP+Mysql学生信息管理系统源码：环境搭建与增删改查实战

C语言手写UTF-8编解码与工具函数实战

无sudo权限也能安装poppler：用户级源码编译与配置指南

宝可梦羁绊之旅：近期热度、玩法特色与资料整理

今日更新

Agent Skills 完全指南：原理、写法、安装与实战避坑

Agent Skills 实战：从 Genkit 定义到 GKE 部署与排查

Agent Skills 实战：从设计到调试的完整指南

本周精选

CMOS设计三大物理效应：体效应、沟道长度调制与亚阈值导电

微信小程序在线阅读毕设全解析：Java后端+MySQL+避坑实战

Android音频问题五层分析法：从App到Codec的系统化诊断

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？