k8s的pod容器中微服务无法创建新线程unable to create new native thread-北京尧图网络

问题b642798223462d2b09dd0efc95121084__fallback_source1height1280mount_node_tokenOxMCdNqYHop7Nvxm3hecTZqJnPGmount_pointdocx_imagepolicyequalwidth1280Caused by: java.lang.OutOfMemoryError: unable to create new native thread这是困扰了我们一个很久的OOM问题经常在一个节点上面多服务压力上来时出现表面上是一个程序OOM但具体又是里面的一个分支线程问题。出现的症状是不只是说一个服务是跑在同一个节点上的所有服务而且是需要创建新线程的服务都出现无法创建新线程的异常日志从节点的资源上看CPU和内存资源都还比较充足只使用到了一半。我们查看这个节点上的总线程数如下图趋势72b051f7a67a39c1e3fc66fbca277587__fallback_source1height1280mount_node_tokenG0AydTLlIoPjLzxit4Vc2sgQnCbmount_pointdocx_imagepolicyequalwidth1280经常性出现从经验上来看节点的总线程数到达32000后无不例外就有服务出现了unable to create new native thread的异常而且比较坑的是此异常对服务的/actuator/health 健康检测接口无法探测即此接口状态返回UP导致服务不会重启但服务又无法接收新请求。接下来查看节点的总线程数设置未设置之前。宿主机上执行内核级最大线程数如果不文件不存在则手动加一个cat /proc/sys/kernel/threads-max返回32768最大PID值cat /proc/sys/kernel/pid_max返回32768当前用户可创建的最大进程/线程数(nproc)ulimit -u返回32768#查看最大线程数内核参数通常 32768sysctl kernel.pid_max返回32768cat /etc/security/limits.conf设置之后的c98553a03b6ac9d9d107f6118596495e__fallback_source1height1280mount_node_tokenLivVdZGtwoCb3Jxc4gwcFWf3n4cmount_pointdocx_imagepolicyequalwidth1280从以上几个指令查看结果来看确实是总线程数限制到了32000。解决用户可创建的最大线程数 min (max user processes, threads-max, pid_max)当然先止血先调大宿主机节点的总线程数都拉到最大655350提升系统级线程数上限当前 32768 可能不够sysctl -w kernel.threads-max655350sysctl -w kernel.pid_max655350持久化echo “kernel.threads-max 655350” /etc/sysctl.confecho “kernel.pid_max 655350” /etc/sysctl.confsysctl -p调整用户级 nproc 限制 /etc/security/limits.conf 追加root soft nofile 655350root hard nofile 655350soft nofile 655350hard nofile 655350调整系统进程数配置在/etc/sysctl.conf添加最大进程和线程数量配置kernel.pid_max655350kernel.threads-max655350执行sysctl -p加载并应用内核参数执行sysctl -a |grep threads-max和sysctl -a |grep pid_max进行验证。目前根据运维提供的资料将系统里面能改的参数都改了但……将服务启动过了不久仍然还有服务报无法创建新线程的异常。至此开始怀疑是不是配置没生效但从ulimit -a的一些指令来看都是没问题的那就唯一一条路重启大法。也许是需要将服务器重启才能生效。于是建议将服务器进行了重启结果总线程数终于能突破32000至此配置生效。当然也要同时优化程序代码从宿主机上统计应用时发现有多个java应用线程数达到4000以上甚至到了8000多多个服务加一起总数肯定会超32000。

k8s的pod容器中微服务无法创建新线程unable to create new native thread

相关推荐

成为一站式线路板方案服务商要达到哪些硬核指标？

C++ Builder串口通信实战：工业级上位机开发与协议解析

C++异步IO库深度对比：Boost.Asio、libuv、C++ REST SDK与WebSocket++实战解析

更多资讯

dcode 如何用 -r 恢复历史会话并查看线程列表？

用南瓜数据重做 Web App：在 ML-For-Beginners 中替换模型并部署

docker-minecraft-server CurseForge模组包自动安装失败速查：4步彻底解决

VPI中SOA光放大仿真：参数映射、增益噪声提取与发散排查

3 步替换默认 malloc：mimalloc 低延迟内存分配器接入实战

C语言文件操作全解析：从基础到高级技巧

今日更新

SpacetimeDB C++ 模块库实战：用 C++20 在数据库内构建 WebAssembly 模块

别踩雷！不是所有 AI 写作工具都靠谱，2026 高校认可工具精选

SSM+MySQL幼儿园管理系统源码解析：从部署到优化

本周精选

超人会飞不算本事：系统稳定依赖清晰规则与边界设计

超人VS蜘蛛侠：拆解超级IP的影响力与传播方法论

基于CNN的调制信号识别：MATLAB实现时频图分类实战

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？