1. Shell编程的核心价值与应用场景Shell脚本是Linux/Unix系统管理员和开发者的瑞士军刀。我在十多年的运维工作中90%的重复性工作都通过Shell脚本实现自动化。比如每天凌晨3点自动备份数据库、批量处理日志文件、监控服务器资源使用情况等。这些看似简单的脚本累计为我节省了数千小时的手动操作时间。Shell的本质是命令解释器它把人类可读的命令转换为机器指令。相比其他编程语言Shell有三大不可替代的优势直接调用系统命令和工具链grep/sed/awk等无需编译即可执行天生适合处理文本流和文件操作实际案例我曾用20行Shell脚本替代了某企业原本需要3人天完成的月度报表生成工作现在只需5分钟自动运行。2. 自动化运维的典型实现方案2.1 基础运维自动化这是Shell最经典的应用场景包含但不限于批量服务器管理通过for循环ssh实现多主机并行操作for ip in 192.168.1.{1..20}; do ssh root$ip yum update -y reboot done日志分析用awk统计Nginx访问日志的HTTP状态码分布awk {print $9} access.log | sort | uniq -c备份策略带压缩和过期清理的数据库备份mysqldump -uroot db | gzip /backups/db_$(date %F).sql.gz find /backups -mtime 30 -delete2.2 进阶运维体系构建当基础脚本积累到一定规模时需要建立更完善的运维体系配置标准化所有脚本统一存放在/opt/scripts用Git进行版本控制执行控制通过crontab -e设置定时任务重要任务添加锁文件防重复执行日志记录关键操作记录到/var/log/operation.loglog(){ echo [$(date %F\ %T)] $ /var/log/operation.log } log 开始执行月度备份3. Shell编程高效技巧实录3.1 必须掌握的文本处理三剑客grep不是简单的搜索工具结合-P支持正则捕获组echo Disk: 80% | grep -Po \d(?%) # 提取80sed流编辑器适合行级处理sed -i s/old_ip/new_ip/g config/* # 批量替换配置文件awk报表生成神器处理字段数据netstat -tn | awk $6ESTABLISHED{print $5} | cut -d: -f1 | sort | uniq -c3.2 容易被忽视的实用特性进程替换将命令输出作为文件处理diff (curl -s site1.com) (curl -s site2.com)数组操作比变量更强大的数据结构servers(web1 web2 db1) echo 第一台服务器: ${servers[0]}函数返回码$?的妙用ping -c1 google.com /dev/null [ $? -eq 0 ] echo 网络通畅 || echo 网络异常4. 生产环境避坑指南4.1 安全性红线禁用root执行所有脚本应通过sudo授权特定命令#!/bin/bash if [ $EUID -eq 0 ]; then echo 请勿直接使用root执行 2 exit 1 fi输入验证防范参数注入[[ $1 ~ ^[a-Z0-9_]$ ]] || exit 1敏感信息处理密码等数据应存放在受限文件source /etc/secure.conf # 而非硬编码在脚本中4.2 稳定性最佳实践超时控制防止命令卡死timeout 10s long_running_command错误中断set -e让脚本遇错即停#!/bin/bash set -euo pipefail资源检查执行前验证依赖command -v jq /dev/null || { echo 需要安装jq工具 2 exit 1 }5. 从脚本到自动化体系当单个脚本发展到数十个时需要建立运维框架Ansible集成通过Shell模块调用现有脚本- name: 执行备份脚本 shell: /opt/scripts/backup.sh监控对接脚本输出Prometheus格式指标echo backup_status{typemysql} 1Web封装用CGI或Flask暴露脚本接口app.route(/api/backup) def backup(): subprocess.run([/opt/scripts/backup.sh])我最近在Kubernetes集群中仍大量使用Shell脚本完成节点初始化、日志收集等操作。即便在云原生时代Shell仍是不可替代的基础技能。一个专业的运维人员应该做到能用Shell解决的问题绝不引入更复杂的方案。
1. Shell编程的核心价值与应用场景Shell脚本是Linux/Unix系统管理员和开发者的瑞士军刀。我在十多年的运维工作中90%的重复性工作都通过Shell脚本实现自动化。比如每天凌晨3点自动备份数据库、批量处理日志文件、监控服务器资源使用情况等。这些看似简单的脚本累计为我节省了数千小时的手动操作时间。Shell的本质是命令解释器它把人类可读的命令转换为机器指令。相比其他编程语言Shell有三大不可替代的优势直接调用系统命令和工具链grep/sed/awk等无需编译即可执行天生适合处理文本流和文件操作实际案例我曾用20行Shell脚本替代了某企业原本需要3人天完成的月度报表生成工作现在只需5分钟自动运行。2. 自动化运维的典型实现方案2.1 基础运维自动化这是Shell最经典的应用场景包含但不限于批量服务器管理通过for循环ssh实现多主机并行操作for ip in 192.168.1.{1..20}; do ssh root$ip yum update -y reboot done日志分析用awk统计Nginx访问日志的HTTP状态码分布awk {print $9} access.log | sort | uniq -c备份策略带压缩和过期清理的数据库备份mysqldump -uroot db | gzip /backups/db_$(date %F).sql.gz find /backups -mtime 30 -delete2.2 进阶运维体系构建当基础脚本积累到一定规模时需要建立更完善的运维体系配置标准化所有脚本统一存放在/opt/scripts用Git进行版本控制执行控制通过crontab -e设置定时任务重要任务添加锁文件防重复执行日志记录关键操作记录到/var/log/operation.loglog(){ echo [$(date %F\ %T)] $ /var/log/operation.log } log 开始执行月度备份3. Shell编程高效技巧实录3.1 必须掌握的文本处理三剑客grep不是简单的搜索工具结合-P支持正则捕获组echo Disk: 80% | grep -Po \d(?%) # 提取80sed流编辑器适合行级处理sed -i s/old_ip/new_ip/g config/* # 批量替换配置文件awk报表生成神器处理字段数据netstat -tn | awk $6ESTABLISHED{print $5} | cut -d: -f1 | sort | uniq -c3.2 容易被忽视的实用特性进程替换将命令输出作为文件处理diff (curl -s site1.com) (curl -s site2.com)数组操作比变量更强大的数据结构servers(web1 web2 db1) echo 第一台服务器: ${servers[0]}函数返回码$?的妙用ping -c1 google.com /dev/null [ $? -eq 0 ] echo 网络通畅 || echo 网络异常4. 生产环境避坑指南4.1 安全性红线禁用root执行所有脚本应通过sudo授权特定命令#!/bin/bash if [ $EUID -eq 0 ]; then echo 请勿直接使用root执行 2 exit 1 fi输入验证防范参数注入[[ $1 ~ ^[a-Z0-9_]$ ]] || exit 1敏感信息处理密码等数据应存放在受限文件source /etc/secure.conf # 而非硬编码在脚本中4.2 稳定性最佳实践超时控制防止命令卡死timeout 10s long_running_command错误中断set -e让脚本遇错即停#!/bin/bash set -euo pipefail资源检查执行前验证依赖command -v jq /dev/null || { echo 需要安装jq工具 2 exit 1 }5. 从脚本到自动化体系当单个脚本发展到数十个时需要建立运维框架Ansible集成通过Shell模块调用现有脚本- name: 执行备份脚本 shell: /opt/scripts/backup.sh监控对接脚本输出Prometheus格式指标echo backup_status{typemysql} 1Web封装用CGI或Flask暴露脚本接口app.route(/api/backup) def backup(): subprocess.run([/opt/scripts/backup.sh])我最近在Kubernetes集群中仍大量使用Shell脚本完成节点初始化、日志收集等操作。即便在云原生时代Shell仍是不可替代的基础技能。一个专业的运维人员应该做到能用Shell解决的问题绝不引入更复杂的方案。
