Linux根目录误移修复
问题描述 公司一同事在做主机配置时，不小心在根目录下执行了mv * /bak/的操作，后来ctrl + c 停止后，发现所有的命令都已无法操作了，所幸当前连接的ssh还没断掉，但新发起的ssh明显也连不过去了。执行任何命令都发现无法操作。通过全路径执行也主要报错：“/lib64/ld-lin……
包含标签 故障案例 articles
全NAT环境下的TCP参数优化
问题现象 我边遇到的一个情况，一台主机访问另一台主机时，会发现有的时候时长特别长（注意是特别长），有的时间非常快，出现有问题的概率挺大的。通过抓包比对，发现TCP/IP包在花费时间特别长的时候有包重传的情况。而多花费的这3秒就耗费在了重传上： full-nat-syn-ack 问题解决 其实这个问题呢，是个老生常谈的……
LINUX内存OOM哪些事
一、OOM killer算法 OOM是linux out of memory的简称，由于现网要做此类问题的优化，这里再总结下。OOM的算法策略具体见下图： linux-oom-killer 二、OOM机制 Linux用户内存都是读写时分配，所以系统发现需要内存基本上都是发生在handle_mm_fault()的时候（其他特殊流程类……
阿里云ssh连接慢问题处理
一、问题描述 公司内部使用的有阿里云（私有云）平台。由于其虚拟机模块是固定死的，内部自己使用一些版本在其上面没有，后都是通过vmware创建好后，再通过阿里云专门的转换工具转换成他们的格式，再在后台通过命令导入的。能过这些模块分发的虚拟机在vmware上使用正常，但在阿里云平台上分……
ifconfig dropped包比较多问题处理
ifconfig dropped rx packets 一、问题现象 上面的图已经很能描述问题，现网某业务反馈，其对应的几台主机发现active-backup的bond网卡接口对应的备用网卡，rx包基本上全都是dropped状态，而且一直在持续增长。登陆确认后，查看主机配置未发现异常，同时对比了下邻近主机的ifconfig输出（……
s权限位引发postfix及crontab异常处理
一、问题现象 业务反馈某台应用服务器，普通用户使用mutt程序发送邮件时，提示“postdrop warning: mail_queue_enter: create file maildrop/713410.6065: Permission denied”，而且普通用法使用crontab -e 编辑自身任务计划时，也会提示“ crontab: edits left in /tmp/crontab.XXXXCl0bLz” 。 二、问题分析与解决 1、postdrop……
raw socket traceroute权限拒绝处理
一、问题现象 现网一台SuSE主机，在使用traceroute直接进行测试路由信息时可以正常返回（默认使用udp），当换用tcp协议指定端口时，提示权限拒绝，具体如下： 1# traceroute 192.168.23.22 -T -q 10 -f 4 -p 7280 2unable to create ICMP recv socket: Permission denied 二、问题分析 1、strace跟踪 先在redhat上使用该命令进行测试，发现可以……
普通用户无法修改密码问题处理
一、问题现象 现网一台suse11 sp3主机在使用普通用户修改密码时，无法正常修改，使用root用户可以修改用户密码，具体错误日志如下： passwd-recovered message日志如下： 1Jun 16 11:35:47 ZJHZ-CMREAD-CGTEST17 passwd[16285]: password change failed, pam error 21 - account=bcwap, uid=3954, by=3954 2Jun 16 11:36:29 ZJHZ-CMREAD-CGTEST17 su: (to zabbix) zabbix on /dev/pts/2 3Jun 16 11:36:37 ZJHZ-CMREAD-CGTEST17 passwd[16712]: User zabbix: Authentication information cannot be recovered 4Jun 16 11:36:37 ZJHZ-CMREAD-CGTEST17 passwd[16712]: password change failed, pam error 21 - account=zabbix, uid=6606, by=6606 二、问题分析 从以……
mysql innodb异常修复
一套测试用的mysql库，之前用的centos6默认源里的mysql 5.1.71的版本 。后来想试用下Percona server 5.7，由于这套库里没有什么重要数据 。所以操作前也未进行备份，配置好源后，直接就进行了安装。数据文件也存放在默认位置，安装完成后，直接启动mysql，发现启动失败，……
bond arp配置导致单通问题的处理
bonding-question 问题现象 SW1和SW2主机之间基于VRRP协议做的主备，两台交换机的IP分别是192.168.20.2/3 ，两台主机间的VIP是192.168.20.1 。serverA主机ping serverB不通， ping serverC主机是通的。几台主机上都没有开启防火墙和禁ping策略，初始怀……