一、故障现象

现网一台suse11 sp3主机发生异常宕机后，在IBM IMM管理口中查看发现有硬件报错，经IBM维护人员确认为主板问题。冷重启后主机可以正常进入系统，后来在更换主板后，发现主机无法正常启动，提示“ trying manual resume from …… waiting for device to appear ” ，回退使用老的主板后，报错依旧。本篇将该问题的处理修复过程记录下。报错界面如下：

device-appear
device-appear

通过光盘引盘进入修复模式，查看到系统上的fstab配置为：

 1# cat /etc/fstab.bak
 2/dev/disk/by-id/scsi-3600507605b40d5e91d00a6a210f2b49e-part2 swap                 swap       defaults              0 0
 3/dev/disk/by-id/scsi-3600507605b40d5e91d00a6a210f2b49e-part1 /                    ext3       acl,user_xattr        1 1
 4/dev/disk/by-id/scsi-3600507605b40d5e91d00a6a210f2b49e-part3 /boot                ext3       acl,user_xattr        1 2
 5/dev/disk/by-id/scsi-3600507605b40d5e91d00a6a210f2b49e-part8 /home                ext3       acl,user_xattr        1 2
 6/dev/disk/by-id/scsi-3600507605b40d5e91d00a6a210f2b49e-part11 /onip/teastore       ext3       acl,user_xattr        1 2
 7/dev/disk/by-id/scsi-3600507605b40d5e91d00a6a210f2b49e-part5 /opt                 ext3       acl,user_xattr        1 2
 8/dev/disk/by-id/scsi-3600507605b40d5e91d00a6a210f2b49e-part10 /teasredo            ext3       acl,user_xattr        1 2
 9/dev/disk/by-id/scsi-3600507605b40d5e91d00a6a210f2b49e-part7 /tmp                 ext3       acl,user_xattr        1 2
10/dev/disk/by-id/scsi-3600507605b40d5e91d00a6a210f2b49e-part9 /usr                 ext3       acl,user_xattr        1 2
11/dev/disk/by-id/scsi-3600507605b40d5e91d00a6a210f2b49e-part6 /var                 ext3       acl,user_xattr        1 2
12proc                 /proc                proc       defaults              0 0
13sysfs                /sys                 sysfs      noauto                0 0
14debugfs              /sys/kernel/debug    debugfs    noauto                0 0
15usbfs                /proc/bus/usb        usbfs      noauto                0 0
16devpts               /dev/pts             devpts     mode=0620,gid=5       0 0
17UUID=ab3be7bb-498e-442f-99d6-2d1389082e57  /teasdata ext3 defaults  0 0

二、故障处理与分析

1、从故障提示上来看有”could not find xxx分区” ，这里想通过修复模式查看下分区信息。发现选择failsafe模式并设置init=/bin/bash引导后，依旧出现该报错；

2、使用SuSE linux光盘挂载进入rescue修复模式时，发现无法正常发现分区；

3、改用redhat6.3 光盘引导进入修改模式后，发现可以正常发现分区。ls /dev/disk/by-id下发现磁盘的scsi id号发生了变化

1# ls /dev/disk/by-id/scsi*
2scsi-3600507605b40d5e9ff00007907615ef2 scsi-3600507605b40d5e9ff00007907615ef2-part1
3scsi-3600507605b40d5e9ff00007907615ef2-part10 scsi-3600507605b40d5e9ff00007907615ef2-part11
4scsi-3600507605b40d5e9ff00007907615ef2-part2 scsi-3600507605b40d5e9ff00007907615ef2-part3
5scsi-3600507605b40d5e9ff00007907615ef2-part4  scsi-3600507605b40d5e9ff00007907615ef2-part5
6scsi-3600507605b40d5e9ff00007907615ef2-part6 scsi-3600507605b40d5e9ff00007907615ef2-part7
7scsi-3600507605b40d5e9ff00007907615ef2-part8 scsi-3600507605b40d5e9ff00007907615ef2-part9
8scsi-3600e0eca0468bfa8ff0008317d2914e9

备份/etc/fstab后，更改/etc/fstab内的挂载点信息为当前查看到的信息，并将最后的挂载点最后1 2修改为0 0 (1 2 表示开机自检，如果检测到错误可能会无法启动，之前现网中遇到这样的问题，所以初始也怀疑是该问题引起的)，重新引导发现还是出现刚刚的报错。

4、引导修复的过程中，从SuSE站点是看到类以的报错信息 －－－ Booting SLES11SP1 aborts with waiting for device to appear 。

5、按照SuSE页面提示，再启使用redhat6.3镜像引导进入修复模式，挂载原系统分区后，使用mkinitrd 重新生成ram img文件/boot/initrd-3.0.76-0.11-default后，再引重启引导，主机停留下fall back appear 信息界面时，让选择 Y/N ，此处选择yes后，主机正常引导并进入系统，业务人员检查发现业务启动正常。

三、故障原因及后续分析

1、让SuSE确认是否为系统bug

后续联系SuSE二线建单确认后 ，SuSE给予的答复是在SuSE 11 SP3下不是系统bug，在SuSE官方资料库中有相关案例记载，在更换硬件或升级内核等操作时，在重启时可能会出现该问题。

2、是否可以通过在/etc/fstab中使用UUID规避该问题

SuSE给予的答复是：更改fstab没有用，主要是需要更新initrd文件内的信息。这也是为什么要执行mkinitrd的原因。

后记：

由于第一换主板发现该问题，进行了回退并修复。第二次更换主板操作时，又出现之前更换主板前担心的情况，在want for me back to 界面需要手动干预下按y/n 才可以正常引导。在进入系统后，执行移走initrd文件并执行mkinitrd重新生成的时候，发现有如下报错：

1FATAL: Error inserting mgag200 (/lib/modules/3.0.101-63-default/kernel/drivers/gpu/drm/mgag200/mgag200.ko):
2Invalid argument

该问题根据SuSE 站点上查到的解决方法 －－－Error inserting mgag200 when booting an EFI System with Matrox VGA 在boot 下的menu.1st配置中的kernel 引导项中加上mgag200.modeset=1 问题解决。

不过重新重启后依旧会出现手动执行yes or no的操作，在操作系统下的/etc /dev目录通过grep -r 和find -name 操作未找到scsi-3600507605b40d5e91d00a6a210f2b49e-part1 这样的配置信息。再想了下和引导相关的也就只有/boot下的内容，在该目录下grep -r 发现如下内容：

 1# cat menu.lst.bak
 2# Modified by YaST2. Last modification on Tue Jun  2 18:38:08 CST 2015
 3default 0
 4timeout 8
 5##YaST - generic_mbr
 6gfxmenu (hd0,2)/message
 7##YaST - activate
 8###Don't change this comment - YaST2 identifier: Original name: linux###
 9title SUSE Linux Enterprise Server 11 SP3 - 3.0.76-0.11
10    root (hd0,2)
11    kernel /vmlinuz-3.0.76-0.11-default root=/dev/disk/by-id/scsi-3600507605b40d5e91d00a6a210f2b49e-part1 resume=/dev/disk/by-id/scsi-3600507605b40d5e91d00a6a210f2b49e-part2 splash=silent crashkernel=512M showopts vga=0x314
12    initrd /initrd-3.0.76-0.11-default

有没有发现这里配置的是scsi id 变掉之前的值，将该处的信息更正为当前主机的scsi ，再执行重启验证，问题解决。