join与python实现列合并
在 linux下powerpath对盘与更改盘符名 篇中提到了修改聚合后的多路径别名的问题,在数据库RAC增加存储盘的过程中,还会涉及一个常见的问题是多个RAC之间进行盘符名核对的问题 。这里还是以三节点RAC 加 EMC存储盘为例,安装EMCpower path软件后,通过powermt查看时会有Logical device ID与聚合别名,其中Logical device ID与SCSI_ID对应,是唯一值 。扫盘后,相同的Logical device ID在三台主机上对应的别名可能是不同的 ,想要修改一致,就需要核对三台主机同一ID之间的对就别名的区别。
想要实现上面的效果,通过shell join 命令可以实现,通过python脚本也可以实现。 这里分别介绍下。
一、加盘前后对比
将加盘前后的结果处理后,通过diff命令对比后,将新增的内容获取出的结果如下:
1[root@irora13s ~]# powermt display dev=all|grep 'Pseudo\|Logical' |awk '{if(NR%2==0){printf $0 "\n"}else{printf "%s\t",$0}}' > /tmp/powermt_new
2[root@irora13s ~]# cat diskinfo/powermt|grep 'Pseudo\|Logical' |awk '{if(NR%2==0){printf $0 "\n"}else{printf "%s\t",$0}}' > /tmp/powermt_old
3[root@irora13s ~]# diff /tmp/powermt_new /tmp/powermt_old
427d26
5< Pseudo name=emcpoweraz Logical device ID=0B56
629,37d27
7< Pseudo name=emcpowerba Logical device ID=0B5A
8< Pseudo name=emcpowerbb Logical device ID=0B5E
9< Pseudo name=emcpowerbc Logical device ID=0B62
10< Pseudo name=emcpowerbd Logical device ID=0B66
11< Pseudo name=emcpowerbe Logical device ID=0B6A
12< Pseudo name=emcpowerbf Logical device ID=0B6E
13………………省略
由于这里只需要name和id对应值,这个再awk简单处理下,结果如下 :
1# diff /tmp/powermt_new /tmp/powermt_old |grep '>' |awk '{print $NF,$3}' > 1.txt
2ID=0B56 name=emcpoweraz
3ID=0B5A name=emcpowerba
4…………省略
二、join 合并
按上面的操作,将host1、host2、host3分别处理后,就会发现:host1上0B56 对应的设备名为emcpoweraz ,host2上应的设备名可能为emcpowerax,host3上对应的可能为emcpoweran ,想要实现的效果如下:
1#设备ID host1 host2 host3
2ID=0B56 name=emcpoweraz name=emcpowerax name=emcpoweran
这样三台主机的那里有差距可以一目了然的看出 。由于join 只支持两个文件的合并,而且合并前需要对相应的列进行排序,所以这里可以利用管道,对三个文件进行处理。命令如下:
1[root@localhost disk]# join -a1 <(sort 3.txt) <(sort 2.txt) | join - <(sort 1.txt)
2ID=0A72 name=emcpowerdq name=emcpowerbh name=emcpowerbh
3ID=0A76 name=emcpowerdr name=emcpowerdq name=emcpowergb
4ID=0A7A name=emcpowerds name=emcpowerdr name=emcpowergc
5ID=0A7E name=emcpowerdt name=emcpowerds name=emcpowerds
6ID=0A82 name=emcpowerdu name=emcpowerdt name=emcpowergh
7…………省略
这里使用了a1参数的作用是,3.txt中如果有2.txt中不存在的内容也进行输出。由于三号点涉及ADG同步,所以这里对3.txt进行了特殊处理。
三、python实现
python的写法比较多,虽然不如join 简单,但更容易理解,这里总结了几种写法,如下:
脚本1:
1f1 = open('1.txt', 'r').readlines()
2f2 = open('2.txt', 'r').readlines()
3#print [ "{0[0]} {0[1]} {1[1]}".format(l1.split(), l2.split()) for l1 in f1 for l2 in f2 if l1.split()[0] == l2.split()[0] ]
4joinList = [ "{0[0]} {0[1]} {1[1]}".format(l1.split(), l2.split()) for l1 in f1 for l2 in f2 if l1.split()[0] == l2.split()[0] ]
5for joinLine in joinList:
6 print joinLine
脚本2:
1f1 = open('1.txt', 'r').readlines()
2f2 = open('2.txt', 'r').readlines()
3#print [ (l1.split()[0], l1.split()[1], l2.split()[1]) for l1 in f1 for l2 in f2 if l1.split()[0] == l2.split()[0] ]
4joinList = [ (l1.split()[0], l1.split()[1], l2.split()[1]) for l1 in f1 for l2 in f2 if l1.split()[0] == l2.split()[0] ]
5for joinLine in joinList:
6 print ' '.join(joinLine)
脚本3:
1#!/usr/bin/env python
2# -*- coding: utf-8 -*-
3__author__ = '361way.com'
4__author_site__ = 'www.361way.com'
5import sys
6import getopt
7input_file1 = ""
8input_file2 = ""
9try:
10 opts, args = getopt.getopt(sys.argv[1:], "h", ["input1=", "input2="])
11except getopt.GetoptError as err:
12 print(str(err))
13for op, value in opts:
14 if op == "--input1":
15 input_file1 = value
16 elif op == "--input2":
17 input_file2 = value
18 elif op == "-h":
19 print("python get_value_according_first_column.py --input1 dat1 --input2 dat2 > out.txt")
20 sys.exit()
21# 以上可忽略,定义shell中接受的参数及数据
22f1 = open(input_file1, 'r')
23f2 = open(input_file2, 'r')
24lines1 = f1.readlines() # 将整个文件读作一个列表,可以添加 print lines1 查看,这里一行表示里边的一个元素(字符串),如lines1[0],则表示第一行
25lines2 = f2.readlines() # 将整个文件读作一个列表,可以添加 print lines2 查看,第一行第一列,lines2[0][0]
26for line1 in lines1: # 遍历列表lines1中的每个元素,及遍历读取文件1的每一行
27 line1 = line1.strip().split() # 这里的一行就是一个字符串,使用字符串的strip方法,去掉行尾换行符,使用split分割字符串成列表
28 for line2 in lines2:
29 line2 = line2.strip().split() # 同样 遍历文件2中每一行
30 if line1[0] in line2: # line1[0] (注意是line 不是lines) 表示某一行的第一列,即查询某行第一列是否在文件2中,如果在
31 line1.extend(line2[1:]) # 在的话,则将 文件2中的第二列以后的部分添加到第一行的后边
32 print ' '.join(line1) # 将列表 line1 转换成字符串打印
33f1.close() # 关闭文件
34f2.close() # 关闭文件
用法如下:
1python test.py --input1 dat1.txt --input2 dat2.txt > 2.out.txt
脚本4:
1from os import linesep
2f1 = open('/tmp/disk/1.txt')
3f2 = open('/tmp/disk/2.txt')
4f3 = open('/tmp/disk/3.txt', 'w')
5lines1 = f1.readlines()
6lines2 = f2.readlines()
7for line1 in lines1:
8 k = line1.split()[0]
9 for line2 in lines2:
10 if line2.split()[0] == k:
11 line3 = line1.replace(linesep, '') + " " + str(line2.split()[1]) + linesep
12 f3.write(line3)
13f1.close()
14f2.close()
15f3.close()
这里作用是将1.txt与2.txt的比对结果输出到3.txt 。
捐赠本站(Donate)
如您感觉文章有用,可扫码捐赠本站!(If the article useful, you can scan the QR code to donate))
- Author: shisekong
- Link: https://blog.361way.com/python-join-field/5168.html
- License: This work is under a 知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议. Kindly fulfill the requirements of the aforementioned License when adapting or creating a derivative of this work.