包含标签 awk articles

awk排除某列输出

awk工具在文本处理上非常强大,我们常用的用法是选择某列输出,如print $1,$3。不过在特殊的情况下,也会遇到只排除例个某列,其他列都正常输出 。针对 awk排除某列,这里就做个小总结。 比如我的文件如下: 1[root@361way tmp]# more disk_io 2xvda 1.49 2.37 11.71 10615426 52410436 3xvdb 3.50 6.60 80.08 29535297 358410976 4xvda 0.00 0.00 0.00 0 0 5xvdb 5.05 12.12 72.73 12 72 排除第一列(打印第2……

Continue reading

多行合并为一行

现网中经常遇到匹配到某一关键字下的所有行合并到同一行,再次匹配到相关关键字再和下面的合并,示例如下: 1# line1 2a 3b 4# line2 5c 6d 7e 8# line3 9f 想要变成: 1# line1 a b 2# line2 c d e 3# line3 f 即:把某个”# line”打头与下一个”#line”打头之间的行合成一行(这一行包括#line),但两个#line之间的行数……

Continue reading

awk抓取IP地址和端口

最近某交换机相关日志的输出中,需要提取到所有的IP信息,便于网络相关工程师分析统计。这个都通过简单的awk命令就可以实现。awk对字符操作可以使用正则表达式,并记录下分组,在使用r{n,m}重复匹配的语法时,需要添加–re-interval参数。如下: 1awk --re-interval '{match($0,/([0-9]{1,3}\.){3}[0-9]{1,3}/,a); print a[0]}' info.log |grep -v '^$' 如果文件中……

Continue reading

python和shell读取文件某一行

python和shell(awk命令) 可以实现直接读取文件的某一行,按行号进行读取 。并可以精准的取得该行的某个字段,这个有点类似于x轴、y轴定位某个点的操作。 一、awk取某行某列值 awk 可以设置条件来输出文件中m行到n行中每行的指定的k字段,使用格式如下: 1awk 'NR==m,NR==n {print $k}' path/filename m,n,k表示实在……

Continue reading

输出包含特定字符的列

公司的一个同事在写shell 的时候,提了这么一个需求,sar的输出中,将idle列输出 ,而且要求适用不同的平台 。在linux下通过awk打印$NF列就是ilde列,假设在其他平台下,如freebsd下idle列是$(NF-1)列,hp-unix下是$1列 (只是假设,请勿直接对号入……

Continue reading

awk实现求和、平均、最大值和最小值的计算操作

比如有一个数据文件,只有一列(在之前可以通过各种手段过滤出只有数字这一列),比如操作的响应时间 1# cat data 2490898 31189235 420212 51494270 6146515 729369 823563 9563027 1022976 11127809 1216813 13551646 1418858 1518977 1、求和 1cat data|awk '{sum+=$1} END {print "Sum = ", sum}' 2、求平均 1cat data|awk '{sum+=$1} END {print "Average = ", sum/NR}' 3、求最大值 1cat data|awk 'BEGIN {max = 0} {if ($1>max) max=$1 fi} END {print "Max=", max}' 4、求最小值(min的初始值设置一个超大数即可) 1awk 'BEGIN {min = 1999999}……

Continue reading

vim 查找时忽略大小写

默认情况下 vim 的查找都是区分大小写的, 这种查找方式有利于准确快速的定位到目标, 但是有时候vim的使用者也不一定能够确认那个单词的大小写情况, 这种情况下就要用到大小写忽略了. 实现这个操作有两种方式. 方式1 指令设定: 1:set ic(ignorecase 的缩写) 忽略大小写 2:set noic(noignorecase 的缩写) 不忽略大小写 输入了上述指令, 当每次的……

Continue reading

linux下删除空行的几种方法

在查看linux下的配置文件时,为了便于一目了然的查看,经常会删除空行和#头的行。而linux在删除空行的方法很多,grep、sed、awk、tr等工具都能实现。现总结如下: 1、grep 1grep -v '^$' file 2、sed 1sed '/^$/d' file 或 sed -n '/./p' file 3、awk 1awk '/./ {print}' file 或 awk '{if($0!=" ") print}' 4、tr 1tr -s "n" 除此之外,vim也……

Continue reading

proc与awk实时网卡流量监控

通过/proc/net/dev该文件可以获取所有网卡的时时数据信息。通过/sys/class/net/下的文件同样可以获取每块网卡更详细的信息。在cnblogs博客园上看到程默的博客中有一篇使用awk 程序精妙的搞了一个网卡实时流量监控脚本。程序虽然写的非常不错,不过统计的只是网卡……

Continue reading

找出两个文件之间的不同

最近在写一个对比/etc/dhcpd文件的配置IP和arp -n获取的IP比对的脚本。这就要找出两个输出文件之间的差别——即在文件1中有而在文件2中没有部分,或者在文件2中有而在文件1中没有的部分。实现该功能,网上常见的有四种方法,不过在实际测试中发现有一种方法的结果是不准确的。即……

Continue reading

Latest articles

Categories

Tags

ACL AD AES AI AWS Ansible Atlassian Azure BMC Blockchain Brocade CDH5 CL210 Cobbler Confd C语言 DDOS DISTINCT DNS EKS ELK GCP Ghost Git Glusterfs Go Godaddy Grafana HBA HCIE Hotspot HttpWatch IBM IIS IOS InfluxDB Ingress InnoDB JavaScript Jinja2 KVM Keepalived Mplayer MySQLdb Netlify OpenResty PM PostgreSQL QoS RH318 RH442 RHCA RHCE RHEV RSA SRE SecureCRT Statuscode SublimeText2 TC Telecom Tencentcloud VBA aira2 alpine android anpic apache apm apparmor appfog apr apt-get aria2 array atop audit awk awstats axel backdoor backup bamboo bash bat benchmark bigdata bin bind bitwise book bootstrap bsd c1000 cache capistrano catlog centos centos7 chatops chattr check_mk checkinstall cisco clearall clickhouse cloud-desktop cmdb cms collectd comm compress conver corosync cpu crontab crunchbang css curl date decode dell desktop devops df dhcp diff diskpart django docker dos2unix dpkg drupal etcd excel fail2ban fastcgi fdisk fiddler find firewalld flask flvtool ftp function fuser geek gin github gitlab glances golang google gooupadd graphviz gravatra grep grub2 hadoop haproxy hardware heartbeat helm hexdump hhvm history html http/html/web httplogs https huawei huaweicloud hugo icmp iconv ifconfig inotify iopp ipmitool iptables iredmail iscsi isito it-news java jdk jenkins jira join joomla k3s k8s kdump kernel kingate lamp last leetcode lib light-http linux linux高级篇 ln ls lsi lsof lvm lvs mac mail man mark markdown matplotlib maven memcached microservice mimikatz mkdocs mkpasswd mmonit mod_jk mongodb monit monitor mono moodle mosh mount mpm mrtg mtr my.cnf mysql mysqlbinlog mysqld_multi mysqldump mysqlhotcopy nagios nc nethogs nexus nfs nginx nmon nocatlog node.js nrpe ntfs ntop ntp obs ocr open-falcon openbox opencv openldap openssl openstack oracle oswatch paas pacemaker pam pandas parted pcp pcre pdf percona perl pexpect pgrep php php-fpm ping plsql develope postfix powershell prettify proc prometheus puppeteer pushd pwgen pxe pyecharts python python模块 radmin raid rdesktop read redhat redis redmine regex rh134 rhel7 rhel8 rm rman rootkit route rpm rpmforge rrdtool rsync rsyslog safe saltstack samba scapy screen sed selenium selinux seo seq session set shc sheepdog shell shopt sitemap skydns smokeping snffier snmp socket soft sort spider sql sqlserver squid ss ssh sshpass strace strings su sudo suse svn sysbench syslog-ng sysstat systemd t tar tcpcopy tcpdump tech telnet tengine test testlink threads time tmux tomcat touch tr tsar twisted ubuntu udev ulimit unix unixbench user-agent useradd varnish vbs vercel vi vim visudo vmstat vmware vnc voice vpn vscode vsftp vsftpd vue watchdog web webcam webistrano wget wiki windows wol wordpress workshop wsl x-windows xampp xcache xmllint xtrabackup yule yum zabbix zeromq zip zonetime zookeeper 下载工具 云主机 云原生 代理 加密 古意 吐槽 圈里圈外 娱乐 字符串函数 安全 平台架构 意林 推理 提权 故事汇 故障案例 数据结构 每日看点 民国史 生活 科学记录 站长管理工具 算法 管理 网站架构 翻墙 股票 行业 诗韵 负载均衡 远程管理 面试题

Links

Meta