分析日志文件
课前基础：awk基本使用
awk ' BEGIN{ print "start" } {commands} END{ print "end" }'
先执行BEIGN语句，然后重复的执行commands行，直到文件全部读取完毕，读取文件末尾时，执行END语句块。
这个语句可以没有BEGIN、END但是必须有{commands}
1、awk特殊变量：
NR：记录数量，在执行过程中对应于当前行号
NF：表示字段数目，执行过程中对应于当前行的字段数
$0：执行行中的文本内容
$1：包含第一个字段的文本内容
$2：包含第二个字段的文本内容
2、将外部变量传递给awk：
借助于-v参数
3、对awk的行进行过滤
awk 'NR <5' 行号小于5；awk 'NR==1,NR==4' 行号在1到5之间的行
4、awk自建的内置函数
split、length、substr等等
5、设置字段定界符
默认的是空格，我们可以使用-F '分隔符'
demo演示：
#!/bin/bash
echo $1;
grep $1 /data/logs/login-resin-stdout.log|awk -F ' ' '{ arr[split($21,tmp,":")];print tmp[2] }'
|awk -v var_1=$2 '{arr[$i]++;}END{for (i in arr){if(arr[i]>var_1){print i,arr[i]}}}'
表示的是先文本先按变量$1过滤，然后文本行按照空格分隔，此文本被分成21段，然后将第21段的字符按照字符':'分隔，得到 的数组只要第2的值（注意该数组标量是从1开始），然后统计得到的值重复的次数。