#!/bin/bash # 思路 awk 默认空格分隔 使用关联数组统计$1,END语句加入条件 3次以上的IP awk ' { arr[$1]++ } END{ for (i in arr){ if (arr[i] > 3) print arr[i], i } } ' nowcoder.txt | sort -k1,1r # sort -k1,1r # -k 指定 用哪列排序 # r 逆序排序 关联数组 威力真大END

#!/bin/bash # 一条完整的记录如下: # 192.168.1.20 - - [21/Apr/2020:14:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0" # 根据输出说明，是把IP去重 # 思路: 先去重IP相同的行，再规定时间，然后统计IP个数 （一开始的想法） # 新思路: 找出2020年04月23日2...

#!/bin/bash awk -F ":" ' { arr[$1] = (arr[$1] "\n" $2) } END{ for(i in arr) { printf "["i"]" print arr[i] } } ' nowcoder.txt # 第 1 行: 111:13443 # arr["111"] 之前的值为空 "" # 解析步骤: arr["111"] = ("" "\n" $2) arr[&quot...

#!/bin/bash sed ' :a; s/\B[0-9]\{3\}\>/,&/; ta ' nowcoder.txt # :a 定义一个标签 a，用于循环 # ta 如果替换成功，则跳转到标签a，继续下一次替换 # [0-9]\{3\} 匹配三个连续的数字 \ 是用来转义{ 和 } # :a 和 ta 构成了循环 # 例如nowcoder.txt的内容是 123456789 # \B 把前3个数字作为边界 # \> 把后3个数字作为边界 # 第一次替换: 匹配 \B[0-9]\{3\}\>，找到 456 将其前面加上逗号，结果变为 123,456789 # 第二...

#!/bin/bash sed -n '/^[^0-9]*[0-9][^0-9]*$/p' nowcoder.txt # ^ 开头 # [^0-9] 非数字 # [^0-9]* 0个或多个非数字 # [0-9] 1个数字 # [^0-9]* 0个或多个非数字 # $ 结尾 # 当[^0-9]* 是0个时，以上代码被解析成 sed -n '/^[0-9]$/p' nowcoder.txt # 当[^0-9]* 是1个和多个时，以上代码被解析成 sed -n '/^a[0-9]bc$/p' nowcoder.txt 测试用例 haha 1 2ab ab3 cd 77 sed 1 2ab ab3 E...

#!/bin/bash # 按域名计数 # 域名：xxx.xxxxxxxxx.com awk -F "/" ' { arr[$3]++ } END{ for (i in arr){ printf("%d %s\n", arr[i], i) } } ' nowcoder.txt | sort -k1,1r # sort -k1,1r # -k 选项指定排序的字段 # 1,1 起始位置1，结束位置1 即 第一列 # r 逆序排序 测试用例 http://www.nowcoder.com/index.html http://www.nowcoder.com/1...

#!/bin/bash # 无脑 awk 从后往前打印 awk -F ":" ' { for (i = NF; i>=1; i--){ if (i == 1){ print $i break } printf $i ":" } } ' nowcoder.txt END

#!/bin/bash # 没有3个点，error # 数字范围: 0到255 awk -F "." ' { if (NF != 4){ print "error" next } for (i=1; i<=4; i++){ if ($i>255 || $i<0){ print "no" break } if (i == 4) print "yes" } } ' nowcoder.txt # 当NF != 4，next跳过当前记录的后续处理，即 不处理后面的for循环，而是重新读取下一行 # bre...

#!/bin/bash grep -v '[Bb]' 思路：使用正则表达式END

#!/bin/bash awk '{ if (NR > 1) sum += $1 } END{ printf("%0.3f\n", sum/(NR-1)) } ' awk真无敌第1行为输入的数组长度第2~N行为数组的元素，如下:数组长度为4，数组元素为1 2 9 8测试用例 4 1 2 9 8 awk 5.000 END

#!/bin/bash grep -v 'this' 思路：不含 输出 使是grep查找END

#!/bin/bash awk '{ for(i = 1; i <= NF; i++) arr[i] = arr[i] ? arr[i] " " $i : $i } END{ for(i in arr) print arr[i] } ' nowcoder.txt # 第一行处理，a[1] = "job" a[2] = "salary" # 第二行处理，a[1] = "job c++" a[2] = "salary 13" # 第三行处理，a[1] = "job c++ java&...

#!/bin/bash # 检查文件第二列 awk # 否有重复 awk '{ arr[$2]++ } END{ for( i in arr) { if(arr[i] > 1) print arr[i], i } } ' nowcoder.txt | sort -k2,2n -k1,1 # arr[$2]++ 计算第二列 相同的值 # -k2,2n n 是按数字排序 # -k1,1 默认情况，按字母顺序排序字段 测试用例 20201001 python 99 20201002 go 80 20201001 go 88 20201006 java 70 20201007 java 88 2...

#!/bin/bash awk ' { for(i = 1; i <= NF; i++) { arr[$i]++ } } END{ for(i in arr) { print i, arr[i] } } ' nowcoder.txt | sort -k2,2n -k1,1 # NF 当前行的字段数量,默认分隔符是空白字符(空格，制表符(Tab), 多个连续的空白字符(被视为一个分隔符)) # END语句只执行一次 # sort -k2,2n -k1,1 # -k 指定排序的关键字 # 2,2 排序的起始字段 和 结束字段; 起始第2列，结束第2列 # n 按数字进行排序 # 先按 -k2...