度绵
2021-02-26 22:34 广东技术师范学院 golang
关注
1.一个文件中去重后的ip地址数目？
如果问的是linux命令：就（sort后uniq -c，前提是内容只有ip，否则要先grep -oE筛选出ip）
-------------------------
~/Desktop cat ip.txt
127.0.0.1
128.0.0.1
128.0.0.1
129.0.0.1
129.0.0.1
129.0.0.1
129.0.0.1
126.0.0.1
~/Desktop sort ip.txt | uniq -c
1 126.0.0.1
1 127.0.0.1
2 128.0.0.1
4 129.0.0.1
-----------------------
如果问的是大文件统计ip次数，那就要考虑内存
分而治之一开始各位1000个文件，然后用hash去统计子文件里的 ip=>次数（如果重复率低，所有内容的hash可能也会塞满内存，然后hash内容写入到新的文件里）。最后合并子文件（记得合并相同ip）
查看原帖
3 评论
相关推荐
点赞 评论 收藏
分享
点赞 评论 收藏
分享
牛客热帖
更多
正在热议
更多
# 开工第一帖 #
14079次浏览 285人参与
# 携程求职进展汇总 #
883329次浏览 5799人参与
# xx岗简历求拷打 #
4510次浏览 53人参与
# 工作不开心辞职是唯一出路吗 #
8229次浏览 30人参与
# 有转正机会的小厂实习值得去吗？ #
6248次浏览 75人参与
# 掌握什么AI技能，会为你的求职大大加分 #
4684次浏览 202人参与
# 实习期间如何提升留用概率？ #
241522次浏览 1824人参与
# 为什么国企只招应届生 #
238810次浏览 1301人参与
# 参加完秋招的机械人，还参加春招吗？ #
111131次浏览 709人参与
# 哪些公司开春招了？ #
33042次浏览 205人参与
# 秋招你经历过哪些无语的事 #
101377次浏览 597人参与
# 金三银四，你有感觉到吗 #
692073次浏览 6088人参与
# 毕业季等于分手季吗 #
54926次浏览 654人参与
# 牛客租房专区 #
160379次浏览 1924人参与
# 联想求职进展汇总 #
335109次浏览 2220人参与
# 牛友投递互助，不漏校招机会 #
439194次浏览 5243人参与
# 正在春招的你，也参与了去年秋招吗？ #
353123次浏览 2597人参与
# 你最讨厌面试被问什么 #
6496次浏览 83人参与
# 非技术er求职现状 #
139201次浏览 821人参与
# 你觉得今年春招回暖了吗 #
931469次浏览 7233人参与