如何快速的找出重复的数据

现在数据库中有2亿条数据，很多都是重复的，大概真正去重后也就2000多条左右，该怎么快速找出这2000多条数据？
全部评论
为什么数据库会有那么多重复啊，你应该先问面试官让他说说具体情境吧
点赞 回复 分享
发布于 2017-08-24 00:33
总共也就2000多条不同的数据，直接hash不就好了
点赞 回复 分享
发布于 2017-08-23 21:42
如果有这样的情况，不是说明数据库的设计有点问题吗。。。
点赞 回复 分享
发布于 2017-08-23 21:38
先hash分成很多小文件，然后，分布式进行，hash判断，不知道对不
点赞 回复 分享
发布于 2017-08-23 21:00
布隆过滤器？
点赞 回复 分享
发布于 2017-08-23 20:24
mark。。这种海量数据的怎么搞。。
点赞 回复 分享
发布于 2017-08-23 20:17
select distinct一下？
点赞 回复 分享
发布于 2017-08-23 20:08
hash
点赞 回复 分享
发布于 2017-08-23 20:02

相关推荐

07-30 13:44
门头沟学院 Java
点赞 评论 收藏
分享
昨天 18:35
湖南大学 C++
拼多多挂了😭
投递拼多多集团-PDD等公司10个岗位
点赞 评论 收藏
分享
06-24 00:02
北京电子科技职业学院 活动运营
点赞 评论 收藏
分享
07-08 01:01
重庆大学 嵌入式软件开发
点赞 评论 收藏
分享
07-31 22:17
华南师范大学 Java
百度提前批，三面被推迟一周，喜提秋招第一凉
前情提要：百度提前批Java岗总结：感觉我的实习经历和技术栈都和该组不太匹配，感谢百度给的面试机会吧，就当练练手了。百度7.30三面（原定于 7.23，但是被发邮件通知推迟了一周）0、面试官准时上线，但是说在开会，所以等了10分钟（没开摄像头）1、拷打项目经历，大概9分钟（一个点，问的很深，追问了很多内容。比如说C++运行内核需要哪些库？JDK17对比JDK8在GC方面有哪些提升？这我真不知道...，总体答的非常差）2、手撕，链表，给一个参数x，把小于x的节点放到前面。没有反问环节，直接结束面试了。面试结束后不到半小时官网简历就被共享了（等于被挂），喜提秋招第一凉。百度7.15二面1、实习经历...
牛客创作赏金赛
点赞 评论 收藏
分享
评论
点赞
收藏
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 简历上的经历如何包装 #
26800次浏览 765人参与
# 秋招被确诊为…… #
162649次浏览 731人参与
# 中兴秋招 #
204638次浏览 2288人参与
# 工作中哪个瞬间让你想离职 #
61908次浏览 557人参与
# 你最希望上岸的公司是？ #
134676次浏览 700人参与
# 和同事相处最忌讳的是__ #
22802次浏览 232人参与
# 你最近一次加班是什么时候？ #
70936次浏览 350人参与
# 26届的你，投了哪些公司？ #
40541次浏览 457人参与
# 你遇到最难的面试题目是_ #
16009次浏览 195人参与
# 我对___祛魅了 #
45477次浏览 419人参与
# 研究所VS国企，该如何选 #
194719次浏览 1819人参与
# 地平线求职进展汇总 #
52581次浏览 369人参与
# 如果校招重来我最想改变的是 #
271661次浏览 2849人参与
# 你跟室友的关系怎么样？ #
6597次浏览 104人参与
# 你最讨厌面试问你什么？ #
26983次浏览 302人参与
# 如果可以选，你最想从事什么工作 #
565687次浏览 4699人参与
# 海康威视求职进展汇总 #
493949次浏览 3625人参与
# 什么样的背景能拿SSP? #
34615次浏览 211人参与
# 秋招前后对offer的期望对比 #
302951次浏览 2229人参与
# 柠檬微趣工作体验 #
6611次浏览 40人参与
# 如何快速融入团队？ #
15731次浏览 194人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务