Shopee后端研发 开放式问答

问，十亿的数据量，每条数据4个字节，如何去重，或者统计每条数据出现的次数；
面试官开始没有说数据量，我回答是，在不考虑空间复杂度的情况下，用集合或哈希表；
面试官后来加入了数据量，和内存不够的条件，我没啥思路，乱答的前缀树做压缩；
这个有什么方法吗？
#shopee校招##Shopee##面试题目#
全部评论
如果只考虑去重、不考虑统计次数的话，可以用布隆过滤器。假设数据量 10^9，失误率 0.1，计算器敲除所需位数换算成内存大小是 571MB，感觉还是有点大。。。没有实操经验，不太懂
1 回复 分享
发布于 2021-07-15 19:49
布隆过滤器只能判断一个元素是否一定不存在，怎么统计个数?不懂你们这些说布隆过滤器的?
点赞 回复 分享
发布于 2021-07-18 01:11
位图最简单
点赞 回复 分享
发布于 2021-07-15 20:04
bitmap
点赞 回复 分享
发布于 2021-07-14 19:41
最小计数
点赞 回复 分享
发布于 2021-07-12 17:46
布隆过滤器了解一下
点赞 回复 分享
发布于 2021-07-12 17:27
hyperloglog
点赞 回复 分享
发布于 2021-07-12 14:51
位图
点赞 回复 分享
发布于 2021-07-12 14:16

相关推荐

12-03 09:51
海康威视_技术支持部_云存储开发工程师(准入职员工)
海康威视内推，海康威视内推码
真实工作体验！【工作时间】 海康实行弹性工作制，一般九点半之前到公司就可以。对于实习生来说，一般只要打够八个半小时的卡就好了。这点还是不错的，早点上班就可以早点下班。正式工可能需要大小周，具体看部门要求。实习生应该都是双休的，不过周末去的话也会给你发工资。中午休息一个半小时，大部分员工都会自己买午休床。 【公司环境】 实习报到的时候会给你分配一台电脑，一般都是无盘机，配置很普通，不允许自己带电脑。海康对网络管控比较严格，很多网站不能访问。想要访问外网的话只能通过虚拟机，然后通过公司内部的文件传输工具传到红网，这点还是比较麻烦的。 海康食堂还行，样式挺丰富的，价格也不贵。早餐我一般在5-10r，...
海康威视公司福利 1382人发布
点赞 评论 收藏
分享
12-01 11:39
门头沟学院 Java
点赞 评论 收藏
分享
10-14 11:01
门头沟学院 人工智能
200人的公司
挥毫自在：想白嫖你呢
点赞 评论 收藏
分享
11-04 10:30
已编辑
门头沟学院 研发工程师
AI coding这一块😂
真是绷不住了哈哈哈哈哈
开心小狗🐶：“直接说答案”
点赞 评论 收藏
分享
12-03 18:38
哔哩哔哩_生态中台_产品运营
点赞 评论 收藏
分享
评论
点赞
29
分享

招聘动态

查看更多

成方金融科技有限公司

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 为了去实习，我赌上了___ #
22195次浏览 206人参与
# 硬件兄弟们 甩出你的华为奖状 #
117191次浏览 699人参与
# 百融云创求职进展汇总 #
243次浏览 0人参与
# uu们，春招你还来吗？ #
13221次浏览 88人参与
# 面试紧张时你会有什么表现？ #
15955次浏览 130人参与
# 哪一瞬间让你觉得“这班不如不上” #
12341次浏览 159人参与
# Offer比较，你最看重什么？ #
240719次浏览 1483人参与
# 2025年终总结 #
13690次浏览 220人参与
# 第一份工作能做外包吗？ #
86914次浏览 583人参与
# 总结:哪家公司最喜欢泡池子 #
155594次浏览 560人参与
# 应届生初入职场，求建议 #
278951次浏览 2838人参与
# 父母对你找工作是助力还是阻力？ #
14039次浏览 201人参与
# 高薪高压 vs 低薪wlb，你怎么选？ #
12403次浏览 135人参与
# 互联网公司评价 #
459161次浏览 4041人参与
# 一人推荐一个值得做的项目 #
9965次浏览 135人参与
# 十二月请对我好一点 #
25847次浏览 337人参与
# 和牛牛一起刷真题 #
118648次浏览 2085人参与
# 学历or实习经历，哪个更重要 #
202730次浏览 1075人参与
# 毕业论文进行时 #
16914次浏览 112人参与
# 25届网易互娱暑实进度 #
91878次浏览 750人参与
# 降低公积金和取消房补怎么选 #
23500次浏览 79人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务