10多Gb的数据处理问题？

（可能涉及到数据的统计，数据加减，一些其他运算），需要用到大数据框架（hadoop）吗？如果需要用什么数据库存储数据啊（HBASE）吗？#阿里巴巴##腾讯##百度##美团##iOS工程师##安卓工程师##算法工程师#
全部评论
9
点赞 回复 分享
发布于 2017-11-23 00:01
想用就用。如果你这10G是在不同计算机上，我建议你用，毕竟数据拷来拷去还是挺麻烦的。
点赞 回复 分享
发布于 2017-11-20 11:26
这种数据量不需要分布式吧。。
点赞 回复 分享
发布于 2017-11-20 11:19

相关推荐

07-24 16:16
西安电子科技大学 Java
面试造火箭：MySQL自增ID用完了怎么办？
大家好，我是大都督周瑜，最近一位同学遇到了这样一道面试题：MySQL自增ID用完了怎么办？这道面试题其实也是一道面试造火箭的面试题，如果ID字段是INT类型，那么最大值约为21亿，如果ID字段是BIGINT类型，最大值则可以达到约为9亿亿，因此只有在数据量特别大的情况下才需要考虑自增ID用完之后怎么办，不过为了大家能拿到心仪的offer，我这里提供以下几种方案。切换到BIGINT如果当前字段类型是INT类型，通过修改字段类型，将INT类型升级为BIGINT类型，从而可以大幅提高自增ID的上限。不过要注意，在已有大量数据的表上进行字段类型修改的操作可能会影响性能，建议使用在线修改工具如pt-on...
牛客创作赏金赛
点赞 评论 收藏
分享
不愿透露姓名的神秘牛友
07-21 13:38
26届找实习这么难的吗
8月实习会变多吗现在还没找到实习该怎么办...回复的hr好少
码农索隆：3-4月就要开始找，基本上6月份就发offer，7月初已经开始暑期实习了。
点赞 评论 收藏
分享
06-18 15:30
吉林化工学院 Java
26届二本Java
大佬们求指导，这个简历还有救吗，想暑假找个实习
程序员小白条：主要没亮点，项目也是网上的，平平无奇，那只能海投了，奖项总得有一些，然后就是现在最好是前后端都会，自己能做项目并且运维的，要么找星球项目改改，要么找个开源项目改改，自己能拓展功能才是主要的，跟做效率很低很低
点赞 评论 收藏
分享
07-07 12:47
门头沟学院 Java
好绝望，
轻度地贫被卡入职，25届应该这么办
码农索隆：竟然还真有卡体检报告的
点赞 评论 收藏
分享
07-21 09:33
门头沟学院 客户端其它
再强调一遍！秋招不要装逼
直接上结论：不懂装懂 == 装逼相信26届的小伙伴们都在如火如荼的准备即将到来的秋招，给各位同学提个醒，面试的时候，如果面试官问你的问题，你确实没学过，那么就不要瞎扯犊子，你不会天真的认为面试官他不知道这个东西，等你给他科普吧。如果不信邪硬要尝试就会发生以下情况。------------------------------面试官：“我看你简历上说‘熟悉分布式系统’”，那我问你个相关问题吧，假设一个网络特别慢（一条消息可能几分钟才到），里面还有几个故意搞破坏的节点。你怎么设计一个协议，让整个系统还能正常达成一致？既要保证安全（别达成错误结果），又要保证活性能推进（别卡死）？不听劝的你：临时把脑子...
人快好乐家：所以这个题有什么好的解决方案吗？对于慢网络，像raft这样的协议并不把时间看成连续的，而是分成一个个term，如果消息晚到了但是term过期了就直接丢掉，而且消息本身有额外的幂等性保证，比如appendentries要用previndex，prevterm这种唯一定位的标志。第二个问题据我所知raft和paxos都是非拜占庭的，问了问chat说有什么pbft算法
点赞 评论 收藏
分享
评论
点赞
收藏
分享

招聘动态

查看更多

拼多多集团-PDD

2026届秋季校招提前批

滴滴

2026届秋季校招提前批

Touch CIB

数字兴业科技挑战赛

26届校招投递表格

7月更新166条网申投递链接

快手

快Star-X特别技术人才计划启动

莉莉丝游戏

2026届秋招提前批

京东2026

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 哪些公司开提前批了？ #
24381次浏览 255人参与
# 你今年的平均薪资是多少？ #
133852次浏览 685人参与
# 风评不好的公司，你会去吗？ #
57542次浏览 418人参与
# 实习如何「偷」产出？ #
48440次浏览 1268人参与
# 正在春招的你，也参与了去年秋招吗？ #
312612次浏览 2528人参与
# 除了主业以外，你还有哪些其他收入？ #
11321次浏览 196人参与
# 互联网公司评价 #
401084次浏览 3836人参与
# 你最满意的offer薪资是哪家公司？ #
32967次浏览 176人参与
# 节后第一天上班，我的精神状态 #
13378次浏览 117人参与
# 不卡学历的大厂有哪些？ #
27078次浏览 217人参与
# 校招阶段，学历VS技术哪个更重要？ #
16597次浏览 182人参与
# 职场新人体验 #
23773次浏览 231人参与
# 签约/解约注意事项 #
696811次浏览 4068人参与
# 应届生初入职场，求建议 #
229650次浏览 2642人参与
# 你投递的公司有几家约面了？ #
108757次浏览 778人参与
# 腾讯音乐求职进展汇总 #
97980次浏览 570人参与
# 校园里的破防时刻 #
10552次浏览 122人参与
# 硬件人求职现状 #
434423次浏览 4539人参与
# 正在实习的碎碎念 #
1454192次浏览 13469人参与
# 宁德时代求职进展汇总 #
122687次浏览 650人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务