Mapreduce是什么?

我知道他大概的思想
但是刚才面一家,一面,golang,前面项目答的不太好。后面开始做题。
“你知道Mapreduce吗?”
“嗯..大数据量时候分区处理那个是吧”
“对,你用协程实现一下。100M的数据,找单词(具体要求忘了怎么问的了)”
懵逼....
“不用写IO,只要写MapReduce那块就行”
依旧懵逼...

请教一下各位佬,这个是该怎么写呢?他想让我写什么是。之前也遇到过这种题目,但大体都是交流一下思想即可。真的实现,还是第一次遇到。而且没想到是一面啊啊啊啊。。
全部评论
// Map函数:接收文本片段,返回单词计数的map func Map(text string) map[string]int { wordCount := make(map[string]int) words := strings.Fields(text) // 分割单词 for _, word := range words { wordCount[word]++ } return wordCount } // Reduce函数:合并多个map中的计数 func Reduce(maps []map[string]int) map[string]int { result := make(map[string]int) for _, m := range maps { for word, count := range m { result[word] += count } } return result } 他想要这样的吗?
2 回复
分享
发布于 03-21 00:03 美国
一种分布式计算模型
1 回复
分享
发布于 03-21 13:09 新疆
滴滴
校招火热招聘中
官网直投
感觉意思是让你继承mapper类和reducer类重写map函数和reduce函数里面的具体内容吧
点赞 回复
分享
发布于 03-20 22:03 安徽
现在基本上都用 Spark吧 然后写scala。哪有手写mapreduce代码的。
点赞 回复
分享
发布于 03-28 10:36 北京

相关推荐

字节国际化 Offer比较彦祖们Offer比较 (n➕4.5)✖️12
点赞 评论 收藏
转发
3 5 评论
分享
牛客网
牛客企业服务