- 正确答案：MapReduce 是一种用于大规模数据处理的编程模型，主要由两个阶段组成：Map 阶段和 Reduce 阶段。以下是一个典型的 MapReduce 程序示例（以 Java 语言编写），用于统计文本中每个单词出现的次数。 - 解答思路：首先理解 MapReduce 的基本执行流程。输入是一系列键值对（如 <行号, 一行文本>），Map 函数将其转换为中间键值对（如 <单词, 1>），然后框架自动对相同键的值进行分组并传递给 Reduce 函数，Reduce 函数对值进行汇总（如求和），输出最终结果（如 <单词, 总次数>）。整个过程由 Hadoop 框架调度和并行执行。 - 深度知识讲解： MapReduce 的核心思想是“分而治之”，适用于可以分解为独立子任务的大规模批处理作业。其底层基于分布式文件系统（如 HDFS）存储数据，并通过 JobTracker（旧版）或 YARN（新版）进行资源管理和任务调度。 1. **数据分片（InputSplit）**：输入文件被划分为多个块（默认大小与 HDFS 块一致，通常为 128MB），每个 Split 由一个 Map 任务处理。 2. **Map 阶段**：每个 Map 任务读取一个 Split，解析成对（如 <行偏移, 行内容>），调用 map() 方法生成中间结果（如）。 3. **Shuffle 与 Sort**：这是 MapReduce 的核心机制。Map 输出后，框架根据 K2 进行分区（Partitioning，默认使用哈希分区），然后将同一键的所有值在网络上传输到对应的 Reduce 节点。在 Reduce 端，数据按键排序，并将相同键的值聚合成一个列表。 4. **Reduce 阶段**：每个 Reduce 任务接收一个键和其对应的值列表，执行 reduce() 方法生成最终输出（如）。 5. **OutputFormat**：结果写入 HDFS，通常按分区编号命名输出文件（如 part-r-00000）。关键数据结构： - InputFormat：定义如何分割输入数据和创建 RecordReader。 - Mapper：用户继承实现 map 方法。 - Partitioner：决定中间键属于哪个 Reduce 任务（默认 HashPartitioner）。 - Reducer：用户实现 reduce 方法。 - OutputFormat：控制输出格式（如 TextOutputFormat）。性能优化点： - Combiner：在 Map 端做局部聚合，减少网络传输量（本质是一个 mini-reducer）。 - 数据压缩：中间结果可启用压缩（如 Snappy）。 - 小文件问题：过多小文件会导致大量 Map 任务，影响效率。 - Java 代码示例（WordCount）： ``` import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class WordCount { // Map 类：输入 <行号, 行文本>，输出 <单词, 1> public static class TokenizerMapper extends Mapper{ private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context ) throws IOException, InterruptedException { String line = value.toString(); StringTokenizer itr = new StringTokenizer(line); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } // Reduce 类：输入 <单词, [1,1,1...]>, 输出 <单词, 总数> public static class IntSumReducer extends Reducer { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable values, Context context ) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } // 主函数：配置并提交作业 public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCount.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); // 可选：启用 Combiner 优化 job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` - 扩展知识： 1. MapReduce 虽然强大，但不适合迭代计算（如机器学习），因此 Spark 等内存计算框架逐渐取代其部分场景。 2. 实际生产中常结合 Hive 或 Pig 使用，将 SQL 转为 MapReduce 任务。 3. 新版 Hadoop 使用 YARN 作为资源管理器，支持多种计算框架（MapReduce、Spark 等）。 4. MapReduce 是批处理模型，延迟较高，不适合实时处理；流式处理需使用 Storm、Flink 等。 - 注意事项： - 输入路径必须存在，输出路径不能存在（否则作业失败）。 - 自定义类型需实现 Writable 接口以便序列化。 - Partitioner 可自定义实现负载均衡（避免数据倾斜）。 - 如果 Reduce 数设为 0，则仅执行 Map 任务（Map-only job），常用于数据清洗。

某厂数开二面碎碎念

全站热榜

创作者周榜