Spark 概述 什么是 Spark Spark 是一种快速、通用、可扩展的大数据分析引擎，2009 年诞生于加州大学伯克利分校AMPLab，2010 年开源，2013 年 6 月成为 Apache 孵化项目，2014 年 2 月成为 Apache 顶级项目。项目是用 Scala 进行编写 。 Spark内置模块   Spark Core：实现了 Spark 的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core 中还包含了对弹性分布式数据集(Resilient Distributed DataSet，简称 RDD)的 API 定义。 Spark SQL：是S...

Hive基本概念 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL/SQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapReduce 3）执行程序运行在Yarn上 Hive架构 Hive通过给用户提供的一系列交互接口，接收到用户的指令(SQL)，使用自己的Driver，结合元数据 (MetaStore)，将这些指令翻译成MapReduce，提交到Hadoop中执行，最后，将执行...

多线程核心知识总结 一.实现多线程的正确姿势 1.实现多线程的方法到底有几种？ 官方文档中，只有两种。  声明一个Thread的子类  public class ThreadStyle extends Thread{  @Override public void run() {  System.out.println("用Thread类实现线程"); } public static void main(String[] args) {  new ThreadStyle().start(); } }   声明一个实现Runnable接口的类  public class Run...

多线程核心知识总结 二.开启多线程启动世界 1.启动线程的正确和错误方式 start()和run()比较：   start()方法原理解读： start方法含义： 1.启动新线程：线程对象初始化之后，调用了start方法，当前线程通常是主线程，主线程会告诉虚拟机，如果有空闲的话，启动新线程。（是否能启动，什么时候启动，是线程调度器决定） 2.准备工作：让自己处于就绪状态，就绪状态指的是，已经获取除了CPU以外的其他资源，比如说，已经设置了上下文，栈，线程状态，PC（寄存器）,在准备工作完成后，线程才会进一步被操作系统或者JVM调度到执行状态，等待获取CPU资源，然后才能进行到运行状态，执行ru...

多线程核心知识总结 四.线程生命周期 线程的六种状态 - New 已创建但还未启动的新线程 - Runnable 可运行的，调用start方法之后就会变成Runnable状态，无论是否运行，对应操作系统中的ready和running - Blocked 当一个线程进入被sychornized修饰的代码块的时候，并且该锁已经被其他线程拿走了，这个时候的状态为Blocked - Waiting 没有设置time参数的Object.wait（）等方法执行后，（具体看图）。 - Timed Waiting Thread.sleep(time),Object.wait(time),Thread.join...

Java实现稀疏数组 实际要求 编写的五子棋程序中，有存盘退出和续上盘的功能  因为该二维数组的很多值是默认值 0, 因此记录了 很多没有意义的数据.-> 稀疏数组。 当一个数组中大部分元素为０，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。 稀疏数组的处理方法是:  记录数组 一共有几行几列，有多少个不同的值 把具有不同值的元素的行列及值记录在一个小规模的数组中，从而 缩小程序的规模   应用实例   使用稀疏数组，来保留类似前面的二维数组(棋盘、地图等等)  把稀疏数组存盘，并且可以从新恢复原来的二维数组  整体思路分析   二位数组转稀疏数组思路： - 遍历 原始的二位数组...

多线程核心知识总结 三.线程停止，中断 1.讲解原理 原理介绍：使用interrupt了来通知，而不是强制 使用一个线程来通知另一个线程该停止的机制，只是一种通知，如果该线程本身不决定停止，则其不会停止，被停止线程的本身，更熟悉停止自己需要做那些处理和清理工作，所以正确停止线程，是如何使用interrupt合理通知该线程并让该线程配合停止。 2.最佳实践 通常线程会在什么情况下停止  run方法的所有代码都运行完毕了 有异常出现，并且方法中没有捕获  正确停止方法：interrupt  通常情况下线程会在什么情况下停止  /** * 描述： run方法内没有sleep或wait方法时，停止线程...