泉州意尔康体育用品

 泉州意尔康体育用品数据开发面试经验

sparkSQL用order by进行全局排序，但是结果落下来却是局部有序的

什么是binlog?全称Binary Log ,包含描述数据库更改的事件，表创建操作和表修改 在哪里产生？产生于mysql的server层 mysql有两层结构：1、server层：包含连接器、查询缓存、解析器、优化器、执行器2、存储引擎：InnoDB、MyISAM等 mysql的两阶段提交【innodb】1、mysql client 提交修改数据的请求到server层2、server将修改指令进行解析优化发送到执行引擎3、执行引擎将修改结果更新到内存4、redo.log中记录在数据页上进行的修改，并将这行记录的状态置为prepare5、执行引擎通知server修改完成，可提交事务6、serv...

一、触发器 什么事触发器？ 与表有关的数据库对象，在满足定义条件时触发，并执行定义的触发器语句集合 触发器的特性： 1、触发条件：I/D/U会触发 2、什么时候触发：增删改前后会触发 3、触发频率：针对每一行执行 4、触发器定义在表上二、创建触发器 1、创建只有一个执行语句的触发器 create trigger t1 after insert on table_name1 for each row insert into table_name2 values ('col'); 2、创建有多个执行语句的 CREATE TRIGGER 触发器名 BEFORE|AFTER 触发事件 ON 表名 FO...

一、字节输入流 InputStream: 用来实现接口化编程 FileInputStream：用来读取文件数据的流 BufferedInputStream ：封装别的流用来提高效率，提前将数据封装到内存中 1、FileInputStream使用 read()//读取一个字节 read(byte[] b)//读取b的长度个字节到b当中，返回值是读到的字节长度，返回-1说明读到了末尾。继承自InputStream read(byte[] b, int off, int len)：从流中从off的位置开始读取len个字节的数据存储到b中，返回结果是实际读取到的字节个数（当再次读时，如果返回-1说明到...

一、数据库操作 create database database_name //创建数据库 drop database database_name //删除数据库 user database_name //使用数据库 describe database database_name //查看数据库详细信息二、表操作 创建表 create [external] table table_name [(col_name data_type [comment col comment],...)] [comment table_comment] [partitioned by (col_name data...

一、hdfs是通过什么机制保证数据的可靠性的1.安全模式： HDFS刚启动时，namenode进入安全模式，处于安全模式的namenode不能做任何的文件操作，甚至内部的副本创建也是不允许的，namenode此时需要和各个datanode通信，获得datanode存储的数据块信息，并对数据块信息进行检查，只有通过了namenode的检查，一个数据块才被认为是安全的。当认为安全的数据块所占比例达到了某个阈值，namenode才会启动。2.SecondaryNamenode： Hadoop中使用SecondaryNameNode来备份namenode的元数据，以便在namenode失效时能从Sec...

正式打卡第一天

一、Spark是什么 Spark系统是分布式批处理系统可分析挖掘引擎二、Spark支持的运行模式 1、Local(学习、测试) 2、Standalone模式(自带的集群模式使用spark自带的调度方式) 3、Yarn 4、mesos(类似yarn的资源调度框架)三、Spark on yarn运行流程 dirver在client端： 1、客户端启动后直接运行应用程序，直接启动driver并初始化 2、客户端将job发布到yarn上 3、RM为job在某个NM上分配一个AM 4、AM向RM申请资源，RM返回Executer信息 5、AM通过RPC启动相应的Executer 6、Driver生成DA...

大数据入门必备一、hadoop基本介绍： hadoop分布式文件系统。是hadoop的核心组件之一，作为最底层的分布式服务而存在。hadoop具体来说包含两个集群：hdfs集群yarn集群。 hdfs集群主要负责海量数据存储 yarn集群主要负责海量数据运算时的资源调度二、hdsf的设计目标： 1、故障检测和自动快速恢复。 2、数据访问的高吞吐量。 3、支持大文件。 4、write-one-read-many。 5、移动计算的代价比移动数据的代价低。 6、异构的硬件平台和软件平台上的可移植性。三、hdfs的重要特性： hdfs采用master/slave的架构；一般是有一个NameNode（主...