读取和存储数据 Spark SQL支持很多种结构化数据源，可以轻松从各种数据源中读取到Row对象。这些数据源包括Hive表、JSON和Parquet文件。此外，当使用SQL查询这些数据源中的数据且只用到部分字段时，Spark SQL可以智能地只扫描这些用...

MLlib的设计理念非常简单：把数据以RDD的形式表示，然后在分布式数据集上调用各种算法。 MLlib引入了一些数据类型（比如点和向量），不过归根结底，MLlib就是RDD上一系列可供调用的函数集合。比如要用MLlib来完成文本分类任务（例如识别垃圾邮件...

第十二章：TCP:传输控制协议(初步) 与UDP不同，TCP提供面向连接的、可靠的、基于字节流的传输层协议，且提供差错纠正。 TCP传输的概念 对与分组丢失和比特差错的处理方法，最直接的方法是重发分组，直到它被正确接收。 这需要一种方法来判断： 　　1. 接收...

SELECT SUBSTRING(profile FROM 15 FOR 6)AS gender,COUNT(device_id) FROM user_submit GROUP BY gender; profile FROM 15 FOR 6 /*字符串的...

Hadoop和Spark的Shuffle过程区别（一） 一、前言 对于基于MapReduce编程范式的分布式计算来说，本质上而言，就是在计算数据的交、并、差、聚合、排序等过程。而分布式计算分而治之的思想，让每个节点只计算部分数据，也就 ...

free解析 free函数用于释放物理上相互链接的内存空间，并不会因为链表等逻辑上断开链接而不释放掉一起申请的空间。 例如，malloc申请的20个相邻内存的空间，当free首节点时，其余不管是否有next指针指向，都会被释放； 反之，当malloc循环申请了...

队列 先入先出的数据结构（FIFO） Queue接口，与List、Set同级别，继承了Collection接口 非阻塞： PriorityQueue 类实质上维护了一个有序列表。加入到 Queue 中的元素根据它们的天然排序（通...

两阶段锁：事务在用到记录时申请锁资源，当不需要之后不会立刻释放锁，而是需要等待事务结束之后释放锁资源。 两阶段锁的应用：电影院买票，交易时涉及三条更新操作。 用户账户余额减少 电影院账户余额增加 添加一条交易记录 由于电影院余额增加这个操作最容易出现锁...

1.对称密钥密码体制加密密钥和解密密钥相同的密码体制典型的对称密钥密码体制有DES：DES是一种分组密码。在加密前，先对整个的明文进行分组。每一个组为64位长的二进制数据。然后对每一个64位二进制数据进行加密处理，产生一组64位密文数据，最后将各组密文串接起来...

#include<stdio.h> int main() { printf(" ** \n"); printf(" ** \n"); printf("\n"); printf("\n"); printf(" *...