RDD Programming RDD 核心架构与特性   分区（Partitions）：数据被切分为多个分区；每个分区在集群节点上独立处理；分区是并行计算的基本单位。   计算函数（Compute Function）：每个分区应用相同的转换函数；惰性执行机制。   依赖关系（Dependencies）   窄依赖：1个父分区 → 1个子分区（map、filter）。   宽依赖：1个父分区 → 多个子分区（groupByKey、join）。     分区器（Partitioner）：仅存在于键值对RDD；决定数据如何分区，HashPartitioner（默认）、RangePartitione...

Apache Spark Introduction Spark Introduction  定义： Apache Spark 是一个开源的、分布式、统一的计算引擎，专为大规模数据处理而设计。 核心目标： 提供高速（Lightning-Fast）、易用且通用的数据处理能力。  Spark 性能关键  内存计算 (In-Memory Computing)： Spark 尽可能将中间数据保留在集群内存中，避免了传统 MapReduce 需要反复读写磁盘的瓶颈，极大提升迭代算法和交互式查询速度。 有向无环图 (DAG) 执行引擎：  Spark 将用户程序构建成一个 DAG（Directed Acyc...

容器与Docker简介 镜像（Image）  定义：静态的只读模板，包含运行应用所需的所有依赖（代码、环境、库、配置）。 本质：分层存储结构（UnionFS），每一层是文件系统的增量修改。 核心操作：docker pull（拉取）、docker build（构建）、docker push（推送）。 生命周期：持久化存储，可重复使用。删除需显式执行 docker rmi。  容器（Container）  定义：镜像的运行实例，本质是隔离的进程（通过 Linux Namespace 和 Cgroups 实现）。 本质：镜像层（只读） + 容器层（读写），运行时添加数据。 核心操作：docker r...

消息中间件核心功能实现 生产者设计与消息发送流程   消息构造与序列化   消息结构 // Kafka消息示例（键值对结构） public class ProducerRecord<K, V> { private String topic; // 目标主题 private K key; // 分区路由键（可选） private V value; // 消息体 private Long timestamp; // 时间戳 }    序列化：将对象转为字节流（如JSON、Protobuf、Avro）。     消息路由（分区选择）  哈希路由：按Key哈希值选择分区（保证相同Key的消...

消息中间件概述 消息中间件的定义与作用  核心概念：一种基于异步消息传递的中间件（Message-Oriented Middleware, MOM），用于协调分布式系统中不同组件的通信。 核心功能：提供消息的传输、存储、路由与投递，确保生产者（Producer）与消费者（Consumer）解耦。 类比模型：类似“快递系统”，生产者发送消息（寄件），中间件存储与分发（物流），消费者接收消息（收件）。 MQ作用：解耦系统依赖、异步处理提升响应速度、流量削峰填谷、冗余存储与持久化、扩展性与负载均衡、顺序性与事务支持。  消息中间件核心组件  生产者（Producer）：创建并发送消息到中间件。 消费...

Nginx 配置文件基础   全局块（Main Context）：配置影响全局的参数，如用户、进程数、日志路径等。 user nginx; # 运行Nginx的用户和组 worker_processes auto; # 工作进程数（通常设为CPU核心数） error_log /var/log/nginx/error.log warn; # 错误日志路径及级别 pid /var/run/nginx.pid; # 进程PID文件路径    Events 块：配置网络连接相关参数。 events { worker_connections 1024; # 单个工作进程的最大并发连接数 use epol...

Redis命令参考 数据类型相关命令  SET：设置键值，支持过期时间、不存在/存在条件。 GET：获取键值，若键不存在返回 nil。 INCR/DECR：将键的整数值增1/减1，键不存在时初始化为0。 MSET/MGET：批量设置/获取多个键值。 LPUSH/RPUSH：从列表左/右侧插入元素。 LPOP/RPOP：移除并返回列表左/右侧第一个元素。 LRANGE：获取列表指定范围的元素。 HSET/HGET：设置/获取哈希字段值。 HGETALL：获取哈希所有字段和值。 HINCRBY：哈希字段整数值增加指定数值。 SADD/SREM：添加/移除集合元素。 SMEMBERS：返回集合所有元...

Redis Sentinel（哨兵） Sentinel 的工作机制   故障检测（Failure Detection）   主观下线（Subjective Down）：单个 Sentinel 实例检测到主节点在30 秒内无响应，标记其为 SDOWN。   客观下线（Objective Down）：当超过 quorum的 Sentinel 实例确认主节点不可达，标记为 ODOWN，触发故障转移。     领导者选举（Leader Election）   Raft 算法：Sentinel 使用类似 Raft 的算法选举领头 Sentinel（Leader），由 Leader 执行故障转移。   选...

RedisDB RedisDB的核心结构   键空间（dict*dict）   结构：哈希表（字典），键为字符串对象（SDS），值为 Redis 对象（字符串、列表、哈希等）。   功能：存储所有持久化数据，支持增删改查操作。     过期字典（dict*expires）   结构：哈希表，键与键空间共享（指针引用），值为 long long 类型的时间戳（毫秒精度）。   功能：记录键的过期时间，过期自动删除。     阻塞键（blocking_keys）：用于 BLPOP 等阻塞操作。   解锁键（ready_keys）：解除阻塞的键（与阻塞键配合使用）。   监控键（watched_ke...

简单动态字符串（SDS） SDS 的结构定义  len：记录当前字符串的实际长度（不包含 \0），获取长度的时间复杂度为 O(1)。 free：记录未使用的空间大小，用于优化内存分配。 buf[]：实际存储字符的数组，末尾自动追加 \0（兼容 C 字符串函数）。  SDS 的核心特性   预分配与惰性释放   空间预分配：当 SDS 需要扩容时，Redis 会额外分配未使用空间（free）以减少内存重分配次数：  若扩容后 len < 1MB：分配 len 的等量空间（总空间 = len + free + 1 = 2 * len + 1）。 若扩容后 len ≥ 1MB：固定分配 1MB...

DispatcherServlet的初始化与请求处理流程 初始化阶段   Servlet 生命周期触发：当 Web 容器（如 Tomcat）启动时，根据注解/配置，DispatcherServlet 的 init() 方法被调用。   初始化 WebApplicationContext  根 WebApplicationContext：由 ContextLoaderListener 加载，包含 Service、DAO 等非 Web 层 Bean。 DispatcherServlet 子上下文：专属于 Servlet，包含 Controller、ViewResolver 等 Web 层 Bean...

AOP核心概念 核心概念解析  Aspect（切面）： 封装横切关注点的模块，包含多个 Advice 和 Pointcut，如日志切面、事务切面、权限校验切面。 Join Point（连接点）：程序执行过程中的一个点（如方法调用、异常抛出），可插入切面逻辑的位置。 Advice（通知）：在特定连接点执行的动作（如前置、后置、环绕处理），如记录方法执行时间、事务提交或回滚。 Pointcut（切点）：通过表达式匹配一组连接点，定义哪些连接点会被切面处理。 Target Object（目标对象）：被代理的原始对象（包含业务逻辑的 Bean）。 Proxy（代理）：由 Spring 生成的代理对象，...

Spring整体架构与模块划分 核心容器（Core Container）  spring-core  基础工具类：如资源加载（Resource接口）、反射工具（ReflectionUtils）、类型转换（ConversionService）。 核心接口：BeanFactory（IoC容器的基本定义）。   spring-beans  Bean的定义与依赖管理：BeanDefinition（描述Bean的元数据）、BeanWrapper（Bean属性操作）。 Bean的实例化与生命周期管理：AbstractAutowireCapableBeanFactory（Bean创建的核心类）。   spr...

SQL语法扩展与执行计划分析 特殊函数与子句  WITH子句：定义临时表达式（CTE），复用中间结果。  WITH tmp AS (SELECT ...) SELECT * FROM tmp   ANY修饰符：在JOIN时仅保留第一个匹配的行（避免笛卡尔积爆炸）。  SELECT ... FROM table1 ANY LEFT JOIN table2 USING (key)   GLOBAL IN/GLOBAL JOIN：在分布式查询中，将右表广播到所有节点执行。  SELECT ... WHERE id GLOBAL IN (SELECT id FROM remote_table)   L...