Teradata中发生数据倾斜该如何解决？

Teradata的倾斜可以分为两类，解决方案也因类型而异：

• 持久性倾斜 (Data Skew)：数据在磁盘上的物理分布不均。根源通常是主索引（PI）选择不当。
• 运行时倾斜 (Runtime Skew)：查询执行过程中，用于计算的中间结果（Spool）分布不均。根源通常是连接（JOIN）或聚合（GROUP BY）的键值分布不均，或统计信息不准。

1. 设计层面：优化主索引（PI）

这是最根本、最有效的办法。如果表创建时主索引没选好，后续所有操作都可能带着“病根”。

• 更换为高基数、均匀分布的列：将主索引改为取值唯一或分布均匀的列，如订单ID、用户ID。切忌使用性别、状态等只有少量值的列作为主索引。
• 使用复合主索引 (Multi-Column PI)：如果单列无法保证均匀，可以用多列组合。例如，用(城市, 用户ID)代替单一的城市列，以打散数据。
• 考虑非唯一主索引 (NUPI)：如果业务上无法使用唯一主索引（UPI），NUPI也能通过合理的哈希计算较好地分布数据，但需注意处理重复值带来的额外开销。

2. 运行时层面：优化SQL与执行策略

当表结构因业务限制无法修改时，可以在查询执行时解决倾斜。

• 启用“倾斜值处理”特性：Teradata优化器能自动识别“热点值”。例如，一个VIP客户的订单量是普通用户的万倍，优化器会自动将这个VIP客户的订单单独处理（先聚合再合并），避免拖垮单个AMP。
• 手动拆分倾斜值 (针对特定版本)：在较老的Teradata版本（如14.0之前）中，如果自动处理失效，需要手动“分治”。将倾斜的数据（如NULL或高频值）单独JOIN，与非倾斜数据UNION ALL后再合并。
• 重分布 vs 复制：当大表与小表关联且小表的关联键是主索引时，优化器通常会将小表复制（Duplicate）到所有AMP，避免大表重分布（可能产生倾斜）。如果优化器选错了，可通过INSERT到NOPI（无主索引）表等方式手动干预执行计划。

3. 参数层面：使用全局空间会计 (GSA)

这是一种“治标”的防御手段，允许空间使用在节点间“借用”，避免因短时倾斜导致作业失败。

• 启用GSA：从Teradata 16.10 版本开始，推荐开启全局空间会计 (Global Space Accounting)。它允许某个数据量大的AMP临时借用其他空闲AMP的空间配额，防止因瞬时倾斜导致作业报错。
• 设定倾斜因子 (Skew Factor)：通过SKEW参数（0-100%）控制允许的空间“借用”程度，为倾斜数据提供缓冲。

4. 维护层面：保持统计信息新鲜

如果统计信息是过时的，优化器可能会“误判”数据分布，选错执行计划。

• 定期收集统计信息：在数据量发生重大变化后，必须对表执行COLLECT STATISTICS，尤其是针对JOIN和GROUP BY的列。