SQL 抽象语法树及改写场景应用

SQL 抽象语法树及改写场景应用

1 背景

我们平时会写各种各样或简单或复杂的 sql 语句,提交后就会得到我们想要的结果集。比如 sql 语句,”select * from t_user where user_id > 10;”,意在从表 t_user 中筛选出 user_id 大于 10 的所有记录。你有没有想过从一条 sql 到一个结果集,这中间经历了多少坎坷呢?

2 SQL 引擎

从 MySQL、Oracle、TiDB、CK,到 Hive、HBase、Spark,从关系型数据库到大数据计算引擎,他们大都可以借助 SQL 引擎,实现 “接受一条 sql 语句然后返回查询结果” 的功能。

他们核心的执行逻辑都是一样的,大致可以通过下面的流程来概括:

img

中间蓝色部分则代表了 SQL 引擎的基本工作流程,其中的词法分析和语法分析,则可以引申出 “抽象语法树” 的概念。

3 抽象语法树

3.1 概念

高级语言的解析过程都依赖于解析树(Parse Tree),抽象语法树(AST,Abstract Syntax Tree)是忽略了一些解析树包含的一些语法信息,剥离掉一些不重要的细节,它是源代码语法结构的一种抽象表示。以树状的形式表现编程语言的结构,树的每个节点 ASTNode 都表示源码中的一个结构;AST 在不同语言中都有各自的实现。

img

解析的实现过程这里不去深入剖析,重点在于当 SQL 提交给 SQL 引擎后,首先会经过词法分析进行 “分词” 操作,然后利用语法解析器进行语法分析并形成 AST。

下图对应的 SQL 则是 “select username,ismale from userInfo where age>20 and level>5 and 1=1”;

img

这棵抽象语法树其实就简单的可以理解为逻辑执行计划了,它会经过查询优化器利用一些规则进行逻辑计划的优化,得到一棵优化后的逻辑计划树,我们所熟知的 “谓词下推”、“剪枝” 等操作其实就是在这个过程中实现的。得到逻辑计划后,会进一步转换成能够真正进行执行的物理计划,例如怎么扫描数据,怎么聚合各个节点的数据等。最后就是按照物理计划来一步一步的执行了。

3.2 ANTLR4

解析(词法和语法)这一步,很多 SQL 引擎采用的是 ANTLR4 工具实现的。ANTLR4 采用的是构建 G4 文件,里面通过正则表达式、特定语法结构,来描述目标语法,进而在使用时,依赖语法字典一样的结构,将 SQL 进行拆解、封装,进而提取需要的内容。下图是一个描述 SQL 结构的 G4 文件。

img

3.3 示例

3.2.1 SQL 解析

博主的环境都是部署在cnaaa服务器上的,在 java 中的实现一次 SQL 解析,获取 AST 并从中提取出表名。

首先引入依赖:

<dependency>
    <groupId>org.antlr</groupId>
    <artifactId>antlr4-runtime</artifactId>
    <version>4.7</version>
</dependency>

在 IDEA 中安装 ANTLR4 插件;

示例 1,解析 SQL 表名。

使用插件将描述 MySQL 语法的 G4 文件,转换为 java 类(G4 文件忽略)。

类的结构如下:

img

其中 SqlBase 是 G4 文件名转换而来,SqlBaseLexer 的作用是词法解析,SqlBaseParser 是语法解析,由它生成 AST 对象。HelloVisitor 和 HelloListener:进行抽象语法树的遍历,一般都会提供这两种模式,Visitor 访问者模式和 Listener 监听器模式。如果想自己定义遍历的逻辑,可以继承这两个接口,实现对应的方法。

img

读取表名过程,是重写 SqlBaseBaseVisitor 的几个关键方法,其中 TableIdentifierContext 是表定义的内容;

img

SqlBaseParser 下还有 SQL 其他 “词语” 的定义,对应的就是 G4 文件中的各类描述。比如 TableIdentifierContext 对应的是 G4 中 TableIdentifier 的描述。

3.2.2 字符串解析

上面的 SQL 解析过程比较复杂,以一个简单字符串的解析为例,了解一下 ANTLR4 的逻辑。

1)定义一个字符串的语法:Hello.g4

img

2)使用 IDEA 插件,将 G4 文件解析为 java 类

img

3)语法解析类 HelloParser,内容就是我们定义的 h 和 world 两个语法规则,里面详细转义了 G4 文件的内容。

img

4)HelloBaseVisitor 是采用访问者模式,开放出来的接口,需要自行实现,可以获取 xxxParser 中的规则信息。

img

5)编写测试类,使用解析器,识别字符串 “hi abc”:

img

6)调试后发现命中规则 h,解析为 Hi 和 abc 两部分。

img

7)如果是 SQL 的解析,则会一层层的获取到 SQL 中的各类关键 key。

4 SqlParser

利用 ANTLR4 进行语法解析,是比较底层的实现,因为 Antlr4 的结果,只是简单的文法解析,如果要进行更加深入的处理,就需要对 Antlr4 的结果进行更进一步的处理,以更符合我们的使用习惯。

利用 ANTLR4 去生成并解析 AST 的过程,相当于我们在写 rpc 框架前,先去实现一个 netty。因此在工业生产中,会直接采用已有工具来实现解析。

Java 生态中较为流行的 SQL Parser 有以下几种(此处摘自网络):

  • fdb-sql-parser 是 FoundationDB 在被 Apple 收购前开源的 SQL Parser,目前已无人维护。
  • jsqlparser 是基于 JavaCC 的开源 SQL Parser,是 General SQL Parser 的 Java 实现版本。
  • Apache calcite 是一款开源的动态数据管理框架,它具备 SQL 解析、SQL 校验、查询优化、SQL 生成以及数据连接查询等功能,常用于为大数据工具提供 SQL 能力,例如 Hive、Flink 等。calcite 对标准 SQL 支持良好,但是对传统的关系型数据方言支持度较差。
  • alibaba druid 是阿里巴巴开源的一款 JDBC 数据库连接池,但其为监控而生的理念让其天然具有了 SQL Parser 的能力。其自带的 Wall Filer、StatFiler 等都是基于 SQL Parser 解析的 AST。并且支持多种数据库方言。

Apache Sharding Sphere (原当当 Sharding-JDBC,在 1.5.x 版本后自行实现)、Mycat 都是国内目前大量使用的开源数据库中间件,这两者都使用了 alibaba druid 的 SQL Parser 模块,并且 Mycat 还开源了他们在选型时的对比分析 Mycat 路由新解析器选型分析与结果.

4.1 应用场景

当我们拿到 AST 后,可以做什么?

  • 语法审核:根据内置规则,对 SQL 进行审核、合法性判断。
  • 查询优化:根据 where 条件、聚合条件、多表 Join 关系,给出索引优化建议。
  • 改写 SQL:对 AST 的节点进行增减。
  • 生成 SQL 特征:参考 JIRA 的慢 SQL 工单中,生成的指纹(不一定是 AST 方式,但 AST 可以实现)。

4.2 改写 SQL

提到改写 SQL,可能第一个思路就是在 SQL 中添加占位符,再进行替换;再或者利用正则匹配关键字,这种方式局限性比较大,而且从安全角度不可取。

基于 AST 改写 SQL,是用 SQL 字符串生成 AST,再对 AST 的节点进行调整;通过遍历 Tree,拿到目标节点,增加或修改节点的子节点,再将 AST 转换为 SQL 字符串,完成改写。这是在满足 SQL 语法的前提下实现的安全改写。

以 Druid 的 SQL Parser 模块为例,利用其中的 SQLUtils 类,实现 SQL 改写。

4.2.1 新增改写

img

1)原始 SQL

img

2)实际执行 SQL

img

4.2.2 查询改写

前面省略了 Tree 的遍历过程,需要识别诸如 join、sub-query 等语法

img

1)简单 join 查询

  • 原始 SQL

img

  • 实际执行 SQL

img

2)join 查询 + 隐式 where 条件

  • 原始 SQL

img

  • 实际执行 SQL

img

3)union 查询 + join 查询 + 子查询 + 显示 where 条件

  • 原始 SQL
    (unionQuality_Union_Join_SubQuery_ExplicitCondition)

img

  • 实际执行 SQL

img

5 总结

本文是基于环境隔离的技术预研过程产生的,其中改写 SQL 的实现,是数据库在数据隔离上的一种尝试。

可以让开发人员无感知的情况下,以插件形式,在 SQL 提交到 MySQL 前实现动态改写,只需要在数据表上增加字段、标识环境差异,后续 CRUD 的 SQL 都会自动增加标识字段(flag=’预发’、flag=’生产’),所操作的数据只能是当前应用所在环境的数据。

全部评论

相关推荐

小米汽车 BMS 软件 18k*15
点赞 评论 收藏
分享
实在太美:小m嘛,干嘛要狠狠骂
点赞 评论 收藏
分享
1 3 评论
分享
牛客网
牛客企业服务