SQL解析调研

勤奋不是嘴上说说而已,而是实际的行动,在勤奋的苦度中持之以恒,永不退却。业精于勤,荒于嬉;行成于思,毁于随。在人生的仕途上,我们毫不迟疑地选择勤奋,她是几乎于世界上一切成就的催产婆。只要我们拥着勤奋去思考,拥着勤奋的手去耕耘,用抱勤奋的心去对待工作,浪迹红尘而坚韧不拔,那么,我们的生命就会绽放火花,让人生的时光更加的闪亮而精彩。

导读:本篇文章讲解 SQL解析调研,希望对大家有帮助,欢迎收藏,转发!站点地址:www.bmabk.com,来源:原文

概述

在做大数据产品时,经常遇到的一个需求,页面上有一个输入框,可以输入SQL语句,然后获得执行结果。如adhoc。

注:本文局限于java语言。

调研

Druid

阿里的Druid,开源作者推广时,称其为最强大的,性能最佳的数据库连接池。但是benchmark实验下来,好像不如HikariCP,可参考JDBC与数据库连接池

但是这并不妨碍国产的开源产品被广泛使用,Druid的数据库监控功能,SQL Parser,即SQL解析就很有应用场景。

解析代码片段:

public List<String> getAllQuery(String sql, String dbType) {
    List<SQLStatement> stmtList = SQLUtils.parseStatements(sql, dbType);
    SQLASTOutputVisitor.defaultPrintStatementAfterSemi = false;
    List<String> result = stmtList.stream().map(SQLStatement::toString).collect(Collectors.toList());
    SQLASTOutputVisitor.defaultPrintStatementAfterSemi = null;
    return result;
}

对于Sql Server如下语句:

exec bi..sp_iData_user_role;
select 1 as a;

解析报错:
java.lang.ClassCastException: com.alibaba.druid.sql.visitor.SQLASTOutputVisitor cannot be cast to com.alibaba.druid.sql.dialect.sqlserver.visitor.SQLServerASTVisitor

解决方法:

List<String> result = stmtList.stream().map(x -> SQLUtils.toSQLString(x, dbType)).collect(Collectors.toList());

缺点:支持对Hive SQL的解析,但是不支持Impala SQL的解析。

有人针对Impala SQL解析这一潜在功能支持问题,提过pull request,但是未被采纳。

antlr

很底层的技术,Sharding Sphere就用到此技术。不仅仅可以用于SQL解析。

<dependency>
  <groupId>org.antlr</groupId>
  <artifactId>antlr4</artifactId>
</dependency>

gsqlparser

https://www.sqlparser.com/download.php
https://github.com/sqlparser/gsp_demo_java
Maven仓库找不到这个jar,需要自己上传。有功能缺陷,不建议使用

impala-frontend

使用Impala parser解析SQL
https://github.com/apache/impala
https://mvnrepository.com/artifact/org.apache.impala/impala-frontend
但是根据上面的文章使用Impala parser解析SQL,程序运行失败,报错信息:
java.lang.RuntimeException: Failed to load libfesupport.so from any candidate location:
缺失一个libfesupport.so文件。

Apache Calcite

SQL Parser

官网:SQL Parser

SQL Advisor

GitHub,美团点评开源。

Sharding Sphere

国产开源数据库中间件。Sharding Sphere前身是Sharding-JDBC,后进入Apache孵化项目,并孵化成功。开源维护者已开始创业,基于此在做一个庞大的数据库生态系统。组件可插拔,包括SQL解析模块。
部分参考资料,详见:sql-parser

dt-sql-parser

node js包
https://www.npmjs.com/package/dt-sql-parser/v/2.0.11

实现

判断是否为查询语句

/**
 * 判断是否为查询语句
 */
public static boolean isSelect(String sql, String jdbcType) {
    SQLStatementParser parser = SQLParserUtils.createSQLStatementParser(sql, jdbcType);
    Token token = parser.getExprParser().getLexer().token();
    return token.equals(Token.SELECT);
}

作为一个SQL new boy,以为只有select查询查询语句。

直到遇到下面这种SQL(经过简化):

with mingxi as
         (select *
          from (select a.call_system
                     , row_number()
                      over (partition by a.asp_tn_seqnum order by (unix_timestamp(b.createtime) - unix_timestamp(a.call_start_time))) rnd
                from edw.d_cs_cdr_dly a
                where a.call_system = "aspect_tieniu") x1
          where rnd = 1)
select call_system
from mingxi;

在这里插入图片描述
关于With As查询语句,可参考WITH AS查询

获取查询字段

内容较多,另起一篇,参考SQL自动生成字段功能实现

获取依赖表

推荐文章

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

文章由半码博客整理,本文链接:https://www.bmabk.com/index.php/post/142166.html

(0)

相关推荐

发表回复

登录后才能评论