使用dataX遇到的坑

勤奋不是嘴上说说而已,而是实际的行动,在勤奋的苦度中持之以恒,永不退却。业精于勤,荒于嬉;行成于思,毁于随。在人生的仕途上,我们毫不迟疑地选择勤奋,她是几乎于世界上一切成就的催产婆。只要我们拥着勤奋去思考,拥着勤奋的手去耕耘,用抱勤奋的心去对待工作,浪迹红尘而坚韧不拔,那么,我们的生命就会绽放火花,让人生的时光更加的闪亮而精彩。

导读:本篇文章讲解 使用dataX遇到的坑,希望对大家有帮助,欢迎收藏,转发!站点地址:www.bmabk.com,来源:原文

首先是安装dataX,安装非常简单,只需下载对应的压缩包即可。

下载地址:https://github.com/alibaba/DataX

第一个错误:命令提示符界面出现出现乱码。

解决方法:

可以在cmd中输入: CHCP 65001 (切换为UTP8编码-65001 (UTF-8)),然后进行后续操作。

第二个错误:print的问题

  File "datax.py", line 114
    print readerRef
          ^
SyntaxError: Missing parentheses in call to 'print'. Did you mean print(readerRef)?

切换版本

D:\Users\LENOVO>python --version
Python 3.8.2

D:\java\datax\bin>python --version
Python 2.7.18

第三个问题:连接mysql

2020-10-28 08:02:46.914 [job-0] WARN  DBUtil - test connection of [jdbc:mysql://localhost:3306/ssm] failed, for Code:[DBUtilErrorCode-10], Description:[连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port或者向 DBA 寻求帮助(注意网络 环境).].  -  具体错误信息为:com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server..
2020-10-28 08:02:46.918 [job-0] ERROR RetryUtil - Exception when calling callable, 异常Msg:DataX无法连接对应的数据库,可能原因是:1) 配置的ip/port/database/jdbc错误,无法连接。2) 配置的username/password错误,鉴权失败。请和DBA确认该数据库的 连接信息是否正确。
java.lang.Exception: DataX无法连接对应的数据库,可能原因是:1) 配置的ip/port/database/jdbc错误,无法连接。2) 配置的username/password错误,鉴权失败。请和DBA确认该数据库的连接信息是否正确。
        at com.alibaba.datax.plugin.rdbms.util.DBUtil$2.call(DBUtil.java:71) ~[plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
        at com.alibaba.datax.plugin.rdbms.util.DBUtil$2.call(DBUtil.java:51) ~[plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
        at com.alibaba.datax.common.util.RetryUtil$Retry.call(RetryUtil.java:164) ~[datax-common-0.0.1-SNAPSHOT.jar:na]
        at com.alibaba.datax.common.util.RetryUtil$Retry.doRetry(RetryUtil.java:111) ~[datax-common-0.0.1-SNAPSHOT.jar:na]

解决方法:
查看MySQL驱动包
把mysql-connector-java-5.1.34.jar 修改为
mysql-connector-java-8.0.18.jar
添加?serverTimezone=UTC

jdbc.url=jdbc:mysql://localhost:3306/ssm?serverTimezone=UTC

完美结果:

020-10-28 08:19:36.780 [job-0] INFO  OriginalConfPretreatmentUtil - Available jdbcUrl:jdbc:mysql://localhost:3306/ssm?serverTimezone=UTC&yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true.
2020-10-28 08:19:36.836 [job-0] INFO  OriginalConfPretreatmentUtil - table:[menu] has columns:[id,name,pid].
2020-10-28 08:19:36.900 [job-0] INFO  JobContainer - jobContainer starts to do prepare ...
2020-10-28 08:19:36.900 [job-0] INFO  JobContainer - DataX Reader.Job [mysqlreader] do prepare work .
2020-10-28 08:19:36.902 [job-0] INFO  JobContainer - DataX Writer.Job [streamwriter] do prepare work .
2020-10-28 08:19:36.906 [job-0] INFO  JobContainer - jobContainer starts to do split ...
2020-10-28 08:19:36.907 [job-0] INFO  JobContainer - Job set Channel-Number to 3 channels.
2020-10-28 08:19:36.936 [job-0] INFO  SingleTableSplitUtil - split pk [sql=SELECT MIN(id),MAX(id) FROM menu] is running...

第四个错误 mysql2mysql

首先也要更新驱动

2020-10-28 09:59:52.876 [job-0] ERROR RetryUtil - Exception when calling callable, 即将尝试执行第1次重试.本次重试计划等待[1000]ms,实际等待[1001]ms, 异常Msg:[Code:[DBUtilErrorCode-10], Description:[连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port或者向 DBA 寻求帮助(注意网络环境).].  -  具体错误信息为:java.sql.SQLException: No suitable driver found for ["jdbc:mysql://localhost:3306/ssm?serverTimezone=UTC&useUnicode=true&characterEncoding=gbk"]&yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true]

                        "jdbcUrl": [
			    "jdbc:mysql://localhost:3306/ssm?serverTimezone=UTC&useUnicode=true&characterEncoding=utf8"
			]

修改为

                        "jdbcUrl": "jdbc:mysql://localhost:3306/ssm?serverTimezone=UTC&useUnicode=true&characterEncoding=utf8"

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

文章由半码博客整理,本文链接:https://www.bmabk.com/index.php/post/140804.html

(0)

相关推荐

发表回复

登录后才能评论
半码博客——专业性很强的中文编程技术网站,欢迎收藏到浏览器,订阅我们!