在数据库插入万条数据,比普通插入提升百倍速度

如果你不相信努力和时光,那么成果就会是第一个选择辜负你的。不要去否定你自己的过去,也不要用你的过去牵扯你现在的努力和对未来的展望。不是因为拥有希望你才去努力,而是去努力了,你才有可能看到希望的光芒。在数据库插入万条数据,比普通插入提升百倍速度,希望对大家有帮助,欢迎收藏,转发!站点地址:www.bmabk.com,来源:原文

在数据库插入万条数据,比普通插入提升百倍速度


JDBC中通过普通方法插入一万条数据

   /**
     * 普通方法插入10000条数据
     * @throws Exception
     */
    @Test
    public void testInsert() throws Exception {
        //注册驱动
        Class.forName("com.mysql.cj.jdbc.Driver");
        //获取连接
        Connection connection = DriverManager.getConnection("jdbc:mysql:///testDb?user=root&password=abc123");
        //编写sql语句
        String sql = "insert into user(name,,age,sex) values (?,?,?)";
        //创建statement
        PreparedStatement preparedStatement = connection.prepareStatement(sql);
		//计算插入数据开始时间
        long startTime = System.currentTimeMillis();
        for (int i = 1; i < 10000; i++) {
            preparedStatement.setObject(1, "shiSheng" + i);
            preparedStatement.setObject(2, "1" + i);
            preparedStatement.setObject(3, "男" + i);
            //一条一条插入数据
            preparedStatement.executeUpdate();
        }
		//运行完插入数据的结束时间
        long endTime = System.currentTimeMillis();
		//计算两者的差值,也就是插入1万条数据所用的时间
        long time = endTime - startTime;
        System.out.println("普通方式执行插入1万个数据消耗的时间:" + time );
        //关闭资源
        preparedStatement.close();
        connection.close();
    }

运行结果

普通方式执行插入1万个数据消耗的时间:23391

可以看到用了大概23秒的时间,效率十分的低下,这还只是插入最简单数据的情况下


通过批量插入来提升百倍速度
 	/**
     * 批量插入10000条数据
     * @throws Exception
     */
    @Test
    public void batchInsert() throws Exception {
        //注册驱动
        Class.forName("com.mysql.cj.jdbc.Driver");
        //获取连接
        Connection connection = DriverManager.getConnection("jdbc:mysql:///testDb?rewriteBatchedStatements=true","root","abc123");
        //编写sql语句
   		String sql = "insert into user(name,,age,sex) values (?,?,?)";
        //创建statement
        PreparedStatement preparedStatement = connection.prepareStatement(sql);
     	//计算插入数据开始时间
        long startTime = System.currentTimeMillis();
        for (int i = 1; i < 10000; i++) {
            preparedStatement.setObject(1, "a" + i);
            preparedStatement.setObject(2, "b" + i);
            preparedStatement.setObject(3, "c" + i);
            //将所有要插入的数据添加到values后面
            preparedStatement.addBatch();
        }
        //批量插入数据
        preparedStatement.executeBatch();
        //运行完插入数据的结束时间
        long endTime = System.currentTimeMillis();
		//计算两者的差值,也就是插入1万条数据所用的时间
        long time = endTime - startTime;
        System.out.println("优化方式执行插入1万个数据消耗的时间:" + time );
        //关闭资源
        preparedStatement.close();
        connection.close();
    }

运行结果

优化方式执行插入1万个数据消耗的时间:231

通过对比可以看到普通方法用了23391毫秒,优化后只用了231毫秒,速度提升了百倍以上,这对项目是一个很大的提升

变动

  • 改动一

在获取连接时加上rewriteBatchedStatements=true,意思是允许批量插入数据

  • 改动二

preparedStatement.executeUpdate();
改为
preparedStatement.addBatch();
由原先的一条一条插入数据,改为把所有要插入的数据都添加到values后面,之后再统一插入数据

  • 改动三

在for循环外加上preparedStatement.executeBatch();数据全部添加完成后统一执行批量插入操作

原因

其实就是调用了statement中的一个批量插入函数,提高了效率。
原先是通过for循环一条一条的插入数据,这样效率很低,现在是通过for循环把要插入的数据都保存到一个地方,循环结束后统一进行插入,这样节省很多空间内存,也提高了效率。


我是时生,一个正在努力的小白。欢迎批评,欢迎指正,欢迎共享。 如果这篇文章对你有帮助,麻烦点个赞呗!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/195153.html

(0)
飞熊的头像飞熊bm

相关推荐

发表回复

登录后才能评论
极客之音——专业性很强的中文编程技术网站,欢迎收藏到浏览器,订阅我们!