你向 MySQL 数据库插入 100w 条数据用了多久?

沙海 2021年5月28日04:46:36Java评论37字数 3622阅读12分4秒阅读模式
摘要

速读摘要

速读摘要文章源自JAVA秀-https://www.javaxiu.com/26527.html

MySQL插入数据在写阶段是独占的,但是插入一条数据仍然需要解析、计算、最后才进行写处理,比如要给每一条记录分配自增id,校验主键唯一键属性,或者其他一些逻辑处理,都是需要计算的,所以说多线程能够提高效率。使用PreparedStatement接口允许数据库预编译SQL语句,以后只需传入参数,避免了数据库每次都编译SQL语句,因此性能更好。使用多值插入SQL,SQL语句的总长度减少,即减少了网络IO,同时也降低了连接次数,数据库一次SQL解析,能够插入多条数据。文章源自JAVA秀-https://www.javaxiu.com/26527.html

原文约 1274 | 图片 2 | 建议阅读 3 分钟 | 评价反馈文章源自JAVA秀-https://www.javaxiu.com/26527.html

你向 MySQL 数据库插入 100w 条数据用了多久?

Java学习者社区 文章源自JAVA秀-https://www.javaxiu.com/26527.html

你向 MySQL 数据库插入 100w 条数据用了多久?文章源自JAVA秀-https://www.javaxiu.com/26527.html

作者 | 良月柒文章源自JAVA秀-https://www.javaxiu.com/26527.html

来源 | http://juejin.im/post/5d255ab9e51d454f73356dcd文章源自JAVA秀-https://www.javaxiu.com/26527.html

多线程插入(单表)

问:为何对同一个表的插入多线程会比单线程快?同一时间对一个表的写操作不应该是独占的吗?文章源自JAVA秀-https://www.javaxiu.com/26527.html

答:在数据里做插入操作的时候,整体时间的分配是这样的:文章源自JAVA秀-https://www.javaxiu.com/26527.html

  • 链接耗时 (30%)文章源自JAVA秀-https://www.javaxiu.com/26527.html

  • 发送query到服务器 (20%)文章源自JAVA秀-https://www.javaxiu.com/26527.html

  • 解析query (20%)文章源自JAVA秀-https://www.javaxiu.com/26527.html

  • 插入操作 (10% * 词条数目)文章源自JAVA秀-https://www.javaxiu.com/26527.html

  • 插入index (10% * Index的数目)文章源自JAVA秀-https://www.javaxiu.com/26527.html

  • 关闭链接 (10%)文章源自JAVA秀-https://www.javaxiu.com/26527.html

从这里可以看出来,真正耗时的不是操作,而是链接,解析的过程。文章源自JAVA秀-https://www.javaxiu.com/26527.html

MySQL插入数据在写阶段是独占的,但是插入一条数据仍然需要解析、计算、最后才进行写处理,比如要给每一条记录分配自增id,校验主键唯一键属性,或者其他一些逻辑处理,都是需要计算的,所以说多线程能够提高效率。文章源自JAVA秀-https://www.javaxiu.com/26527.html

多线程插入(多表)

分区分表后使用多线程插入。文章源自JAVA秀-https://www.javaxiu.com/26527.html

预处理SQL

  • 普通SQL,即使用Statement接口执行SQL文章源自JAVA秀-https://www.javaxiu.com/26527.html

  • 预处理SQL,即使用PreparedStatement接口执行SQL文章源自JAVA秀-https://www.javaxiu.com/26527.html

使用PreparedStatement接口允许数据库预编译SQL语句,以后只需传入参数,避免了数据库每次都编译SQL语句,因此性能更好。文章源自JAVA秀-https://www.javaxiu.com/26527.html

String sql = "insert into testdb.tuser (name, remark, createtime, updatetime) values (?, ?, ?, ?)";for (int i = 0; i < m; i++) {    //从池中获取连接    Connection conn = myBroker.getConnection();    PreparedStatement pstmt = conn.prepareStatement(sql);    for (int k = 0; k < n; k++) {            pstmt.setString(1, RandomToolkit.generateString(12));            pstmt.setString(2, RandomToolkit.generateString(24));            pstmt.setDate(3, new Date(System.currentTimeMillis()));            pstmt.setDate(4, new Date(System.currentTimeMillis()));            //加入批处理            pstmt.addBatch();    }    pstmt.executeBatch();    //执行批处理    pstmt.close();    myBroker.freeConnection(conn); //连接归池}

多值插入SQL

  • 普通插入SQL:INSERT INTO TBL_TEST (id) VALUES(1)文章源自JAVA秀-https://www.javaxiu.com/26527.html

  • 多值插入SQL:INSERT INTO TBL_TEST (id) VALUES (1), (2), (3)文章源自JAVA秀-https://www.javaxiu.com/26527.html

使用多值插入SQL,SQL语句的总长度减少,即减少了网络IO,同时也降低了连接次数,数据库一次SQL解析,能够插入多条数据。文章源自JAVA秀-https://www.javaxiu.com/26527.html

事务(N条提交一次)

在一个事务中提交大量INSERT语句可以提高性能。文章源自JAVA秀-https://www.javaxiu.com/26527.html

1、将表的存储引擎修改为myisam 2、将 sql 拼接成字符串,每 1000 条左右提交事务。文章源自JAVA秀-https://www.javaxiu.com/26527.html

/// <summary>        /// 执行多条SQL语句,实现数据库事务。        /// </summary>mysql数据库        /// <param name="SQLStringList">多条SQL语句</param>        public void ExecuteSqlTran(List<string> SQLStringList)        {            using (MySqlConnection conn = new MySqlConnection(connectionString))            {                if (DBVariable.flag)                {                    conn.Open();                    MySqlCommand cmd = new MySqlCommand();                    cmd.Connection = conn;                    MySqlTransaction tx = conn.BeginTransaction();                    cmd.Transaction = tx;                    try                    {                        for (int n = 0; n < SQLStringList.Count; n++)                        {                            string strsql = SQLStringList[n].ToString();                            if (strsql.Trim().Length > 1)                            {                                cmd.CommandText = strsql;                                cmd.ExecuteNonQuery();                            }                            //后来加上的                            if (n > 0 && (n % 1000 == 0 || n == SQLStringList.Count - 1))                            {                                tx.Commit();                                tx = conn.BeginTransaction();                            }                        }                        //tx.Commit();//原来一次性提交                    }                    catch (System.Data.SqlClient.SqlException E)                    {                        tx.Rollback();                        throw new Exception(E.Message);                    }                }            }        }

10w条数据大概用时10s!文章源自JAVA秀-https://www.javaxiu.com/26527.html

推荐阅读• 赞!推荐一款神仙颜值的 Redis 客户端工具• 刚进美团,就被各种Code Review,真的有必要吗?• 两年滴滴和头条的后端开发经验!字字都是肺腑之言!• 这次排查接口超时原因,鬼知道我经历了什么最近面试BATJ,整理一份面试资料《Java面试BAT通关手册》,覆盖了Java核心技术、JVM、Java并发、SSM、微服务、数据库、数据结构等等。获取方式:点“在看”,关注公众号并回复 Java 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。文章源自JAVA秀-https://www.javaxiu.com/26527.html

谢谢支持哟 (*^__^*)文章源自JAVA秀-https://www.javaxiu.com/26527.html

继续阅读
速蛙云 - 极致体验,强烈推荐!!!购买套餐就免费送各大视频网站会员!快速稳定、独家福利社、流媒体稳定解锁!速度快,全球上网、视频、游戏加速、独立IP均支持!基础套餐性价比很高!这里不多说,我一直正在使用,推荐购买:https://www.javaxiu.com/59919.html
weinxin
资源分享QQ群
本站是JAVA秀团队的技术分享社区, 会经常分享资源和教程; 分享的时代, 请别再沉默!
沙海
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定