1. 苏葳的备忘录首页
  2. 数据库

Mysql批量插入executeBatch的性能问题

mysql java jdbc移动MAS短信平台用的是Mysql 4.0.20版本。虽然此平台提供有各种接口,但DB接口由于可以批量插入数据,相信是效率最高的。开发接口程序,使用JDBC连接,prepareStatement和executeBatch批量插入数据,然而当每批量设为200条时,耗时约7秒左右。问题出在哪里?

smssent.connMysql.setAutoCommit(false);
smssent.logger.debug("Mysql批量执行开始");
smssent.insMysql.executeBatch();
smssent.logger.debug("Mysql批量插入");
smssent.connSybase.setAutoCommit(false);
smssent.updSybase.executeBatch();
smssent.logger.debug("Sybase批量更新");
smssent.connSybase.commit();
smssent.logger.debug("Sybase批量更新成功。");
smssent.connMysql.commit(); //
smssent.logger.debug("Mysql批量更新成功。");
smssent.connMysql.setAutoCommit(true);
smssent.connSybase.setAutoCommit(true);

查看日志,会发现耗时主要出现在“mysql批量执行开始”和“Mysql批量插入”之间,其余操作包括Sybase的200条语句更新都是毫秒级的。查找文档,得出以下结论:

老版Mysql的JDBC驱动中对批量更新executeBatch仍是以逐条方式进行的,这一点有网友捕捉通讯报文得以证实。虽然已经使用了预编译语句,仍会与Mysql产生200次通讯交互,由于该移动服务器不在本省,ping之有30多毫秒的延迟,200X30就是将近6秒的时间,当然如此计算并不科学,但仍能反映出问题所在。

所以结论就是200条更新的时间花费在通讯开销上。

若要解决问题需使用Mysql的JDBC驱动mysql-connector-java-5.1.13以上,此时可在连接URL中加入rewriteBatchedStatements=true 来使其缓冲后批量更新以提高性能。从网友的测试结果上来看性能提高将近10倍以上。Mysql库本身在3.1.13以上支持此参数。

悲剧的是,之前自己的测试证实Mysql 4.0.20是不支持5甚至4以上版本的JDBC驱动的(官方文档中也有注明)。本人使用的是3.1.14版驱动,加入以上参数后,并未报错,然而性能未有任何提高。

Mas升级mysql版本可能性不大,那么将程序放在Mas库所在机器上倒可以解决问题。

原创文章,作者:苏葳,如需转载,请注明出处:https://www.swmemo.com/321.html

发表评论

您的电子邮箱地址不会被公开。