首先想到，一句一句的插入，大数据量处理时间好长，忽略。
其次想到，多线程插入，想到数据库连接是需要同步的所以感觉用处不大。
最后想到，使用 preparedstatement 预编译sql 进行批量插入 batch 处理。
好吧，现在就进行批处理插入测试。
1、使用简单的 batch
public static void main(string[] args) { connection conn = getconn(lsqlurl, luser, lpassword); long starttime = system.currenttimemillis(); try { preparedstatement pst = conn.preparestatement(insert into testmy (id,name,age) values (?,?,?)); for (int i = 0; i 2000.....); } catch (sqlexception e) { e.printstacktrace(); }finally { if(conn!=null) { try { conn.close(); } catch (sqlexception e) { e.printstacktrace(); } } } }
你会发现时间会是30s 左右。
2k行的数据插入就30秒 。
2w行数据插入时间为940秒（约16min）。
2、修改自动提交的 batch
public static void main(string[] args) { connection conn = getconn(lsqlurl, luser, lpassword); long starttime = system.nanotime(); try { conn.setautocommit(false); preparedstatement pst = conn.preparestatement(insert into test (id,name,age) values (?,?,?)); for (int i = 0; i 2000.....); } catch (sqlexception e) { try { conn.rollback(); } catch (sqlexception e1) { e1.printstacktrace(); } e.printstacktrace(); }finally { if(conn!=null) { try { conn.close(); } catch (sqlexception e) { e.printstacktrace(); } } } }
2k行插入耗时大概是260ms。
2w行数据插入大概是1.4s。
其实结果很明显的。
因为在使用batch时数据量达到一定的值后数据库会自动提交。而不是你执行executebatch时再执行。所以我们需要修改自动提交变成手动提交。
这里还有一个问题是：当你实在执行事务时，一旦出错的时候，自动提交会帮你rollback，手动提交时就应该自己进行回退。
所以在catch里需要添加 rollback 。
好了，综上我们可以使用自动提交的batch进行大量数据的插入。