在平时的工作中,有时候需要insert一批数据,这些数据可能是临时表,外部表,普通表,子查询等形式,类似下面的格式
insert into xxxx (select xxxxx from xxx where xxxxx);
如果其中有冗余数据的时候,,整个insert会自动rollback,一条数据也插不进去,错误类似下面的形式。
insert /*+ append */into mo1_memo select *from mo1_memo_ext_92;
*
error at line 1:
ora-00001: unique constraint (mig_test.mo1_memo_pk) violated
可能我们想保证正常数据能够插入,对于违反约束等的数据稍后处理,这个是用错误日志就是一个很好的选择。
首先就是创建错误日志,可以使用提供的包来创建,也可以手动创建。
这里我需要用到表含有lob字段,创建错误日志的时候有下面的错误。
exec dbms_errlog.create_error_log(dml_table_name => 'mo1_memo')
begin dbms_errlog.create_error_log(dml_table_name => 'mo1_memo'); end;
error at line 1:
ora-20069: unsupported column type(s) found: memo_system_text_c
ora-06512: at sys.dbms_errlog, line 235
ora-06512: at line 1
不过想想也是合理的。不过问题还是要解决的。
可以看看创建错误日志的包,oracle已经考虑到了,我们可以忽略这种不支持的类型,当然还可以指定错误日志的名字。
sql> desc dbms_errlog
procedure create_error_log
argument name type in/out default?
------------------------------ ----------------------- ------ --------
dml_table_name varchar2 in
err_log_table_name varchar2 in default
err_log_table_owner varchar2 in default
err_log_table_space varchar2 in default
skip_unsupported boolean in default
我们创建错误日志
sql> exec dbms_errlog.create_error_log(dml_table_name => 'mo1_memo',skip_unsupported=>true,err_log_table_name=>'mo1_memo_error');
pl/sql procedure successfully completed.
elapsed: 00:00:00.03
尝试插入有冗余的数据,
sql> insert /*+ append */into mo1_memo select *from mo1_memo_ext_92 log errors into mo1_memo_error('test_unique') reject limit unlimited
2 /
insert /*+ append */into mo1_memo select *from mo1_memo_ext_92 log errors into mo1_memo_error('test_unique') reject limit unlimited
*
error at line 1:
ora-00001: unique constraint (mig_test.mo1_memo_pk) violated
elapsed: 00:00:17.32
直接抛了错误,看来错误日志没有正确启用。
查看错误日志,里面也是空的。
sql> select *from mo1_memo_error; --no rows
反复尝试,最后发现是hint的原因,去掉hint 就没有问题了。
sql> insert into mo1_memo select *from mo1_memo_ext_92 log errors into mo1_memo_error('test_unique') reject limit unlimited;
99 rows created.
elapsed: 00:04:04.83
1* select count(*)from mo1_memo_error
sql> /
count(*)
----------
907544
错误日志里面有详细的数据信息。但是如果足够细心查看执行时间的话,就会发现如果不使用append,性能就会差很多。
下面是一个简单的测试,
如果不使用append的时候,插入80万左右的数据在1分钟左右,如果使用了append就只需要大概13秒左右。
还有上面的测试结果,如果80万记录中99%左右的数据有冗余,插入错误日志就需要大概4分钟的样子
sql> insert into mo1_memo select * from mo1_memo_ext_99 log errors into mo1_memo_error reject limit unlimited;
877245 rows created.
elapsed: 00:01:12.91
sql> insert into mo1_memo select * from mo1_memo_ext_98;
753637 rows created.
elapsed: 00:01:04.75
sql> rollback;
rollback complete.
elapsed: 00:00:56.35
sql> insert /*+append*/ into mo1_memo select *from mo1_memo_ext_98;
753637 rows created.
elapsed: 00:00:13.20
所以启用错误日志可以根据大家的需求来选择,有利有弊。
oracle- insert性能优化
oracle数据库中无法对数据表进行insert和update操作解决
oracle数据库中无法对数据表进行insert和update操作解决
oracle insert的扩展
oracle的多表insert操作
本文永久更新链接地址:
