大批量数据导入数据库,dbf导入oracle,csv导入oracle

一、小批量数据处理:

方法一:用excel可以直接打开dbf或csv文件,数据库表forupdate,直接把excel表中想要的列值直接复制到pl/sql中相对应字段。

方法二:若是dbf文件可用dbfplus工具转换成csv文件,打开pl/sql中的工具>文本导入器,在‘到Oracle的数据’中选择到导入哪个用户下的哪个表,点击左上角‘打开’你已经准备好csv文件,这个动作一般要再重复一次,左侧就是csv’字段’,右侧是导入表的字段和数据类型,选择要导入的对应字段,点‘导入’就可以了。(小批量数据和大批量数据都可以用这个方法,可参考%40126/blog/static/121592632010811267359/)

二、超过excel最大行数据:

我在用上面的方法二处理400万左右的数据时,,出现了多次卡死现象,用了一天时间才解决。方法如下:

1.准备好compare.csv,放在e:\Data\下,并在该路径下新建一个compare.ctl控制文件、comparecompare.dis是丢弃的行。

2.重点:编辑compare.ctl文件

OPTIONS(BINDSIZE=8388608,READSIZE=8388608,ERRORS=-1,ROWS=50000)

LOADDATA

INFILE’e:\Data\compare.csv’

BADFILEe:\Data\compare.bad’

DISCARDFILE’e:\Data\compare.dis’

APPEND

INTOTABLEcc_compare

FIELDSTERMINATEDBY’,’

(

com01,

com02,

com03,

com04,

com05,

com06,

com07,

com08)

注意,数据库中的cc_compare表与compare.csv列是对应的;另外如果com08列有哪个值是空的,该行整条数据都导不进去了,可以不导或新加个值都不为空的列。

(注:rows控制每500000行commit一次,errors控制当有多少行导入出现错误时就停止导入,-1是不管多少行错都不停止)

3.打开cmd执行命令。

C:\&;sqlldr username/password@oraclecontrol=e:/Data/compare.ctllog=e:/Data/compare.log

OK!成功!看看你的e:\Data\下吧!

这些我都在用,这些方法不管多大的数据都可以用。

不然你大概会一直好奇和不甘吧——

大批量数据导入数据库,dbf导入oracle,csv导入oracle

相关文章:

你感兴趣的文章:

标签云: