Live2D 看板娘 / Demo

SQLLDR简介 和 Oracle插入大量数据

SQLLDR简介

一、简介

SQLLOADER是ORACLE的数据加载工具,通常用来将操作系统文件(数据)迁移到ORACLE数据库中。SQLLOADER是大型数据仓库选择使用的加载方法,因为它提供了最快速的途径(DIRECT,PARALLEL)。

二、参数

2.1 语法

用法: SQLLDR keyword=value [,keyword=value,...]

2.2 参数

Keyword 默认值 描述
userid ORACLE 用户名/口令
control 控制文件名
log 日志文件名
bad 错误文件名
data 数据文件名
discard 废弃文件名
discardmax 全部 允许废弃的文件的数目
skip 0 要跳过的逻辑记录的数目
load 全部 要加载的逻辑记录的数目
errors 50 允许的错误的数目
rows 常规路径 64, 所有直接路径 常规路径绑定数组中或直接路径保存数据间的行数
bindsize 256000 常规路径绑定数组的大小 (以字节计)
silent 运行过程中隐藏消息 (标题,反馈,错误,废弃,分区)
direct FALSE 使用直接路径
parfile FALSE 执行并行加载
file 要从以下对象中分配区的文件
skip_unusable_indexes FALSE 不允许/允许使用无用的索引或索引分区
skip_index_maintenance FALSE 没有维护索引, 将受到影响的索引标记为无用
commit_discontinued FALSE 提交加载中断时已加载的行
readsize 1048576 读取缓冲区的大小
external_table NOT_USED 使用外部表进行加载; NOT_USED, GENERATE_ONLY, EXECUTE
columnarrayrows 5000 直接路径列数组的行数
streamsize 256000 直接路径流缓冲区的大小 (以字节计)
multithreading 在直接路径中使用多线程
resumable FALSE 启用或禁用当前的可恢复会话
resumable_name 有助于标识可恢复语句的文本字符串
resumable_timeout 7200 RESUMABLE 的等待时间 (以秒计)
date_cache 1000 日期转换高速缓存的大小 (以条目计)
no_index_errors FALSE 出现任何索引错误时中止加载

三、案例

以Oracle为例,导入20万条数据

3.1 在数据库中创建测试表

CREATE TABLE TEST001 (
"ID" NUMBER generated always as identity,
"NAME" VARCHAR2(255) NULL ,
"AGE" NUMBER NULL 
)
NOCOMPRESS
;

3.2 数据格式(.txt)

格式如下:

小明,10
小红,12
小蓝,16
小绿,18

3.3 编写自动入库脚本.ctl

--编写 insert.ctl 文件
load data
characterset utf8 -- 表的储存格式
INFILE 'D:/sql/txbh.txt' -- 数据文本路径
Append into table TEST001 -- 表名
fields terminated by "," -- 以,分割字段
(
    NAME,AGE -- 插入的字段
)
  • 开始时的文件

3.4开始执行脚本

  • 执行脚本语句
    sqlldr 用户名/密码@数据库实例名/SID control=脚本名
    如下信息参考:

  • 注意cmd的路径

  • 开始插入

  • 插入完成20w

数据库表中确实插入20w条

插入结束后的文件

多了一个日志文件
查看日志文件

20w条数据只用了1:31.79是不是很快!!!

3.5 遇到报错

上面执行有问题会出现一个bat文件
里面时有问题的数据

  • 可以根据log日志对数据进行修改
posted @ 2023-06-09 15:48  土豆煮石头  阅读(45)  评论(0编辑  收藏  举报