2019年6月13日

pgloader 学习(八) pg 2 pg 简单demo

摘要: pg 数据到pg 数据的迁移,同时支持名称的变更 环境准备 docker-compose文件 内容偏多可以忽略部分 version: "3" services: pgloader-csv: image: dimitri/pgloader volumes: - "./init-db:/opt/db" 阅读全文

posted @ 2019-06-13 21:11 荣锋亮 阅读(966) 评论(0) 推荐(0)

pgloader 学习(七) 从归档文件加载数据

摘要: 我们可以直接从zip,tar,gzip 文件获取内容 command file 参考格式 LOAD ARCHIVE FROM /Users/dim/Downloads/GeoLiteCity-latest.zip INTO postgresql:///ip4r ​ BEFORE LOAD DO $$ 阅读全文

posted @ 2019-06-13 20:31 荣锋亮 阅读(484) 评论(0) 推荐(0)

pgloader 学习(六) 加载csv 数据

摘要: 关于加载的配置参数都是使用comand file command file 参考格式 LOAD CSV FROM 'GeoLiteCity-Blocks.csv' WITH ENCODING iso-646-us HAVING FIELDS ( startIpNum, endIpNum, locId 阅读全文

posted @ 2019-06-13 20:17 荣锋亮 阅读(906) 评论(0) 推荐(0)

pgloader 学习(五)pgloader 参考手册

摘要: pgloader将各种来源的数据加载到PostgreSQL中。它可以转换动态读取的数据,并在加载前后提交原始SQL。 它使用COPY PostgreSQL协议将数据流式传输到服务器,并通过填充一对reject.dat和reject.log文件来管理错误 pgloader 的操作,可以使用命令行参数, 阅读全文

posted @ 2019-06-13 14:48 荣锋亮 阅读(4620) 评论(0) 推荐(0)

pgloader 学习(四)一些简单操作例子

摘要: 上边已经说明了pgloader 的基本使用(篇理论),但是对于实际操作偏少,以下是一个简单的操作 不像官方文档那样,我为了方便,直接使用docker-compose 运行,同时这个环境,会在后边大部分场景使用,同时 对于pgloader 的dsl暂时不会仔细说明,后边会有介绍 环境准备 docker 阅读全文

posted @ 2019-06-13 11:13 荣锋亮 阅读(1810) 评论(0) 推荐(0)

pgloader 学习(三)快速使用

摘要: pgloader 支持多种数据源数据的加载,以下列出简单的操作命令,后边会有详细的使用说明 csv 格式内容加载 预备说明 需要先在pg 数据库创建表 create table districts_longlat ( usps text, geoid text, aland bigint, awat 阅读全文

posted @ 2019-06-13 09:44 荣锋亮 阅读(1313) 评论(0) 推荐(0)

pgloader 学习(二)特性矩阵&&命令行

摘要: pgloader 对于各种数据库支持的还是很完整的,同时有一套自己的dsl 特性矩阵 操作命令 命令格式 pgloader [<options>] [<command-file>]... pgloader [<options>] SOURCE TARGET pgloader [<options>] 阅读全文

posted @ 2019-06-13 09:24 荣锋亮 阅读(575) 评论(0) 推荐(0)

pgloader 学习(一)支持的特性

摘要: pgloader 是一个不错的多种格式数据同步到pg 的工具,pgloader 使用postrgresql 的copy 协议进行高效的数据同步处理 特性 加载文件到内容pg 多种数据源格式的支持 csv、fixed 列、dbase、sqlte、ibm ixf、postgresql、mysql、sql 阅读全文

posted @ 2019-06-13 09:19 荣锋亮 阅读(669) 评论(0) 推荐(0)

导航