项目正式——数据抽取模块
2023年11月7日21:43:44
数据抽取-业务需求_合并


搭建程序的框架


数据抽取是一个通用的模块

全量抽取根据字段 增量抽取根据序列器

数据抽取-实现全量抽取
数据抽取-实现增量抽取


需要在oracle创建全国气象站点参数表和气象观测数据表
在数据库维护一个保存最大字段的表,保存在自己的数据库当中,因为别人的数据库只允许查询、
从自己的数据库抽取解析xml然后就可以对照了
保存在不同的用户中
抽取数据/idcdata/dmining/dminingoracle_ZHOBTMIND_togxpt.keyid这里为什么不在数据库,骗我是吧..
打开文件失败 检查参数没有问题,只能是权限问题


chown -R hhh /home/hhh/dump 类似命令
数据抽取-应用的经验

第一个属于气象站点 第三个属于气象观测,小的全量,大的增量

删除该修改 修改该插入

浙公网安备 33010602011771号