利用kettle工具,大批量地把 里面保存有股票代码的文本文件 自动传送到Oracle表里保存

利用kettle工具,大批量(可以上百上千个文本文件)地把 里面保存有股票代码的文本文件 自动传送到数据库Oracle表里保存。

注意:每天一万条数据,不需要一条条地手工插入,节省大量的人工成本。

 

以下为思路提供,因为涉及商业秘密,所以不能完全公开具体的操作方法,只能提供大概思路,仅供参考,不构成任何买卖依据。

一、先从某APP 下载数据,以文本文件格式保存到本地盘。(至于如何下载,这个暂时不公开方法。)

 

二、1.txt文件内容的格式,对应某一个热门板块,以方便后面用kettle ETL工具导入数据库里。

 

三、以下图是kettle的transformation数据加工流向。

 

 

 

 

 

 

四、需要建立一个参数表NAME_PLATE_PARAMETER。 

 

 

五、建立job7、job8, 把生成的所有transformation弄到这个作业里面。由于个人电脑硬件配置一般,所以分成2个作业自动跑。

 

 

六、按下图设置作业自动运行的时间,时间一到,作业会自动运行(比如凌晨2点),不需要人工干预。

 

 

七、以下为查询 2023年10月30日下午收盘后 的 热门ge gu。

 

posted @ 2023-11-06 21:00  Thomas2023  阅读(28)  评论(0编辑  收藏  举报