05 2021 档案
摘要:背景:由于业务需求,数据需要每天从mysql >hive同步,考虑到资源占用情况,暂定凌晨业务空闲时执行定时任务 方法:1>通过sqoop创建增量写入数据的job,每晚定时执行【pass掉了,因为hive中数据文件格式为压缩snappy类型,presto连接后查询报错】 2>通过kettle先查讯h
阅读全文
摘要:kettle连接hive源报错: 错误连接数据库 [hive_hdp] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to the database Er
阅读全文
摘要:问题:内网服务器没法调用钉钉机器人接口 解决思路:找一个代理服务器,通过外网服务器转发内网服务器的请求 解决方法:利用squid的正向代理功能,将内网请求通过外网转发出去 1、在外网服务器安装: yum -y install squid 配置文件: /etc/squid/squid.conf 启动方
阅读全文

浙公网安备 33010602011771号