2020年8月8日
2020-08-08：有一批气象观测站，现需要获取这些站点的观测数据，并存储到 Hive 中。但是气象局只提供了 api 查询，每次只能查询单个观测点。那么如果能够方便快速地获取到所有的观测点的数据？
摘要： 福哥答案2020-08-08： 参考答案：A.通过shell 或python 等调用api，结果先暂存本地，最后将本地文件上传到 Hive 中。B.通过 datax 的 httpReader 和 hdfsWriter 插件，从而获取所需的数据。C.比较理想的回答，是在计算引擎的 UDF 中调用查询 阅读全文
posted @ 2020-08-08 20:42 福大大架构师每日一题 阅读(170) 评论(0) 推荐(0)