2022年7月16日
0基础就可以上手的Spark脚本开发-for Java
摘要： 前言 最近由于工作需要，要分析大几百G的Nginx日志数据。之前也有过类似的需求，但那个时候数据量不多。一次只有几百兆，或者几个G。因为数据都在Hive里面，当时的做法是：把数据从Hive导到MySQL，然后写代码查询MySQL并处理。如果你的处理逻辑比较简单，或只是查询统计，不会涉及上游的服务调用 阅读全文
posted @ 2022-07-16 11:44 LingBrown 阅读(1223) 评论(2) 推荐(2) 编辑