2021年10月15日
大数据Spark实时处理--数据采集1（构建日志服务器）
摘要： 数据产生和上报流程 1）客户端定时采集 >数据加密 >数据传至日志服务器上 >数据解密 >日志落地磁盘 2）可以考虑数据压缩 基于IDEA+Maven构建多Module本地开发环境 1）多Module带来的好处：GitHub - apache/spark: Apache Spark - A unif 阅读全文
posted @ 2021-10-15 17:55 酱汁怪兽 阅读(386) 评论(0) 推荐(0)
大数据Spark实时处理--环境搭建
摘要： OOTB 1）虚拟机存储地址：D:\Spark\hadoop000\hadoop000。更名为spark000 2）通过虚拟机左上角的文件，打开 hadoop000 文件中的 hadoop000.vmx 3）点击 开启此虚拟机 4）跳出的弹框，点击 我已复制该虚拟机 5）配置虚拟机联通网络 [had 阅读全文
posted @ 2021-10-15 16:08 酱汁怪兽 阅读(148) 评论(0) 推荐(0)