随笔分类 -  spark

DStreaming练习
摘要：DStream接收socket数据统计 安装并启动生产者 #在linux系统上安装nc工具，利用它向某个端口发送数据 yum -y install nc #执行发送数据命令 nc -lk port 执行streaming依赖 <dependency> <groupId>org.apache.spar 阅读全文
posted @ 2020-04-30 18:28 牛皮糖比 阅读(194) 评论(0) 推荐(0)
sparkStreaming架构讲解
摘要： 阅读全文
posted @ 2020-04-30 18:04 牛皮糖比 阅读(125) 评论(0) 推荐(0)
flume集成配置和练习
摘要：一、练习目标 1.Flume.监控/tmp/logs/update.log文件 2.创建日志生成的脚本，写入/tmp/logs/update.log。 3.Flume捕获数据 4.将捕获的数据，推送到消息队列kafka 5.在Kafka模拟数据消费 二、流程 1.解压并安装flume tar -zx 阅读全文
posted @ 2020-04-29 12:23 牛皮糖比 阅读(254) 评论(0) 推荐(0)
kafka安装流程和测试
摘要：1.上传文件到3台服务器 下载路径：http://kafka.apache.org/downloads 2.添加环境变量 vi /etc/profileKAFKA_HOME=/opt/software/kafka_2.11-0.10.1.0PATH=$PATH:$KAFKA_HOME/binsour 阅读全文
posted @ 2020-04-28 19:24 牛皮糖比 阅读(285) 评论(0) 推荐(0)
spark分析点击流日志数据
摘要：日志数据样式 101.226.167.227 - - [18/Sep/2013:19:49:10 +0000] "GET /29171365/ HTTP/1.1" 302 161 "http://www.leonarding.com/29171365/" "Mozilla/4.0 (compatib 阅读全文
posted @ 2020-04-23 17:38 牛皮糖比 阅读(287) 评论(0) 推荐(0)