随笔分类 -  大数据

storm热力图项目（数据展示）
摘要：1.项目源码 https://github.com/SMJJ/Storm_Map 2.项目流程 django-admin startproject Storm_map python manage.py startapp map urls.py views.py templates 阅读全文
posted @ 2020-03-17 19:42 liaomj 阅读(221) 评论(0) 推荐(0)
storm热力图项目（数据获取）
摘要：1.安装启动zookeeper /home/hadoop/app/zookeeper-3.4.5-cdh5.7.0/conf/zoo.cfg bin/zkServer start 2.安装启动logstash /home/hadoop/app/logstash-2.4.1/project.conf 阅读全文
posted @ 2020-03-16 14:18 liaomj 阅读(255) 评论(0) 推荐(0)
Strom概述及部署
摘要：一、Storm基础 1.基于Storm的应用电商 实时推荐电信 诈骗电话2.核心概念 Topologies 拓扑，将整个流程串起来，由spout和bolt组成 Streams 数据流，抽象概念，没有边界的tuple构成 Spouts 数据源，Topology的消息生产者 Bolts 处理数据，可以做 阅读全文
posted @ 2020-03-05 19:43 liaomj 阅读(474) 评论(0) 推荐(0)
Kafka概述与部署
摘要：http://kafka.apache.org/intro 1.Kafka概述 和消息系统类似 消息中间件：流水线中的缓冲区 可进行集群部署 2.Kafka架构 producer:生产者 consumer:消费者 broker:缓存区 topic:给产品打标签，分配给指定的consumer 3.Ka 阅读全文
posted @ 2020-03-04 23:09 liaomj 阅读(180) 评论(0) 推荐(0)
环境准备（阿里云）
摘要：1.购买阿里云ESC服务器 2.配置实例 修改密码 —— 重启实例 3.基础配置 基于SecureCRTPortable.exe进行远程操作 1.新建账号密码 useradd liaomj passwd liaomj 在/etc/sudoers中添加 liaomj ALL=(ALL) ALL 2.配 阅读全文
posted @ 2020-03-04 19:49 liaomj 阅读(138) 评论(0) 推荐(0)