园狐 - 博客园

2020年8月3日

摘要： [资料】（https://github.com/jast90/awesome-learning/issues/1）） Hbase 使用场景和成功案例 Hbase是一种数据库：Hadoop分布式数据库 HBase 应用场景 -1、用户画像比如大型的视频网站，电商平台产生的用户点击行为、浏览行为等等存阅读全文

posted @ 2020-08-03 21:58 园狐阅读(1056) 评论(0) 推荐(0)

kafka搭建与应用案例

摘要：应用场景缓冲作用！！！ # 队列Queue 一种特殊的线性表（数据元素首尾相接），特殊之处在于只允许在首部删除元素和在尾部追加元素（FIFO）。入队、出队。 # 消息队列MQ 消息+队列，保存消息的队列。消息的传输过程中的容器；主要提供生产、消费接口供外部调用做数据的存储和获取。集群搭建-kaf 阅读全文

posted @ 2020-08-03 10:36 园狐阅读(1003) 评论(0) 推荐(0)

2020年8月2日

Sqoop 数据迁移

摘要： Sqoop 基本概念 Apache Sqoop是一个性能高、易用、灵活的数据导入导出工具，在关系型数据库与Hadoop之间搭建了一个桥梁。 # 应用场景需要将HDFS或Hive上的数据导出到传统关系型数据库中（如MySQL、Oracle等），或者将传统关系型数据库中的数据导入到HDFS或Hive上阅读全文

posted @ 2020-08-02 17:27 园狐阅读(766) 评论(0) 推荐(0)

淘宝双11数据分析与预测

摘要： | https://www.jianshu.com/p/87402c807278 http://sqoop.apache.org/ 阅读全文

posted @ 2020-08-02 16:45 园狐阅读(510) 评论(0) 推荐(0)

数据分析实战项目（一）

摘要：淘宝用户行为分析数据分析实战.三项目背景和数据通过此项目学习电商数据分析的指标与数据分析的基本方法。数据来源阿里云天池数据库数据描述数据集介绍文件名称说明包含特征 UserBehavior.csv 包含所有的用户行为数据用户ID，商品ID，商品类目ID，行为类型，时间戳 Use 阅读全文

posted @ 2020-08-02 13:19 园狐阅读(878) 评论(0) 推荐(0)

2020年7月28日

CDH 安装与部署

摘要：组件版本 jdk-8u261-linux-x64 centOS 7.6 Cloudera Manager: 6.2.1 CDH: 6.2.1 Hadoop:3.0.0-cdh6.2.1 HBase:2.1.0-cdh6.2.1 Hive:2.1.1-cdh6.2.1 Kafka:2.1.1-cdh6 阅读全文

posted @ 2020-07-28 22:45 园狐阅读(4104) 评论(3) 推荐(1)

Apache Hadoop集群搭建

摘要：集群Linux环境搭建组件版本 centOS 7.6 jdk 1.8 zookeeper 3.4.9 Hadoop 2.7.5 mysql 驱动 mysql-connector-java-5.1.38.jar hive 2.1.1 sqoop kafka2.11 Hbase1.4.9 Sqoop1 阅读全文

posted @ 2020-07-28 22:05 园狐阅读(407) 评论(0) 推荐(0)

大数据架构与技术选型

摘要：大数据架构源数据层(原始数据存储位置) sdk日志埋点日志文件：爬虫日志、业务日志关系型数据库：mysql,oracle等数据采集层(抽取源数据至数据存储层) 离线：flume、Sqoop、Nifi 实时：filebeat、nginx+lua 补充：当数据量达到5亿左右的时候，filebea 阅读全文

posted @ 2020-07-28 17:48 园狐阅读(939) 评论(0) 推荐(0)

项目落实方案选择思考（KUDU）

摘要： Kudu 的应用场景是什么? 设计一个项目，分析其特点，设计方案，选取最佳处理方案需求：做一个类似物联网的项目, 可能是对某个工厂的生产数据进行分析项目特点 1. 数据量大 - 有一个非常重大的挑战, 就是这些设备可能很多, 其所产生的事件记录可能也很大, 所以需要对设备进行数据收集和分析的话, 阅读全文

posted @ 2020-07-28 16:28 园狐阅读(413) 评论(0) 推荐(0)

JAVA 高级篇

摘要：集群搭建及工具使用身为大数据开发工程师，对数据从采集、接入、流处理、批处理到数据存储、数据分析和数据可视化等一整套流程都要了解，包括的组件非常多。做数据流处理需要掌握spark、flink、storm、kafka stream等。做批处理需要掌握hadoop、hive等，数据存储需要掌握hdf 阅读全文

posted @ 2020-07-28 11:15 园狐阅读(411) 评论(0) 推荐(0)

园狐

谋定而后动，知止而有得。

公告