Bingmous

Scala学习笔记（详细）

摘要：第2章变量 val，var，声明变量必须初始化；变量类型确定后不可更改数据类型：与java有相同的数据类型，在scala中数据类型都是对象特殊类型：Unit：表示无值，只有一个实例值写出()，相当于void；Null：null；Nothing：null（表示... 阅读全文

posted @ 2020-08-13 10:16 Bingmous 阅读(68) 评论(0) 推荐(0)

Hadoop配置文件汇总

摘要：（一）基本集群配置共8个配置文件 hadoop-env.shyarn-env.shmapred-env.shcore-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlslavesssh免密登录修改JAVA_H... 阅读全文

posted @ 2020-08-02 08:55 Bingmous 阅读(340) 评论(0) 推荐(0)

HBase学习笔记

摘要：第1章 HBase 简介 HBase定义：HBase 是一种分布式、可扩展、支持海量数据存储的NoSQL 数据库。 HBase 数据模型逻辑上是一张表，底层物理存储是kv HBase 逻辑结构：row_key（逻辑上一行的key），列族（column fam... 阅读全文

posted @ 2020-07-29 13:54 Bingmous 阅读(44) 评论(0) 推荐(0)

Kafka学习笔记（整理）

摘要： [TOC] # Kafka概述 - 定义：分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。 - 消息队列的好处： - 解耦：允许独立的扩展或修改数据生产者消费者，只需要确保同样的接口约束。 - 可恢复性：一部分组件失效，不会影响整个系统。消息队列降低进程间的耦合度，即使一个处理消阅读全文

posted @ 2020-07-25 23:51 Bingmous 阅读(84) 评论(0) 推荐(0)

Flume学习笔记

摘要：第1章 Flume概述 Flume 是Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单基础架构 Agent是一个 JVM 进程，它以事件的形式将数据从源头送至目的。主要有三部分组成：... 阅读全文

posted @ 2020-07-23 23:04 Bingmous 阅读(68) 评论(0) 推荐(0)

Hive学习笔记

摘要：第1章 Hive基本概念 Hive是基于Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL 查询功能Hive架构原理：解析器、编译器、优化器、执行器，HDFS存储，MR运算，元数据存在关系型数据库中Hive与关系型数据库的比较... 阅读全文

posted @ 2020-07-21 15:30 Bingmous 阅读(116) 评论(0) 推荐(0)

Hadoop - HA学习笔记

摘要： Hadoop HA概述工作要点通过双NameNode消除单点故障元数据管理方式需要改变：内存中各自保存一份元数据；Edits 日志只有 Active 状态的NameNode节点可以做写操作；两个 NameNode都可以读取 Edits；共享的Edits放在... 阅读全文

posted @ 2020-07-17 19:49 Bingmous 阅读(101) 评论(0) 推荐(0)

Zookeeper学习笔记（整理）

摘要：第1章 ZooKeeper入门 Zookeeper 是一个开源的分布式的，为分布式应用提供协调服务的Apache 项目。ZooKeeper=文件系统+通知机制第2章 ZooKeeper安装安装jdk解压ZooKeeper配置修改：修改/opt/module/zookeeper-3.4.10/c 阅读全文

posted @ 2020-07-16 10:47 Bingmous 阅读(61) 评论(0) 推荐(0)

vmware启动后虚拟机无法联网

摘要：搜索services.msc打开服务确认VMware NAT service和VMware DHCP service服务处于启动状态；开启自动启动，下次就会自动联网了。 VMware Authorization Service服务也设置自动开启，可以使VMw... 阅读全文

posted @ 2020-07-15 14:21 Bingmous 阅读(33) 评论(0) 推荐(0)

Hadoop - MapReduce学习笔记（详细）

摘要：第1章 MapReduce概述定义：是一个分布式运算程序的编程框架优缺点：易于编程、良好的扩展性、高容错性、适合PB级以上数据的离线处理核心思想：MapReduce 编程模型只能包含一个Map 阶段和一个Reduce 阶段MapReduce进程：MrAppM... 阅读全文

posted @ 2020-07-15 10:00 Bingmous 阅读(138) 评论(0) 推荐(0)

导航

公告