随笔分类 -  大数据

上一页 1 2 3 4 下一页
Hadoop大数据生态
MapReduce天气查询实列
摘要：MapReduce天气查询实列 天气统计案例 2000-01-01 16 29 2000-01-02 14 40 2000-01-03 23 35 2000-01-04 18 25 2000-01-05 14 33 2000-01-06 14 -4 ...... 2000-01-18 23 26 2 阅读全文
posted @ 2020-08-04 16:21 shaoyayu 阅读(255) 评论(0) 推荐(0)
MapReduce源码分析
摘要：MapReduce源码分析 Job waitForCompletion方法 public boolean waitForCompletion(boolean verbose ) throws IOException, InterruptedException, ClassNotFoundExcept 阅读全文
posted @ 2020-08-04 16:18 shaoyayu 阅读(248) 评论(0) 推荐(0)
MapReduce api实战
摘要：MapReduce api实战 配置pmx <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLS 阅读全文
posted @ 2020-08-04 16:16 shaoyayu 阅读(309) 评论(0) 推荐(0)
配置YARN高可用
摘要：配置YARN高可用 官方文档：https://hadoop.apache.org/docs/r2.7.5/ 1、Configure parameters as follows:etc/hadoop/mapred-site.xml: <configuration> <property> <name>m 阅读全文
posted @ 2020-08-04 16:14 shaoyayu 阅读(1247) 评论(0) 推荐(0)
Yarn 分布式资源调度
摘要：Yarn 分布式资源调度 MapReduce的不足 参考文章：https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ yarn体系结构 yarn(yet Another Resources Negotiation，另一种 阅读全文
posted @ 2020-08-04 16:11 shaoyayu 阅读(505) 评论(0) 推荐(0)
MapReduce 案例与概述
摘要：MapReduce 案例与概述 官方简介 Overview Hadoop MapReduce is a software framework for easily writing applications which process vast amounts of data (multi-terab 阅读全文
posted @ 2020-08-04 16:07 shaoyayu 阅读(227) 评论(0) 推荐(0)
HDFS 伪分布式集群搭建
摘要：伪分布式集群搭建 1、伪分布式搭建 1.1、先配置JDK环境 上传后解压JDK到/usr/java/ export JAVA_HOME=/usr/java/jdk1.8.0_221 export JRE_HOME=/usr/java/jdk1.8.0_221/jre export CLASSPATH 阅读全文
posted @ 2020-08-04 16:01 shaoyayu 阅读(227) 评论(0) 推荐(0)
Hadoop的HA高可用实验
摘要：Hadoop的HA高可用实验 1、免秘钥登录 集群之间做免秘钥登录 2、简介 目的 本指南概述了HDFS高可用性（HA）功能以及如何使用Quorum Journal Manager（QJM）功能配置和管理HA HDFS群集。 本文档假定读者对HDFS群集中的常规组件和节点类型有一般的了解。有关详细信 阅读全文
posted @ 2020-08-04 15:56 shaoyayu 阅读(604) 评论(0) 推荐(0)
Hadoop HDFS 集群的分布式搭建
摘要：Hadoop集群的HA 1、简介 HA模式解决单点故障问题， 2、规划 NN-1 NN-2 DN ZK ZKFC JNN Node1 * * * Node2 * * * * * Node3 * * * Node4 * * ZK: zookeeper ZKFC: failover controller 阅读全文
posted @ 2020-08-04 15:55 shaoyayu 阅读(185) 评论(0) 推荐(0)
Zookeeper分布式协调服务
摘要：Zookeeper分布式协调服务 1、简介 ​ zookeeper是一个分布式协调服务的框架，主要用来解决分布式集群中应用系统的一致性问题，例如如何避免同时操作导致数据脏读的问题等，Zookeeper本质上是一个分布式的小型文件存储系统，提供基于类似文件系统树方式的数据存储，并且可以对书中的节点进行 阅读全文
posted @ 2020-08-04 15:53 shaoyayu 阅读(568) 评论(0) 推荐(0)
HDFS 2.0 介绍
摘要：Hadoop版本 1、Hadoop1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题？ 2、HDFS存在的问题 NameNode单点故障，难于应用于在线场景 HA 【high availability 高可用】 NameNode压力过大，且内存受限，影响扩展性 F【Federatio 阅读全文
posted @ 2020-08-04 15:51 shaoyayu 阅读(557) 评论(0) 推荐(0)
HDFS 全分布式集群搭建
摘要：全分布式集群搭建 1、系统配置 1.1、时间 1.2、JDK 1.3、免秘钥登录 【我做的是节点之间免密登录，可以给主节点做单向的免秘钥登录】 【服务器时间必须统一】 【关闭防火墙，关闭安全机制】 这里我就不做过多的笔记，后面还有很多的配置等着，10几分钟左右的事情。 2、修改配置文件： 这是基于伪 阅读全文
posted @ 2020-08-04 15:48 shaoyayu 阅读(265) 评论(0) 推荐(0)
HDFS 伪分布式集群搭建
摘要：伪分布式集群搭建 1、伪分布式搭建 1.1、先配置JDK环境 上传后解压JDK到/usr/java/ export JAVA_HOME=/usr/java/jdk1.8.0_221 export JRE_HOME=/usr/java/jdk1.8.0_221/jre export CLASSPATH 阅读全文
posted @ 2020-08-04 15:45 shaoyayu 阅读(305) 评论(0) 推荐(0)
HDFS入门
摘要：HDFS入门 简介： 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。而一旦在系统中，引入网络，就不可避免地引入了所有网络编程的复杂性，例如挑战之一是如果保证在节点不可用的时候数据不丢失。 传统的网络文件系统（NFS）虽然也称为分布 阅读全文
posted @ 2020-08-04 15:35 shaoyayu 阅读(204) 评论(0) 推荐(0)
Hadoop-HDFS
摘要：Hadoop-HDFS 1、介绍 HDFS是Hadoop应用程序使用的主要分布式存储。HDFS群集主要由管理文件系统元数据的NameNode和存储实际数据的DataNode组成。《 HDFS体系结构指南》详细介绍了HDFS。本用户指南主要处理用户和管理员与HDFS群集的交互。HDFS体系结构图描述了 阅读全文
posted @ 2020-08-04 15:29 shaoyayu 阅读(135) 评论(0) 推荐(0)
Hadoop介绍
摘要：Hadoop介绍 什么是Apache Hadoop？ Apache™Hadoop®项目开发了用于可靠，可扩展的分布式计算的开源软件。 Apache Hadoop软件库是一个框架，该框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。它旨在从单个服务器扩展到数千台机器，每台机器都提供本地 阅读全文
posted @ 2020-08-04 15:27 shaoyayu 阅读(256) 评论(0) 推荐(0)
大数据-高并发Nginx
摘要：Nginx入门 简介： Nginx做为一个强大的Web服务器软件，具有高性能、高并发性和低内存占用的特点。此外，其也能够提供强大的反向代理功能。俄罗斯大约有超过20%的虚拟主机采用Nginx作为反向代理服务器,在国内也有腾讯、新浪、网易等多家网站在使用Nginx作为反向代理服务器。据Netcraft 阅读全文
posted @ 2020-08-04 15:23 shaoyayu 阅读(432) 评论(0) 推荐(0)
大数据-高并发LVS3Keepalived
摘要：Keepalived 简介 Keepalived的作用是检测服务器的状态，如果有一台web服务器宕机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器的工作，当服务器工作正常后Keepalived自动将服务器加入到服务器群中，这些工作全部自 阅读全文
posted @ 2020-08-04 15:11 shaoyayu 阅读(208) 评论(0) 推荐(0)
大数据-6Linux-shell编程
摘要：Shell编程-1 what>why>how学习方向 shell bash bash 解释器，启动器 用户的交互输入 文本文件输入 [root@MDNode01 shell]# ps -fe UID PID PPID C STIME TTY TIME CMD root 1 0 0 03:27 ? 0 阅读全文
posted @ 2020-07-12 21:32 shaoyayu 阅读(182) 评论(0) 推荐(0)
大数据-7Linux-shell编程-2
摘要：Linux的变量 作用域： 本地 局部 位置 特殊 环境 本地变量 当前的shell拥有 生命周期随shell name=gob [root@MDNode01 shell]# echo $$ 1091 [root@MDNode01 shell]# syy=123 [root@MDNode01 she 阅读全文
posted @ 2020-07-12 21:28 shaoyayu 阅读(122) 评论(0) 推荐(0)

上一页 1 2 3 4 下一页