01 2019 档案

摘要：申明：闲暇学习阮一峰老师的博客(http://www.ruanyifeng.com/blog/2018/06/ddos.html)，所以想做简单的总结，方便以后查看。 HTTP 请求的特征一般有两种：IP 地址和 User Agent 字段。比如，恶意请求都是从某个 IP 段发出的，那么把这个 IP 阅读全文

摘要：申明：闲暇学习阮一峰大佬的博客(http://www.ruanyifeng.com/blog/2018/08/svg.html)，所以想做简单的总结，方便以后查看。 SVG 是一种基于 XML 语法的图像格式，全称是可缩放矢量图（Scalable Vector Graphics）。其他图像格式都是基 阅读全文

摘要：Kafka消息系统kafka是什么： 分布式MQ系统，每秒可以生产约25万消息，每秒处理55万消息 设计目标：分布式，基于发布订阅的消息系统以时间复杂度为o（1）的方式提供消息持久化能力高吞吐率 支持消息分区，分布式消费支持离线数据处理和实时数据处理支持在线水平扩展 特点：高性能 持久：直接持久化到 阅读全文

摘要：1.解压tar -zxvf 2.软连接 ln -s .... 3.修改配置文件： hbase-site.xml如果用户需要增加HDFS的特定配置就要添加到hdfs-site.xml文件中，同样在hbase中，用户需要增加配置信息，就要将配置添加到conf/hbase-site.xml 进程启动后，服 阅读全文

摘要：HBase简介：分布式数据库是构建在HDFS上的分布式列存储数据库（Mysql，Oracle是行数据库），是一个高可靠性，高性能，面向列。可伸缩的分布式存储系统 列式存储允许用户存储海量的数据到相同表中，而在传统数据库中，海量数据需要被切分为多个表进行存储行键 不宜过长，否则会占用大量的存储空间降低 阅读全文

摘要：Eclipse项目打包1.export2.通过maven打包，切入到项目目录下执行命令mvn clean package Mapreduce提交YARN集群运行 将jar包传到hadoop目录下运行格式：bin/hadoop jar jar包名 包名（代码的包名）.类名 +参数（输入路径输出路径）就 阅读全文

摘要：概述： 2.MapReduce编程模型 阅读全文

摘要：YARN 概述：是hadoop2.x版本引入的资源管理系统直接从MR1演化而来新的hadoop资源管理器，通用的资源管理器可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率，资源统一管理和数据共享等方面带来了巨大的好处核心思想：将MapReduce1中的JobTracker的资源管理和作业 阅读全文

摘要：HDFS安装1.下载Hadoop安装包hadoop-2.6.0-cdh5.10.0.tar.gz上传至app目录解压软连接2.修改配置文件vi hdfs-site.xml vi hdfs-site.xml vi core-site.xml vi slaves vi hadoop-env.sh 3.测 阅读全文

摘要：HDFS结构 概述：是Hadoop项目的核心子项目。是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上 pc server高容错性 ：自动保存多个副本来增加容错性 如果某一个副本丢失，HDFS机制会复制其他机器上的副本，透明实现 支持超大 阅读全文

摘要：1.单机(非分布式)模式 这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。 2.伪分布式运行模式 这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,S 阅读全文

摘要：Zookeeper概述： 分布式应用 协调服务 分布式锁服务 配置维护 组服务 分布式消息队列 分布式通知封装好容易出错的关键服务 最终一致性：无论连接到哪个server，展示给的都是一个serer实时性 不能保证两个客户端能同时得到刚更新的数据，如果需要最新数据，应该在读数据前调用sync接口等待 阅读全文

摘要：主要是用来在启动或者停止的时候需要主节点通过ssh协议将从节点上面的进程启动或者停止，也就是说如果不配置ssh，需要在启动和停止hadoop的时候需要输入每个从节点的用户名和密码，但规模比较大的时候比较麻烦 创建目录 mkdir .sshls -a 可以查看已经创建的生成密钥输入命令 ssh-key 阅读全文

摘要：在实际应用中，由于我们使用的是DHCP服务器来分配的地址(虚拟机），那么每次重启DHCP服务器ip地址有可能会变动的，而使用linux来搭建群学习hadoop是希望ip固定不变的，因为很多地方会涉及到ip地址的配置，如果ip地址变化会涉及到很多相关地方的修改，所以需要配置静态ip 修改网卡信息 vi 阅读全文

摘要：克隆的话很简单，直接在主机关机的情况下右键管理克隆即可！ 主要是在克隆完之后对新的系统网卡信息进行修改： su 进入root （如果当前用户还没有加入到sudoers文件） vi /etc/udev/rules.d/70-persistent-net.rules 进入网卡信息文件 将eth0的网卡信 阅读全文

摘要：关于最后的网络选择模式： NAT模式：让虚拟机借助NAT功能，通过Host机器所在的网络来访问外网。 最大的优点是接入网络特别简单。 桥接模式：虚拟机和物理网卡应该在同一ip段内，虚拟机就像是局域网中的一台独立的主机，他可以访问局域网内的任何一台机器 仅主机模式：将虚拟机和外网隔开，使得虚拟机成为一 阅读全文

摘要：RGB颜色空间 加法混色空间 越叠加越白 一个像素的颜色值（b,g,r)范围：【0，255】 【0，1】CMYK颜色空间减法混色 越叠加越黑 4个维度来构成HSV颜色空间 色调，饱和度，明度可以和RGB相互转换CIE-XYZ颜色空间人眼睛对颜色的容忍度 灰度化：Gray=R*0.3+G*0.59+B 阅读全文