2019 年 1月 28 日随笔档案 - 青衣怒马

HTTP请求的拦截

摘要：申明：闲暇学习阮一峰老师的博客(http://www.ruanyifeng.com/blog/2018/06/ddos.html)，所以想做简单的总结，方便以后查看。 HTTP 请求的特征一般有两种：IP 地址和 User Agent 字段。比如，恶意请求都是从某个 IP 段发出的，那么把这个 IP 阅读全文

posted @ 2019-01-28 19:00 青衣怒马阅读(908) 评论(0) 推荐(0)

SVG图像

摘要：申明：闲暇学习阮一峰大佬的博客(http://www.ruanyifeng.com/blog/2018/08/svg.html)，所以想做简单的总结，方便以后查看。 SVG 是一种基于 XML 语法的图像格式，全称是可缩放矢量图（Scalable Vector Graphics）。其他图像格式都是基阅读全文

posted @ 2019-01-28 18:22 青衣怒马阅读(263) 评论(0) 推荐(0)

Kafka

摘要： Kafka消息系统kafka是什么：分布式MQ系统，每秒可以生产约25万消息，每秒处理55万消息设计目标：分布式，基于发布订阅的消息系统以时间复杂度为o（1）的方式提供消息持久化能力高吞吐率支持消息分区，分布式消费支持离线数据处理和实时数据处理支持在线水平扩展特点：高性能持久：直接持久化到阅读全文

posted @ 2019-01-28 15:57 青衣怒马阅读(141) 评论(0) 推荐(0)

HBase分布式集群部署

摘要： 1.解压tar -zxvf 2.软连接 ln -s .... 3.修改配置文件： hbase-site.xml如果用户需要增加HDFS的特定配置就要添加到hdfs-site.xml文件中，同样在hbase中，用户需要增加配置信息，就要将配置添加到conf/hbase-site.xml 进程启动后，服阅读全文

posted @ 2019-01-28 15:48 青衣怒马阅读(168) 评论(0) 推荐(0)

HBase

摘要： HBase简介：分布式数据库是构建在HDFS上的分布式列存储数据库（Mysql，Oracle是行数据库），是一个高可靠性，高性能，面向列。可伸缩的分布式存储系统列式存储允许用户存储海量的数据到相同表中，而在传统数据库中，海量数据需要被切分为多个表进行存储行键不宜过长，否则会占用大量的存储空间降低阅读全文

posted @ 2019-01-28 15:29 青衣怒马阅读(125) 评论(0) 推荐(0)

Mapreduce提交YARN集群运行

摘要： Eclipse项目打包1.export2.通过maven打包，切入到项目目录下执行命令mvn clean package Mapreduce提交YARN集群运行将jar包传到hadoop目录下运行格式：bin/hadoop jar jar包名包名（代码的包名）.类名 +参数（输入路径输出路径）就阅读全文

posted @ 2019-01-28 15:13 青衣怒马阅读(147) 评论(0) 推荐(0)

MapReduce编程模型

摘要：概述： 2.MapReduce编程模型阅读全文

posted @ 2019-01-28 15:01 青衣怒马阅读(123) 评论(0) 推荐(0)

YARN

摘要： YARN 概述：是hadoop2.x版本引入的资源管理系统直接从MR1演化而来新的hadoop资源管理器，通用的资源管理器可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率，资源统一管理和数据共享等方面带来了巨大的好处核心思想：将MapReduce1中的JobTracker的资源管理和作业阅读全文

posted @ 2019-01-28 14:55 青衣怒马阅读(891) 评论(0) 推荐(0)

HDFS安装

摘要： HDFS安装1.下载Hadoop安装包hadoop-2.6.0-cdh5.10.0.tar.gz上传至app目录解压软连接2.修改配置文件vi hdfs-site.xml vi hdfs-site.xml vi core-site.xml vi slaves vi hadoop-env.sh 3.测阅读全文

posted @ 2019-01-28 14:41 青衣怒马阅读(210) 评论(0) 推荐(0)

HDFS(hadoop分布式文件管理系统)

摘要： HDFS结构概述：是Hadoop项目的核心子项目。是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上 pc server高容错性：自动保存多个副本来增加容错性如果某一个副本丢失，HDFS机制会复制其他机器上的副本，透明实现支持超大阅读全文

posted @ 2019-01-28 12:51 青衣怒马阅读(2030) 评论(0) 推荐(0)

2019年1月28日