eRrsr - 博客园

2016年10月21日

Hadoop.2.x_集群初建

摘要：一、部分概念二、简单搭建Hadoop分布式集群(分布式指的是Hadoop,集群指在多台节点运行一个Hadoop系统) 1. 做好规划: 1> 需要哪些服务要先想好,因为配置文件后会分发到其他节点,避免重复修改配置比如:我将要运行的服务有hdfs,yarn,mapreduce,secondarys 阅读全文

posted @ 2016-10-21 17:29 eRrsr 阅读(255) 评论(0) 推荐(0)

Hadoop.2.x_网站PV示例

摘要：一、网站基本指标(即针对于网站用户行为而产生的日志中进行统计分析) 二、PV统计示例(统计各省的PV) 三、具体代码实现 1. 放置好资源文件 (即:将自定义配置文件拷贝到MR程序的资源文件夹,当然使用javaAPI将属性set进configuration也行) 2. 具体代码阅读全文

posted @ 2016-10-21 11:39 eRrsr 阅读(310) 评论(0) 推荐(0)

2016年10月20日

Hadoop_简单操作ZooKeeper

摘要：一、概念 1. 一个开源的、分布式的,为分布式应用提供协调服务的Apache项目 2. 提供一个简单的原语集合,以便于分布式应用可以在它之上构建更高层次的同步服务 3. 设计非常易于编程,它使用的是类似于文件系统那样的树形数据结构 4. 目的是将分布式服务不再需要由于协作冲突而另外实现协作服务 5. 阅读全文

posted @ 2016-10-20 01:03 eRrsr 阅读(566) 评论(0) 推荐(0)

2016年10月19日

Hadoop.2.x_时间服务器搭建(CentOs6.6)

摘要：一、检查linux系统NTP是否被安装 ☹ 如果没有安装二、使用命令安装ntp后,/etc/下会有ntp.conf文件 1. 同步当前系统时间和写入BOIS： 2. 修改/etc/ntp.conf文件： 3. 配置启动服务和开机自启(标注# ◆ 是我走的步骤) 4. 防火墙配置(标注# ◆ 是我走阅读全文

posted @ 2016-10-19 22:12 eRrsr 阅读(405) 评论(0) 推荐(0)

Linux_Scp命令

摘要：一、简单概念 scp是有Security的文件copy , 基于ssh登录二、使用 1. 发送(本地 >远程服务器) 2. 接收(远程服务器 >本地) 三、scp常用参数一览阅读全文

posted @ 2016-10-19 20:43 eRrsr 阅读(434) 评论(0) 推荐(0)

2016年10月14日

Java_Eclipse_Maven环境搭建

摘要：一、Maven下载地址：http://maven.apache.org/download.cgi 二、配置仓库及环境变量（以D:\maven为例） 1> 解压文件至D:\maven 2> 在同级目录创建resource文件夹 3> 打开maven/conf/setting.xml settings 阅读全文

posted @ 2016-10-14 21:41 eRrsr 阅读(275) 评论(0) 推荐(0)

Java_Eclipse_Maven插件部署

摘要：方法一：在线; Eclipse-help-Install New Software 1.下载地址： m2e - http://download.eclipse.org/technology/m2e/releases, 把选项勾上,然后等待它下载,安装,完成之后重启 eclipse 即可. 2.这里我阅读全文

posted @ 2016-10-14 21:38 eRrsr 阅读(156) 评论(0) 推荐(0)

Hadoop.2.x_MR-Shuffle过程

摘要： 1、map到reduce中间的一个过程洗牌,打乱(打乱我们传递的所有元素)(流程:input->map->reduce->output) 2、map()->shuffle->reduce() 3、shuffle过程阅读全文

posted @ 2016-10-14 20:14 eRrsr 阅读(2082) 评论(0) 推荐(0)

Hadoop.2.x_无秘钥设置

摘要： 1、在实际生产环境中为Hadoop配置无秘钥登录非常有必要 2、生成公钥与私钥 3、发送到节点(机器)上 4、测试一下 OK！阅读全文

posted @ 2016-10-14 16:08 eRrsr 阅读(647) 评论(0) 推荐(0)

2016年10月11日

Hadoop.2.x_WordCount本地测试示例

摘要：代码如下, 后备参考：阅读全文

posted @ 2016-10-11 11:45 eRrsr 阅读(482) 评论(0) 推荐(0)

公告