上一页 1 ··· 3 4 5 6 7 8 9 10 下一页
摘要: 一、部分概念 二、简单搭建Hadoop分布式集群(分布式指的是Hadoop,集群指在多台节点运行一个Hadoop系统) 1. 做好规划: 1> 需要哪些服务要先想好,因为配置文件后会分发到其他节点,避免重复修改配置 比如:我将要运行的服务有hdfs,yarn,mapreduce,secondarys 阅读全文
posted @ 2016-10-21 17:29 eRrsr 阅读(255) 评论(0) 推荐(0)
摘要: 一、网站基本指标(即针对于网站用户行为而产生的日志中进行统计分析) 二、PV统计示例(统计各省的PV) 三、具体代码实现 1. 放置好资源文件 (即:将自定义配置文件拷贝到MR程序的资源文件夹,当然使用javaAPI将属性set进configuration也行) 2. 具体代码 阅读全文
posted @ 2016-10-21 11:39 eRrsr 阅读(310) 评论(0) 推荐(0)
摘要: 一、概念 1. 一个开源的、分布式的,为分布式应用提供协调服务的Apache项目 2. 提供一个简单的原语集合,以便于分布式应用可以在它之上构建更高层次的同步服务 3. 设计非常易于编程,它使用的是类似于文件系统那样的树形数据结构 4. 目的是将分布式服务不再需要由于协作冲突而另外实现协作服务 5. 阅读全文
posted @ 2016-10-20 01:03 eRrsr 阅读(566) 评论(0) 推荐(0)
摘要: 一、检查linux系统NTP是否被安装 ☹ 如果没有安装 二、使用命令安装ntp后,/etc/下会有ntp.conf文件 1. 同步当前系统时间和写入BOIS: 2. 修改/etc/ntp.conf文件: 3. 配置启动服务和开机自启(标注# ◆ 是我走的步骤) 4. 防火墙配置(标注# ◆ 是我走 阅读全文
posted @ 2016-10-19 22:12 eRrsr 阅读(405) 评论(0) 推荐(0)
摘要: 一、简单概念 scp是有Security的文件copy , 基于ssh登录 二、使用 1. 发送(本地 >远程服务器) 2. 接收(远程服务器 >本地) 三、scp常用参数一览 阅读全文
posted @ 2016-10-19 20:43 eRrsr 阅读(434) 评论(0) 推荐(0)
摘要: 一、Maven下载 地址:http://maven.apache.org/download.cgi 二、配置仓库及环境变量(以D:\maven为例) 1> 解压文件至D:\maven 2> 在同级目录创建resource文件夹 3> 打开maven/conf/setting.xml settings 阅读全文
posted @ 2016-10-14 21:41 eRrsr 阅读(275) 评论(0) 推荐(0)
摘要: 方法一:在线; Eclipse-help-Install New Software 1.下载地址: m2e - http://download.eclipse.org/technology/m2e/releases, 把选项勾上,然后等待它下载,安装,完成之后重启 eclipse 即可. 2.这里我 阅读全文
posted @ 2016-10-14 21:38 eRrsr 阅读(156) 评论(0) 推荐(0)
摘要: 1、map到reduce中间的一个过程 洗牌,打乱(打乱我们传递的所有元素)(流程:input->map->reduce->output) 2、map()->shuffle->reduce() 3、shuffle过程 阅读全文
posted @ 2016-10-14 20:14 eRrsr 阅读(2082) 评论(0) 推荐(0)
摘要: 1、在实际生产环境中为Hadoop配置无秘钥登录非常有必要 2、生成公钥与私钥 3、发送到节点(机器)上 4、测试一下 OK! 阅读全文
posted @ 2016-10-14 16:08 eRrsr 阅读(647) 评论(0) 推荐(0)
摘要: 代码如下, 后备参考: 阅读全文
posted @ 2016-10-11 11:45 eRrsr 阅读(482) 评论(0) 推荐(0)
上一页 1 ··· 3 4 5 6 7 8 9 10 下一页