10 2016 档案

Hive_DDL与DML
摘要：DDL(数据定义语言) DML(数据控制语言) 1. 关于数据库 2. 关于表 3. 关于方法 4. 更换log日志配置 5. 配置客户端Cli显示数据库名及表名 6. hive的基本参数用法 7. hive交互式命令操作 8. 创建表的三种方式 9. 表的类型 阅读全文
posted @ 2016-10-28 19:09 eRrsr 阅读(302) 评论(0) 推荐(0)
Hive安装部署与测试
摘要：一、hive是什么东东 1. 个人理解 hive就是一个基于hdfs运行于MapReduce上的一个java项目, 这个项目封装了jdbc,根据hdfs编写了处理数据库的DDL/DML,自带的 二进制包内嵌Derby数据库,且默认使用Derby,简而言之,hive就是一个 帮助我们处理/分析数据的工 阅读全文
posted @ 2016-10-28 18:59 eRrsr 阅读(252) 评论(0) 推荐(0)
Hadoop.2.x_WebUV示例
摘要：一、网站基本指标(即针对于网站用户行为而产生的日志中进行统计分析) 二、UV统计示例(也就是每天每个省份有多少人访问了该网站) 三、UV统计代码示例 阅读全文
posted @ 2016-10-28 18:48 eRrsr 阅读(402) 评论(0) 推荐(0)
Hadoop.2.x_高级应用_二次排序及MapReduce端join
摘要：一、对于二次排序案例部分理解 二、二次排序示例代码 三、MapReduce join简单理解 四、MapReduce join代码示例 阅读全文
posted @ 2016-10-28 18:42 eRrsr 阅读(617) 评论(0) 推荐(0)
Hadoop.2.x_HA部署
摘要：一、概念与HA思路 二、部署与搭建测试 1. 目录规划(hdfs存储位置,JournalNode存储位置,等) 2. 上传并解压Hadoop 3. 配置自定义(这仅仅配置HDFS NameNode HA) 4. 分发配置文件目录(注意刚才新建的data/dfs/jn,其他节点也要保持一致) 5. 分 阅读全文
posted @ 2016-10-22 21:30 eRrsr 阅读(424) 评论(0) 推荐(0)
Hadoop.2.x_集群初建
摘要：一、部分概念 二、简单搭建Hadoop分布式集群(分布式指的是Hadoop,集群指在多台节点运行一个Hadoop系统) 1. 做好规划: 1> 需要哪些服务要先想好,因为配置文件后会分发到其他节点,避免重复修改配置 比如:我将要运行的服务有hdfs,yarn,mapreduce,secondarys 阅读全文
posted @ 2016-10-21 17:29 eRrsr 阅读(258) 评论(0) 推荐(0)
Hadoop.2.x_网站PV示例
摘要：一、网站基本指标(即针对于网站用户行为而产生的日志中进行统计分析) 二、PV统计示例(统计各省的PV) 三、具体代码实现 1. 放置好资源文件 (即:将自定义配置文件拷贝到MR程序的资源文件夹,当然使用javaAPI将属性set进configuration也行) 2. 具体代码 阅读全文
posted @ 2016-10-21 11:39 eRrsr 阅读(312) 评论(0) 推荐(0)
Hadoop_简单操作ZooKeeper
摘要：一、概念 1. 一个开源的、分布式的,为分布式应用提供协调服务的Apache项目 2. 提供一个简单的原语集合,以便于分布式应用可以在它之上构建更高层次的同步服务 3. 设计非常易于编程,它使用的是类似于文件系统那样的树形数据结构 4. 目的是将分布式服务不再需要由于协作冲突而另外实现协作服务 5. 阅读全文
posted @ 2016-10-20 01:03 eRrsr 阅读(570) 评论(0) 推荐(0)
Hadoop.2.x_时间服务器搭建(CentOs6.6)
摘要：一、检查linux系统NTP是否被安装 ☹ 如果没有安装 二、使用命令安装ntp后,/etc/下会有ntp.conf文件 1. 同步当前系统时间和写入BOIS： 2. 修改/etc/ntp.conf文件： 3. 配置启动服务和开机自启(标注# ◆ 是我走的步骤) 4. 防火墙配置(标注# ◆ 是我走 阅读全文
posted @ 2016-10-19 22:12 eRrsr 阅读(410) 评论(0) 推荐(0)
Linux_Scp命令
摘要：一、简单概念 scp是有Security的文件copy , 基于ssh登录 二、使用 1. 发送(本地 >远程服务器) 2. 接收(远程服务器 >本地) 三、scp常用参数一览 阅读全文
posted @ 2016-10-19 20:43 eRrsr 阅读(436) 评论(0) 推荐(0)
Java_Eclipse_Maven环境搭建
摘要：一、Maven下载 地址：http://maven.apache.org/download.cgi 二、配置仓库及环境变量（以D:\maven为例） 1> 解压文件至D:\maven 2> 在同级目录创建resource文件夹 3> 打开maven/conf/setting.xml settings 阅读全文
posted @ 2016-10-14 21:41 eRrsr 阅读(278) 评论(0) 推荐(0)
Java_Eclipse_Maven插件部署
摘要：方法一：在线; Eclipse-help-Install New Software 1.下载地址： m2e - http://download.eclipse.org/technology/m2e/releases, 把选项勾上,然后等待它下载,安装,完成之后重启 eclipse 即可. 2.这里我 阅读全文
posted @ 2016-10-14 21:38 eRrsr 阅读(158) 评论(0) 推荐(0)
Hadoop.2.x_MR-Shuffle过程
摘要：1、map到reduce中间的一个过程 洗牌,打乱(打乱我们传递的所有元素)(流程:input->map->reduce->output) 2、map()->shuffle->reduce() 3、shuffle过程 阅读全文
posted @ 2016-10-14 20:14 eRrsr 阅读(2087) 评论(0) 推荐(0)
Hadoop.2.x_无秘钥设置
摘要：1、在实际生产环境中为Hadoop配置无秘钥登录非常有必要 2、生成公钥与私钥 3、发送到节点(机器)上 4、测试一下 OK！ 阅读全文
posted @ 2016-10-14 16:08 eRrsr 阅读(652) 评论(0) 推荐(0)
Hadoop.2.x_WordCount本地测试示例
摘要：代码如下, 后备参考： 阅读全文
posted @ 2016-10-11 11:45 eRrsr 阅读(485) 评论(0) 推荐(0)
Hadoop.2.x_简单的测试文件读取与上传
摘要：代码如下, 后备参考: 阅读全文
posted @ 2016-10-11 11:36 eRrsr 阅读(389) 评论(0) 推荐(0)
java: cairo-misc.c:380: _cairo_operator_bounded_by_source: Assertion `NOT_REACHED' failed.
摘要：出错原因 该问题会在Centos6.6及更高版本出现。也会在其他版本中出现。 解决方案 禁用carioGraphics > 阅读全文
posted @ 2016-10-08 09:57 eRrsr 阅读(2063) 评论(0) 推荐(0)
Hadoop.2.x_源码编译
摘要：一、基本环境搭建 1. 准备 2. 安装 jdk-7u67-linux-x64.tar.gz 与 apache-maven-3.0.5-bin.tar.gz PS:准备文件中最好准备好maven的仓库文件,否则将下载很久 3. yum 安装 cmake,zlib-devel,openssl-deve 阅读全文
posted @ 2016-10-06 12:24 eRrsr 阅读(344) 评论(0) 推荐(0)
Hadoop_HDFS HA 及解决方案
摘要：1. HDFS系统架构 2. HA定义 3. HDFS HA 原因分析及应对措施 4. 现有HDFS HA解决方案 5. 方案优缺点比较 阅读全文
posted @ 2016-10-02 11:57 eRrsr 阅读(2164) 评论(0) 推荐(1)