摘要：
前言： ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 ZooKeeper的目标就是封装好复杂易 阅读全文
posted @ 2018-04-03 11:41
$影子冷锋^
阅读(238)
评论(0)
推荐(0)
摘要：
转自：https://www.cnblogs.com/linjiqin/archive/2013/03/05/2944510.html HiveQL是一种类似SQL的语言, 它与大部分的SQL语法兼容, 但是并不完全支持SQL标准, 如HiveQL不支持更新操作, 也不支持索引和事务, 它的子查询和 阅读全文
posted @ 2018-04-02 18:14
$影子冷锋^
阅读(289)
评论(0)
推荐(0)
摘要：
前言： hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行 运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十 阅读全文
posted @ 2018-03-30 16:14
$影子冷锋^
阅读(185)
评论(0)
推荐(0)
摘要：
一、hadoop-eclipse-plugin-2.7.3.jar插件下载点击下载 二、把插件放到eclipse的安装目录dropins下 三、eclipse上的配置 3.1 打开Window-->Persperctive-->Other 3.2 选择MAP\/Reduce，点击OK 3.3 点击图 阅读全文
posted @ 2018-02-26 20:56
$影子冷锋^
阅读(214)
评论(0)
推荐(0)
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2018-02-10 17:44
$影子冷锋^
阅读(38)
评论(0)
推荐(0)
摘要：
转载自 ：http://blog.csdn.net/gis_101/article/details/52679914 1、问题背景 操作系统：CentOS7 64位 Hadoop版本：Hadoop2.7.3 JDK：1.8.0_65 2、问题描述 使用start-all.sh脚本或者先后执行star 阅读全文
posted @ 2018-02-10 14:51
$影子冷锋^
阅读(371)
评论(0)
推荐(0)
摘要：
参考文档：https://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/FileSystemShell.html#df 1. 环境：hadoop-2.6.0 2. 参数说明： hadoop fs[-appendToFi 阅读全文
posted @ 2017-12-15 13:20
$影子冷锋^
阅读(228)
评论(0)
推荐(0)
摘要：
(1)出现UnicodeEncodeError –> 说明是Unicode编码时候的问题； (2) ‘gbk’ codec can’t encode character –> 说明是将Unicode字符编码为GBK时候出现的问题；此时，往往最大的可能就是，本身Unicode类型的字符中，包含了一些无 阅读全文
posted @ 2017-11-29 13:12
$影子冷锋^
阅读(233)
评论(0)
推荐(0)
摘要：
函数：string.join() Python中有join()和os.path.join()两个函数，具体作用如下： join()： 连接字符串数组。将字符串、元组、列表中的元素以指定的字符(分隔符)连接生成一个新的字符串 os.path.join()： 将多个路径组合后返回 一、函数说明1、joi 阅读全文
posted @ 2017-11-29 12:25
$影子冷锋^
阅读(540)
评论(0)
推荐(0)
浙公网安备 33010602011771号