Dlimeng

2017年4月30日

摘要：操作过程中主要出现以下几个错误： Unsupported major.minor version 51.0 处理办法： eclipse下的项目的jdk环境和liux下的jdk环境不一致，将windows下的eclipse中的jdk环境与linux的环境更改一致切换linux的jdk版本为1.7：阅读全文

posted @ 2017-04-30 16:28 Dlimeng 阅读(16) 评论(0) 推荐(0)

hadoop重新编译---安装系列二

摘要： yum -y install lzo-devel zlib-devel gcc autoconf automake libtool gcc-c++ openssl-devel ncurses-devel ant maven protocolbuf findbugs cmake 1、Protobuf 阅读全文

posted @ 2017-04-30 16:26 Dlimeng 阅读(11) 评论(0) 推荐(0)

3台hadoop集群部署计划---安装系列一

摘要：注意：apache官网提供的hadoop-2.x的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.6.0就需要重新在64操作系统上重新编译安装 yum install psmisc Killall -9 java 安装 gli 阅读全文

posted @ 2017-04-30 16:23 Dlimeng 阅读(9) 评论(0) 推荐(0)

2017年4月27日

MapReduce常见算法

摘要：单词计数数据去重排序 Top K 选择投影分组多表连接单表关联阅读全文

posted @ 2017-04-27 15:42 Dlimeng 阅读(6) 评论(0) 推荐(0)

MapReduce常见算法_李孟_新浪博客

摘要：单词计数数据去重排序 Top K 选择投影分组多表连接单表关联阅读全文

posted @ 2017-04-27 15:42 Dlimeng 阅读(12) 评论(0) 推荐(0)

2017年4月21日

HBase 在HDFS 上的目录树

摘要：自0.96版本之后，hbase 源码结构上做了很大的优化，目录结构也发生了变化，做了精简和优化，这里以0.98.8为例介绍，目录如下： /hbase/.tmp /hbase/WALs /hbase/archive /hbase/corrupt /hbase/data /hbase/hbase.id 阅读全文

posted @ 2017-04-21 11:41 Dlimeng 阅读(28) 评论(0) 推荐(0)

HBase 在HDFS 上的目录树_李孟_新浪博客

摘要：自0.96版本之后，hbase 源码结构上做了很大的优化，目录结构也发生了变化，做了精简和优化，这里以0.98.8为例介绍，目录如下： /hbase/.tmp /hbase/WALs /hbase/archive /hbase/corrupt /hbase/data /hbase/hbase.id 阅读全文

posted @ 2017-04-21 11:41 Dlimeng 阅读(13) 评论(0) 推荐(0)

2017年4月20日

Sumly法直接替换文件中的字符串_李孟_新浪博客

摘要：例1 执行命令： perl -p -i -e "s/China/Sumly/g" /www/*.htm /www/*.txt 上面的意思是说将www文件夹下所有的htm和txt文件中的“China”都替换为“Sumly” 例2 执行命令： perl -p -i -e "s/memory_produc 阅读全文

posted @ 2017-04-20 10:44 Dlimeng 阅读(11) 评论(0) 推荐(0)

Sumly法直接替换文件中的字符串

摘要：例1 执行命令： perl -p -i -e "s/China/Sumly/g" /www/*.htm /www/*.txt 上面的意思是说将www文件夹下所有的htm和txt文件中的“China”都替换为“Sumly” 例2 执行命令： perl -p -i -e "s/memory_produc 阅读全文

posted @ 2017-04-20 10:44 Dlimeng 阅读(8) 评论(0) 推荐(0)

2017年4月19日

使用Phoenix自带的工具执行sql脚本

摘要： phoenix自带了执行sql脚本的功能，这样方便了希望能够直接将一些关系型数据库的数据进行迁移到Hbase（也可以直接使用sqoop进行导入）。在【PHOENIX_HOME】目录下创建user.sql，内容如下： -- create table user create table if not 阅读全文

posted @ 2017-04-19 17:58 Dlimeng 阅读(32) 评论(0) 推荐(0)

公告