Fork me on GitHub

随笔分类 -  Hadoop

hbase(二)
摘要：一、HBase简介 1.1简介 hbase是bigtable的开源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表jo 阅读全文
posted @ 2018-01-03 12:19 薄荷加冰2060 阅读(300) 评论(0) 推荐(0)
hbase(一)
摘要：1、hbase安装参考 http://blog.csdn.net/wild46cat/article/details/53214159 2.遇到的问题： ERROR: The node /hbase is not in ZooKeeper. It should have been written b 阅读全文
posted @ 2018-01-02 16:29 薄荷加冰2060 阅读(146) 评论(0) 推荐(0)
hive (一)
摘要：1、配置 hive-site.xml 2、初始化 3、 4、 4、开启开启 metastore和hiveserver2 hive --service metastore & hive --service hiveserver2 & 可以通过命令netstat -ntulp |grep 10000 可 阅读全文
posted @ 2018-01-01 17:33 薄荷加冰2060 阅读(157) 评论(0) 推荐(0)
深入理解 Java中的 流 (Stream)
摘要：首先，流是什么？ 流是个抽象的概念，是对输入输出设备的抽象，Java程序中，对于数据的输入/输出操作都是以“流”的方式进行。设备可以是文件，网络，内存等。 流具有方向性，至于是输入流还是输出流则是一个相对的概念，一般以程序为参考，如果数据的流向是程序至设备，我们成为输出流，反之我们称为输入流。 可以 阅读全文
posted @ 2017-12-31 14:48 薄荷加冰2060 阅读(331) 评论(0) 推荐(0)
hadoop记录(一)
摘要：linux基础和javase基础【包含mysql】 这些是基本功，刚开始也不可能学的很精通，最起码要对linux中的一些基本的命令混个脸熟，后面学习各种框架的时候都会用到，用多了就熟悉了。javase的话建议主要看面向对象，集合，io，多线程，以及jdbc操作即可。 zookeeper zookee 阅读全文
posted @ 2017-12-28 00:16 薄荷加冰2060 阅读(152) 评论(0) 推荐(0)
国内Hadoop相关的开源项目
摘要：1、BC-Hadoop：中国移动Hadoop工具链打包 https://github.com/cmri/bc-hadoop2.0 孵化阶段，将成为一个通用的开源Hadoop平台 2、BC-BSP：中国移动图计算平台 https://github.com/cmri/BC-BSP 孵化阶段，将成为通用的 阅读全文
posted @ 2017-12-27 16:30 薄荷加冰2060 阅读(2228) 评论(0) 推荐(0)
linux文件权限查看及修改-chmod
摘要：查看linux文件的权限：ls -l 文件名称查看linux文件夹的权限：ls -ld 文件夹名称（所在目录）修改文件及文件夹权限：sudo chmod -（代表类型）×××（所有者）×××（组用户）×××（其他用户）常用修改权限的命令：sudo chmod 600 ××× （只有所有者有读和写的权 阅读全文
posted @ 2017-12-26 15:57 薄荷加冰2060 阅读(2812) 评论(0) 推荐(0)
SqoopFlume、Flume、HDFS之间比较
摘要：Sqoop Flume HDFS Sqoop用于从结构化数据源，例如，RDBMS导入数据 Flume 用于移动批量流数据到HDFS HDFS使用 Hadoop 生态系统存储数据的分布式文件系统 Sqoop具有连接器的体系结构。连接器知道如何连接到相应的数据源并获取数据 Flume 有一个基于代理的架 阅读全文
posted @ 2017-12-13 15:18 薄荷加冰2060 阅读(1436) 评论(0) 推荐(0)
在 CentOS7 上安装 Zookeeper服务
摘要：1、创建 /usr/local/services/zookeeper 文件夹： mkdir -p /usr/local/services/zookeeper 2、进入到 /usr/local/services/zookeeper 目录中： cd /usr/local/services/zookeep 阅读全文
posted @ 2017-12-09 20:13 薄荷加冰2060 阅读(15937) 评论(2) 推荐(2)