随笔分类 - hadoop
hadoop
摘要：对于spark前来围观的小伙伴应该都有所了解，也是现在比较流行的计算框架，基本上是有点规模的公司标配，所以如果有时间也可以补一下短板。 简单来说Spark作为准实时大数据计算引擎，Spark的运行需要依赖资源调度和任务管理，Spark自带了standalone模式资源调度和任务管理工具，运行在其他资
阅读全文
摘要：公司建立数仓，hive是必不可少的，hive是建立在hadoop基础上的数据库，前面已经搭建起了hadoop高可用，要学习hive，先从搭建开始，下面梳理一下hive搭建过程 1.下载hive安装包 ，下载地址：https://hive.apache.org/downloads.html 找到自己h
阅读全文
摘要：本篇介绍在centos7中搭建hadoop2.10高可用集群，首先准备6台机器：2台nn(namenode);4台dn(datanode)；3台jn(journalnode)；3台zk(zookeeper) IP hostname 进程 192.168.30.141 s141 nn1（namenod
阅读全文
摘要：本篇介绍在centos7中大家hadoop2.10完全分布式，首先准备4台机器：1台nn(namenode);3台dn(datanode) IP hostname 进程 192.168.30.141 s141 nn（namenode） 192.168.30.142 s142 dn（datanode）
阅读全文
摘要：1.准备一台Vmware虚拟机，添加hdfs用户及用户组，配置网络见 https://www.cnblogs.com/qixing/p/11396835.html 在root用户下 添加hdfs用户，并设置密码： 将hdfs用户添加到hdfs用户组中 前面一个hdfs是组名，后面一个hdfs是用户名
阅读全文
摘要：最近有一个需求，要求使用httpfs读取数据，一开始看到httpfs这个词，第一感觉是不是多了个f，是不是https，后来百度一下，其实不然。 httpfs其实是使用http协议访问hdfs文件系统： HttpFS是一台提供REST HTTP网关的服务器，该网关支持所有HDFS文件系统操作（读取和写
阅读全文
摘要：1.读取hbase快照数据时报UnsatisfiedLinkError: no gplcompression in java.library.path错： 在使用java 命令执行时可加上 -Djava.library.path=/opt/hadoop/lib/native，就没有此报错 2.解决完
阅读全文
摘要：根据快照名称读取hbase快照中的数据，在网上查了好多资料，很少有资料能够给出清晰的方案，根据自己的摸索终于实现，现将代码贴出，希望能给大家有所帮助： 如果读取快照数据时，数据列簇使用的是lzo压缩的话，可能会遇到lzo解压缩问题，可以参照：hbase读取快照数据-lzo压缩遇到的问题
阅读全文
摘要：Hadoop3.1.2 + Hbase2.2.0 设置lzo压缩算法： 写在前面，在配置hbase使用lzo算法时，在网上搜了很多文章，一般都是比较老的文章，一是版本低，二是一般都是使用hadoop-gpl-compression，hadoop-gpl-compression是一个比较老的依赖包，现
阅读全文
摘要：Hadoop HA 搭建hbase启动时只有HMaster起来，HRegionServer没有起来 查看报错信息为： 由于无法找到mycluster 解决方法： 将hadoop/etc/中的 core-site.xml和hdfs-site.xml 复制到hbase的conf目录下，启动hbase就好
阅读全文
摘要：通过 http://s128:16010 无法访问Hbase Web端 查看master日志，有报错： 解决方法： 在hbase-site.xml中添加如下配置：
阅读全文
摘要：1.xrsync.sh脚本 需要安装rsync远程数据同步工具 其中i代表服务器部分尾号名称，服务器名称为s202,s203,s204等 使用时需要将xrsync.sh放到/usr/local/bin下，在任何目录中都可以使用 例：将hbase-2.2.0同步到其它机器的 /opt/ 目录下
阅读全文
摘要：1.xcall.sh批量命令脚本： 其中i为服务器命名部分序号，服务器命名为s128,s129,s130,s131共4台机器 设置xcall.sh为可执行文件： 主要是根据ssh在不同的机器上执行其后面的命令 如： 在每台机器上执行 jps -l 命令 结果： 如果想在任何地方都能使用xcall.s
阅读全文
浙公网安备 33010602011771号