05 2018 档案

resourcemanager 和nodemanager的心跳
摘要：resourcemanager向nodemanager的心跳间隔 阅读全文
posted @ 2018-05-28 22:28 yimison 阅读(618) 评论(0) 推荐(0)
hadoop datanode 和namenode之间的心跳
摘要：做作业的过程中发现，把一节点停掉，dfsadmin和50070都无法马上感知到一个data node已经死掉 HDFS默认的超时时间为10分钟+30秒。这里暂且定义超时时间为timeout计算公式为： 而默认的heartbeat.recheck.interval 大小为5分钟，dfs.heartbe 阅读全文
posted @ 2018-05-28 21:51 yimison 阅读(440) 评论(0) 推荐(0)
打包 压缩 命令tar zip
摘要：范例一：将整个 /etc 目录下的档案全部打包成为 /tmp/etc.tar [root@linux ~]# tar -cvf /tmp/etc.tar /etc <==仅打包，不压缩！ [root@linux ~]# tar -czvf /tmp/etc.tar.gz /etc <==打包后，以 阅读全文
posted @ 2018-05-25 15:05 yimison 阅读(212) 评论(0) 推荐(0)
kudu 问题集
摘要：1. 场景：先分别安装两个master在node7、node8服务器上，然后运行，接着再停掉master服务。最后在node3服务器安装master服务,分别修改在每个节点的master.gflagfile文件--master_addresses=node7,node8,node9，再将node7、 阅读全文
posted @ 2018-05-25 14:47 yimison 阅读(841) 评论(0) 推荐(0)
配置NTP服务ntpd/ntp.conf
摘要：转载：https://blog.csdn.net/wisdom_c_1010/article/details/56830837 阅读全文
posted @ 2018-05-25 10:46 yimison 阅读(318) 评论(0) 推荐(0)
kudu 1.8.0(开发版) 源码安装
摘要：kudu 1.7 源码安装（RHEL 或Centos版） 一. 安装环境依赖 二.如果RHEL or CentOS 版本是7.0以上的，则需要安装开发以下工具 三.安装额外的软件和文档构建工具 四.下载kudu源码 五.构建第三方平台需要的环境 这个步骤会下载相关的依赖包，会花费比较长的时间 六.构 阅读全文
posted @ 2018-05-22 10:59 yimison 阅读(1348) 评论(0) 推荐(0)
hue 集成spark+livy
摘要：hue 集成spark+livy 一.先决条件 安装hue、hadoop。 二.spark on yarn 安装 1.添加环境变量 vim /etc/profile 2.配置spark; vim conf/spark-env.sh 3.配置spark ;vim conf/spark-defaults 阅读全文
posted @ 2018-05-21 15:57 yimison 阅读(8268) 评论(1) 推荐(0)
hue-使用mysql作为元数据库
摘要：hue默认使用sqlite作为元数据库，不推荐在生产环境中使用这个数据库使用mysql做元数据 1， 修改hue.ini文件[[database]]engine=mysqlhost=<mysql所在服务器>port=<mysql端口，一般就是3306了>user=<用户名>password=<密码> 阅读全文
posted @ 2018-05-20 18:24 yimison 阅读(318) 评论(0) 推荐(0)
大数据已经火了四五年，但你真的知道怎么用它来驱动产品和运营吗？（转载）
摘要：大数据已经火了四五年，但你真的知道怎么用它来驱动产品和运营吗？ 36氪的朋友们 • 2016-03-12 • 深氪 在2011年、2012年大数据概念火了，但是你是否知道如何将其运用到产品和运营上呢？ 编者按：本文作者为桑文锋，Sensors Data创始人&CEO，前百度大数据部技术经理。2005 阅读全文
posted @ 2018-05-19 16:18 yimison 阅读(187) 评论(0) 推荐(0)
hue 4.2.0安装(tarball 安装)
摘要：hue 4.2.0安装 一. 安装依赖 二.安装 oracle JDK 这个程序员都会，这里就不说了哈 三.安装MAVEN 配置maven远程仓库 四.下载并安装hue 如果编译出现问题，需要重新clean，再编译 五.配置hue.ini Hue的配置集中在$HUE_HOME/desktop/con 阅读全文
posted @ 2018-05-19 11:50 yimison 阅读(721) 评论(0) 推荐(0)
Hive1.2.2的安装和配置
摘要：Hadoop环境搭建笔记整理（四)——Hive1.2.2的安装和配置 苏洛尔寂 www.bdqll.top，别看了啥也没有 苏洛尔寂 www.bdqll.top，别看了啥也没有 苏洛尔寂 www.bdqll.top，别看了啥也没有 苏洛尔寂 苏洛尔寂 苏洛尔寂 www.bdqll.top，别看了啥也 阅读全文
posted @ 2018-05-18 20:49 yimison 阅读(4021) 评论(0) 推荐(0)
hadoop 安装
摘要：前言 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。 这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署Apache Hadoop2.x版本为主线，来介 阅读全文
posted @ 2018-05-18 11:26 yimison 阅读(345) 评论(0) 推荐(0)
hue 与其他组件的版本兼容性
摘要：hue 4.2版本兼容性 链接：http://cloudera.github.io/hue/latest/release-notes/release-notes-4.2.0.html 阅读全文
posted @ 2018-05-17 16:37 yimison 阅读(390) 评论(0) 推荐(0)
Getting NullPointerException when running Spark Code in Zeppelin
摘要：在zeppelin跑spark sql 时抛了空引用的异常： 上stackoverflow查了一下，有人也遇到这个问题。其中的一个原因是自己的环境没有安装hive，却启用了hiveContext，导致出异常。 链接：https://stackoverflow.com/questions/432890 阅读全文
posted @ 2018-05-05 18:39 yimison 阅读(359) 评论(0) 推荐(0)
spark 读取mongodb失败,报executor time out 和GC overhead limit exceeded 异常
摘要：代码： 使用上述的代码取userGroupMapping 集合过后的100条记录，出现了executor time out 和GC overhead limit exceeded 异常。一开始以为推测是task 从mongodb取的数据太大，导致spark executor内存不够，后来调研了一下s 阅读全文
posted @ 2018-05-03 11:19 yimison 阅读(378) 评论(0) 推荐(0)
在zepplin 使用spark sql 查询mongodb的数据
摘要：1.下载zepplin 进入官网下载地址 ,下载完整tar包. 2.解压 3.修改配置 新建配置文件 修改配置文件 # 设置java home 路径 export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.141-1.b16.el7_3.x86_ 阅读全文
posted @ 2018-05-02 18:11 yimison 阅读(838) 评论(0) 推荐(0)
Unable to query from Mongodb from Zeppelin using spark
摘要：异常：java.lang.IllegalArgumentException: Missing database name 转载自：https://issues.apache.org/jira/browse/ZEPPELIN-1565 阅读全文
posted @ 2018-05-02 17:33 yimison 阅读(144) 评论(0) 推荐(0)
spark 与zepplin 版本兼容
摘要：转载自：http://zeppelin.apache.org/supported_interpreters.html 阅读全文
posted @ 2018-05-02 14:26 yimison 阅读(280) 评论(0) 推荐(0)