博客园  :: 首页  :: 联系 :: 管理

随笔分类 -  HDP

摘要:基于Centos7安装过程中常用工具及操作技术总结回顾。 操作技巧: tab键,命令自动补全 xshell 默认: Ctrl + Insert (复制) Shift + Insert (粘贴) systemctl 服务操作命令: systemctl start postfix.service 启动一 阅读全文

posted @ 2016-08-21 21:09 天戈朱 阅读(643) 评论(0) 推荐(0) 编辑

摘要:HDP(Hortonworks Data Platform)是hortworks推出的100%开源的hadoop发行版本,以YARN 作为其架构中心,包含pig、hive、phoniex、hbase、storm、spark等大量组件,在最新的2.4版本,监控UI实现与grafana集成,包含组件版本 阅读全文

posted @ 2016-08-08 11:07 天戈朱 阅读(7688) 评论(0) 推荐(0) 编辑

摘要:ambari是apache基金会的开源项目,它的优势在于巧妙溶合已有的开源软件,提供集群自动化安装、中心化管理、集群监控、报警等功能。据Hortonwork官方资料介绍,不同的HDP版本,对ambari的版本也有不同的要求(如下图,来源于hortonwork官网),在安装HDP2.4的过程中,选择的 阅读全文

posted @ 2016-08-07 16:13 天戈朱 阅读(2278) 评论(0) 推荐(0) 编辑

摘要:在安装Ambari时,Ambari默认的数据库是ProstgreSQL,对ProstgreSQL不太熟悉,选择使用MySql。 但Centos 7 默认支持的是MariaDB数据库. MariaDB是MySQL的一个分支,主要由开源社区在维护。安装过程中先将Centos7默认安装的MariaDB数据 阅读全文

posted @ 2016-08-06 15:10 天戈朱 阅读(1431) 评论(0) 推荐(0) 编辑

摘要:Centos7 Minimal Install 安装完成后是不支持上网的,并且大部分常用的软件也未安装,首先要解决的问题就是网络配置。当网络配通后,即可通过Xshell或其它工具来远程进行操作与管理,推荐工具 XShell (可在window下远程操作和控制linux主机)、winSCP(windo 阅读全文

posted @ 2016-08-06 10:38 天戈朱 阅读(1342) 评论(2) 推荐(0) 编辑

摘要:在进入大数据领域来,一直使用微软的Azure HDInsight,当前在中国区仅支持在Windows系统上部署集群,虽然创建的过程很简单,但对于开发人员来说,就是一个黑盒子,在更深入的研究和开发扩展的过程中,遇到了不少麻烦。因此准备在本地手工搭建自己的HDP2.4集群进行研究和学习, 第一步通过VM 阅读全文

posted @ 2016-08-05 18:37 天戈朱 阅读(1059) 评论(0) 推荐(0) 编辑