摘要：
1. 下载官方的 box 文件。 官方box列表 2. 在本地创建一个目录。如： D:\test\ 3. 运行 cmd 命令，并进入 d:\test 目录 4. 添加前面下载的 box。 添加 box 命令格式：vagrant box add <本地 box 名称(自己随便定义)> <box 文件（ 阅读全文
posted @ 2019-02-26 15:53
一剑侵心
阅读(665)
评论(0)
推荐(0)
摘要：
1. 使用 Tez 2. 使用 ORCFILE。当有多个表 join 时，使用 ORCFile 进行存储，会显著地提高速度。 3. 使用 VECTORIZATION。会提高 scans, aggregations, filters and joins 等操作的性能。它会把 1024条记录做为一批进行 阅读全文
posted @ 2019-02-25 13:05
一剑侵心
阅读(1519)
评论(0)
推荐(0)
摘要：
官方给的教程比较简单，需要事先安装的工具也是这里列一点，那里列一点。在此记录一下编译要点（在 centos 7 下）。 1. 事先需要安装的工具 2. 安装 maven, JDK8 3. 下载 python2.7 设置工具 4. 下载完成后，运行下面的命令 5. 设置环境变量 6. 运行下面的命令。 阅读全文
posted @ 2019-02-22 17:05
一剑侵心
阅读(3441)
评论(2)
推荐(0)
摘要：
用 hortonworks（V3.1.0.0） 部署了 ambari （V2.7.3），用 ambari 部署了 hadoop 及 hive。 1. 启动 kylin（V2.6）时，遇到如下问题： 经过查找，最后一行的错误信息是在 find-hive-dependency.sh 这个脚本中的，查看此 阅读全文
posted @ 2019-02-20 17:21
一剑侵心
阅读(4613)
评论(3)
推荐(0)
摘要：
1. 打开 http://192.168.242.181:8080 登陆的用户名/密码是 ： admin/admin 2. 点击 “LAUNCH INSTALL WIZARD”，开始创建一个集群 3. 为集群取一个名字 4. 前面我们建了本地的资源库，这里选择 “Use Local Reposito 阅读全文
posted @ 2019-02-13 16:44
一剑侵心
阅读(5090)
评论(0)
推荐(0)
摘要：
1. 安装 2. ambari server 需要一个数据库存储元数据，默认使用的 Postgres 数据库。默认的用户名和密码是： ambari/bigdata 。但是一般情况下，后面还要安装 hive 和 Ranger，也需要一个存元数据的数据库，所以使用一个mysql 做为数据库。需要为 am 阅读全文
posted @ 2019-02-13 11:00
一剑侵心
阅读(13640)
评论(0)
推荐(0)
摘要：
安装 Ambari，最后是为了用它部署 hadoop 集群。安装时默认使用的是 hortonworks 远程的资源，用它部署集群时，需要下载 Hadoop、Hive、HBase 的安装包，速度很慢。我部署时，老是失败。所以按照官方文档，建一个本地资源库。预先下载好包，放在一台电脑上，然后把这台电脑配 阅读全文
posted @ 2019-02-13 09:27
一剑侵心
阅读(4112)
评论(0)
推荐(0)
摘要：
Ambari 没有简单的 .tar.gz 结尾的包（反正我找到）。apache 官网提供的安装方法，是要下载源码，自己编译成安装包安装。说明文档还不够细。编译的时候是用 maven，照理来说不应该会失败的。但是我总是失败，报找不到类的错误。maven 的仓库中明明是有的。遇到各种奇葩问题。实际生产环 阅读全文
posted @ 2019-02-13 09:03
一剑侵心
阅读(3084)
评论(0)
推荐(0)
摘要：
1. 使用 docker 运行 mysql，方便快捷 2. 手动安装 2.1 下载包、安装并启动服务 2.2 获取自动生成的临时密码： 2.3 运行下面的命令，修改 root 的密码 2.4 上面会要求输入的新密码符合一定的规则，这与 validate_password_policy 的值有关。 v 阅读全文
posted @ 2019-01-28 16:26
一剑侵心
阅读(649)
评论(0)
推荐(0)
摘要：
1. 下载并解压安装脚本： Hortonworks Data Platform (HDP) for Docker 2. 进入到解压后的目录，运行下面的命令，{HDPversion} 需要替换成相应目录里的版本： 这一步会花很长时间，需要拉取 docker 镜像（hortonworks/sandbox 阅读全文
posted @ 2019-01-24 15:00
一剑侵心
阅读(3169)
评论(0)
推荐(0)
浙公网安备 33010602011771号