MacOS - 随笔分类 - LestatZ

摘要：文章目录前言主要步骤安装mysql配置hive元数据库Hive安装设置环境变量设置配置文件准备mysql-connector-java初始化元数据启动metastore测试前言之前已经完成了hadoop集群的安装，测试了HDFS的使用，现在准备在此基础上，继... 阅读全文

posted @ 2019-03-24 19:38 LestatZ 阅读(1515) 评论(0) 推荐(0)

摘要：文章目录前言下载hadoop安装hadoop配置hadoophadoop-env.shyarn-env.shslaves更新*.xml配置文件core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml将had... 阅读全文

posted @ 2019-03-24 10:12 LestatZ 阅读(1811) 评论(0) 推荐(0)

摘要：文章目录前言准备工作安装虚拟机虚拟机网络设置设置静态ip更新hosts文件设置SSH免密测试前言准备在自己的MBP上搭建一个小的Hadoop集群玩玩，顺便看看会遇到什么坑。初步打算设置三个节点，其中将MBP设置为master节点，另外用虚拟机创建两个slav... 阅读全文

posted @ 2019-03-23 22:03 LestatZ 阅读(1270) 评论(0) 推荐(0)

摘要：前言今天准备利用自己的MBP搭建一个Hadoop小集群，结果在Mac上配置完ssh免密登陆的时候，使用ssh localhost测试时，总是弹出输入密码的提示。研究了一番, 记录下解决过程解决过程首先使用ssh -v localhost 观察debug信息,... 阅读全文

posted @ 2019-03-23 20:20 LestatZ 阅读(1121) 评论(0) 推荐(0)

摘要：默认情况下，MongoDB没有启用访问控制，因此没有默认用户或密码。要启用访问控制，请使用命令行选项·--auth或security.authorization配置文件设置。具体细节请查看官方文档的启用验证章节以下使我在Mac上测试的具体步骤：打开终端，启动... 阅读全文

posted @ 2019-02-23 16:23 LestatZ 阅读(881) 评论(0) 推荐(0)

摘要：查看了Anaconda 镜像使用帮助我们可以通过以下命令为Anaconda添加仓库conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/cond... 阅读全文

posted @ 2019-02-23 15:59 LestatZ 阅读(816) 评论(0) 推荐(0)

摘要：Homebrew是Mac的软件包管理器，我们可以通过它安装大多数开源软件。但是在使用brew update更新的时候竟然要等待很久。猜测可能是因为brew的官方源被墙或或者响应慢。于是想到的切换Homebrew的更新源的办法, 如果coding.net的源还... 阅读全文

posted @ 2019-02-23 14:58 LestatZ 阅读(836) 评论(0) 推荐(0)

摘要：写了一个简单脚本用来解决Mac上访问github慢的问题，基本思路如下：访问 http://github.global.ssl.fastly.net.ipaddress.com/#ipinfo 获取github的IP地址在/etc/hosts中加入查询到的I... 阅读全文

posted @ 2019-02-18 21:20 LestatZ 阅读(1412) 评论(0) 推荐(0)

摘要：文章目录环境准备主要工具/软件Git 安装IntelliJ IDEA 下载及 Scala 插件安装sbt 安装基本步骤获取git目录在IDEA中构建sparkIDEA中查看代码环境准备主要工具/软件gitIntellij IDEA & Scala Plugi... 阅读全文

posted @ 2019-02-17 18:22 LestatZ 阅读(685) 评论(0) 推荐(0)

VirtualBox共享MacOS的VPN

摘要：在Mac上装了一个Cloudera的quickstart版本到virtualbox里面发现无法共享主机的VPN，简单搜索了一下，只需要做一些基本的配置就可以了。设置主机SS的HTTP 代理如图：设置虚拟机网络连接模式选择桥接模式,并选择WiFI(Airpor... 阅读全文

posted @ 2019-02-16 12:28 LestatZ 阅读(0) 评论(0) 推荐(0)

摘要：因工作需要需要且身边没有windows系统的笔记本，无奈只好在mac上利用虚拟机安装一个win7系统作为临时过渡。我使用的虚拟机软件是Parallels Desktop（以下简称PD）PD提供三种不同网络模式供用户选择:共享网络（推荐）桥接网络Host-On... 阅读全文

posted @ 2019-02-16 11:39 LestatZ 阅读(927) 评论(0) 推荐(0)

摘要：Mac 访问github慢访问 http://github.global.ssl.fastly.net.ipaddress.com/#ipinfo 获取github的IP地址在/etc/hosts中加入查询到的IP和域名（需要root 权限）在终端在输以下... 阅读全文

posted @ 2019-02-16 10:43 LestatZ 阅读(735) 评论(0) 推荐(0)

LestatZ