摘要: 1.单机(非分布式)模式 这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统,一般仅用于本地MR程序的调试 2.伪分布式运行模式 这种模式也是在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker 阅读全文
posted @ 2018-06-03 20:19 后山前堂客 阅读(6748) 评论(0) 推荐(1)
摘要: 1 原材料 1.1 已经安装好的伪分布式hadoop,版本2.8.3(参见链接https://www.cnblogs.com/wooluwalker/p/9128859.html) 1.2 apache-hive-2.3.3-bin.tar.gz 1.3 已经安装好的mysql(mysql-5.7. 阅读全文
posted @ 2018-06-03 16:17 后山前堂客 阅读(307) 评论(0) 推荐(0)
摘要: 在macbook终端执行如下代码: 1. 设置打开所有的文件 defaults write com.apple.finder AppleShowAllFiles -bool true 2. 关闭之前打开的Finder(当然也可以手动关闭,这样有big) killall Finder 3. 重新开启F 阅读全文
posted @ 2018-06-03 14:43 后山前堂客 阅读(1299) 评论(0) 推荐(0)
摘要: 1 原材料 1.1 mysql-5.7.22-macos10.13-x86_64.dmg 2 msql在macbook下的安装: 双击dmg进行解压, 再双击解压出来的pkg文件进行安装 3. Continue -> Continue, Agree -> Install -> 输入管理员密码 4. 阅读全文
posted @ 2018-06-03 14:38 后山前堂客 阅读(141) 评论(0) 推荐(0)
摘要: 1 准备原材料 1.1 jdk 1.8.0_171(事先安装并配置环境变量HAVA_HOME,PATH) 1.2 Hadoop 2.8.3 2 免密登陆配置(否则安装过程需要不断输入密码) 2.1 开启macbook 允许远程登录 系统偏好设置--共享--选中 远程登录(远程登录状态为绿灯时,说明O 阅读全文
posted @ 2018-06-03 12:51 后山前堂客 阅读(658) 评论(0) 推荐(0)
摘要: /etc/profile :系统的所有用户共享 ~/.bash_profile:仅针对当前用户有效 我的电脑只用于开发,因此全部配置/etc/profile 参考链接: https://blog.csdn.net/ithomer/article/details/6322892 https://blo 阅读全文
posted @ 2018-06-03 11:30 后山前堂客 阅读(150) 评论(0) 推荐(0)
摘要: 在linux shell 中输入一个命令,如果有多个同名指令,shell需要按照一定规则去取优先级高的一个执行,shell命令的搜索顺序为: 1、别名,使用alias创建的命令。 2、关键字,如if,for。 3、函数 4、内置命令,如cd,pwd等 5、外部命令,在PATH路径中寻找 但问题是,若 阅读全文
posted @ 2018-06-03 10:49 后山前堂客 阅读(999) 评论(0) 推荐(0)
摘要: 比如,现在要在$HIVE_HOME/bin下执行hive指令来启动hive,则该指令的执行顺序如下所示: 1 先找PATH路径 1.1 如果PATH路径下配置了$HIVE_HOME/bin,无论PATH路径下有没有配置 .: ,均可以在任意路径下直接执行hive来启动hive 1.2 如果PATH路 阅读全文
posted @ 2018-06-03 10:23 后山前堂客 阅读(1026) 评论(0) 推荐(0)