2018年8月13日
hadoop2 5个环境配置文件
摘要： 安装hadoop 1.1 vi hadoop-env.sh(config file) export JAVA_HOME=/root/apps/jdk1.7.0_65 1.2 vi core-site.xml(config file) <!-- 指定HADOOP所使用的文件系统schema（URI）， 阅读全文
posted @ 2018-08-13 17:53 volibearGeek 阅读(1032) 评论(0) 推荐(0)
hadoop3.0.0 分布式集群安装过程
摘要： 1. 环境 主机名 ip 角色 hdp01 192.168.184.61 ResourceManager/NameNode/SecondaryNameNode hdp02 192.168.184.62 NodeManager/DataNode hdp03 192.168.184.63 NodeMan 阅读全文
posted @ 2018-08-13 16:13 volibearGeek 阅读(1040) 评论(0) 推荐(0)
linux 常用命令
摘要： df -h:查看整个系统使用情况 du -sh *:查看当前文件夹的使用情况 tail -fn 100:查看最后的一百行 cat file1>file2:创建一个file2文件，把file1内容复制到file2 cat filename | tail -n +3000 | head -n 1000: 阅读全文
posted @ 2018-08-13 14:16 volibearGeek 阅读(99) 评论(0) 推荐(0)
securecrt 常用快捷键
摘要： 查找命令: echo+$变量名:打印环境变量 删除操作： ctrl+w:向前一个个单词删除 ctrl+u:删除至行首的内容 ctrl+k:删除至行尾的内容 移动光标操作: A:移动到行尾 I:移动到行尾首 a:光标后插入 o:换行 yy:复制当前行(nyy 复制n行) p:粘贴 ctrl+y:粘贴C 阅读全文
posted @ 2018-08-13 10:11 volibearGeek 阅读(796) 评论(0) 推荐(0)
2018年7月28日
java 面试题
摘要： 1、平时 对多线程 这方面是怎么处理呢？ 异步 是怎么思考呢？ 遇到的一些锁啊， 是怎么做的呢？ 比如两个人同时操作一样东西。怎么做的呢？一些并发操作设计到一些变量怎么做的呢？ 2、你如何确保N线程可以在没有死锁的情况下访问N个资源？ 3、如何避免死锁？ 阅读全文
posted @ 2018-07-28 12:27 volibearGeek 阅读(98) 评论(0) 推荐(0)
2018年7月20日
Spark Streaming 读取 Kafka 数据的两种方式
摘要： receiver: 使用kafka的高级api consumerAPI，自动更新offset到zookeeper; 在executor上会有receiver从kafka接收数据并存储在Spark executor中，在到了batch时间后触发job去处理接收到的数据，1个receiver占用1个co 阅读全文
posted @ 2018-07-20 09:12 volibearGeek 阅读(2929) 评论(0) 推荐(0)
2018年7月18日
hadoop interview（面试题）
摘要： 1、hadoop shuffle 过程 2、hadoop spark shuffle区别 3、hadoop 二次排序 4、sparkStreaming 获取kafka数据的两种方式 5、项目难点 6、项目优化 7、数据库的优化 8、hbase与关系型数据库区别 9、hbase 设计原则 阅读全文
posted @ 2018-07-18 13:00 volibearGeek 阅读(106) 评论(0) 推荐(0)
点击右上角即可分享
微信分享提示