HFDS核心技术
摘要：
HDFS 设计的前提与目标 HDFS体系结构1 HDFS体系结构2 HDFS特性与优点 高容错性保障机制 HDFS不适合的场景 HDFS2.0的新特征 HA-QJM Federation 快照 异构层级存储结构 HDFS数据压缩与IO 瓶颈一般在磁盘上 影响磁盘速度的主要因素 速度压缩的目的 压缩解 阅读全文
posted @ 2017-08-23 17:29 百里登峰 阅读(981) 评论(0) 推荐(0)
Phoenix 安装完的几个简单使用
摘要：
Phoenix 安装完之后的一些简单使用： 本屌丝的运行环境是3节点集群,先启动hadoop,每个节点分别启动zookeeper,启动hbase(具体怎么启动这里就不多说了) 进入 phoenix的bin目录（我这里做了个软链接） 现在启动phoenix 在客户端执行!tables 命令，罗列所有表 阅读全文
posted @ 2017-08-22 11:53 百里登峰 阅读(1405) 评论(0) 推荐(0)
安装phoenix时，执行命令./sqlline.py hostname1,hostname2.hostname3..... 时报错 ImportError: No module named argparse
摘要：
问题描述： 怎么解决呢： 网上看了好多方法，但是本屌丝表示看不懂啊，没理解人家的博客的博大精深，好吧我们回到正题！！ 先切换到root用户下安装这个东西 yum install python-argparse 可以看到安装成功了！！！ 再次执行命令 bin/sqlline.py master(bin 阅读全文
posted @ 2017-08-21 23:25 百里登峰 阅读(1485) 评论(0) 推荐(0)
Spark on Yarn
摘要：
YARN是什么 YARN在hadoop生态系统中的位置 YARN产生的背景 YARN的基本架构 ResourceManager NodeManager ApplicationMaster container Spark On Yarn 配置和部署 编译时包含yarn 基本配置 在没有配置的前提下试下 阅读全文
posted @ 2017-08-20 22:18 百里登峰 阅读(213) 评论(0) 推荐(0)
hadoop hdfs常用命令
摘要：
hadoop hdfs常用命令 hadoop常用命令： hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hadoop fs –put test.txt /user/sunlig 阅读全文
posted @ 2017-08-16 21:27 百里登峰 阅读(300) 评论(0) 推荐(0)
Spark standalone运行模式
摘要：
Spark Standalone 部署配置 Standalone架构 手工启动一个Spark集群 https://spark.apache.org/docs/latest/spark-standalone.html 通过脚本启动集群 编辑slaves,其实把worker所在节点添加进去 配置spar 阅读全文
posted @ 2017-08-16 20:27 百里登峰 阅读(958) 评论(0) 推荐(0)
jps命令发生异常
摘要：
当在集群里输入jps命令时报如下错误： 我就开始检查jdk,感觉应该是centos自动的jdk没卸载干净跟后面安装的jdk冲突 先通过命令 rpm -qa|grep java 查看jdk信息 把这几个都卸载掉 再次查看jdk信息，jps命令还是不能用 报了这个错误 bash: /usr/bin/jp 阅读全文
posted @ 2017-08-15 15:57 百里登峰 阅读(2224) 评论(0) 推荐(0)
Spark运行模式概述
摘要：
Spark编程模型的回顾 spark编程模型几大要素 RDD的五大特征 Application program的组成 运行流程概述 具体流程（以standalone模式为例） 任务调度 DAGScheduler TaskScheduler DAGScheduler ScheduleBacked 详细 阅读全文
posted @ 2017-08-12 23:15 百里登峰 阅读(277) 评论(0) 推荐(0)
Spark 编程模型（下）
摘要：
创建Pair RDD 什么是Pair RDD 创建Pair RDD Pair RDD的转化操作 Pair RDD的转化操作1 在xshell启动 reduceByKey的意思是把相同的key的value的值相加起来 Pair RDD转换操作2 Pair RDD的action操作 Pair RDD转换 阅读全文
posted @ 2017-08-12 18:07 百里登峰 阅读(186) 评论(0) 推荐(0)
Spark 编程模型(中)
摘要：
先在IDEA新建一个maven项目 我这里用的是jdk1.8,选择相应的骨架 这里选择本地在window下安装的maven 新的项目创建成功 我的开始pom.xml文件配置 先在终端下试下打包 可以看到失败了！！！ 把这几个生成默认的东西删除掉 再次测试 成功了 把他clean一下 进入自己在虚拟机 阅读全文
posted @ 2017-08-11 23:06 百里登峰 阅读(306) 评论(0) 推荐(0)
浙公网安备 33010602011771号