百里登风

导航

2017年8月22日

Phoenix 安装完的几个简单使用

摘要: Phoenix 安装完之后的一些简单使用: 本屌丝的运行环境是3节点集群,先启动hadoop,每个节点分别启动zookeeper,启动hbase(具体怎么启动这里就不多说了) 进入 phoenix的bin目录(我这里做了个软链接) 现在启动phoenix 在客户端执行!tables 命令,罗列所有表 阅读全文

posted @ 2017-08-22 11:53 百里登峰 阅读(1384) 评论(0) 推荐(0)

2017年8月21日

安装phoenix时,执行命令./sqlline.py hostname1,hostname2.hostname3..... 时报错 ImportError: No module named argparse

摘要: 问题描述: 怎么解决呢: 网上看了好多方法,但是本屌丝表示看不懂啊,没理解人家的博客的博大精深,好吧我们回到正题!! 先切换到root用户下安装这个东西 yum install python-argparse 可以看到安装成功了!!! 再次执行命令 bin/sqlline.py master(bin 阅读全文

posted @ 2017-08-21 23:25 百里登峰 阅读(1463) 评论(0) 推荐(0)

2017年8月20日

Spark on Yarn

摘要: YARN是什么 YARN在hadoop生态系统中的位置 YARN产生的背景 YARN的基本架构 ResourceManager NodeManager ApplicationMaster container Spark On Yarn 配置和部署 编译时包含yarn 基本配置 在没有配置的前提下试下 阅读全文

posted @ 2017-08-20 22:18 百里登峰 阅读(204) 评论(0) 推荐(0)

2017年8月16日

hadoop hdfs常用命令

摘要: hadoop hdfs常用命令 hadoop常用命令: hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hadoop fs –put test.txt /user/sunlig 阅读全文

posted @ 2017-08-16 21:27 百里登峰 阅读(279) 评论(0) 推荐(0)

Spark standalone运行模式

摘要: Spark Standalone 部署配置 Standalone架构 手工启动一个Spark集群 https://spark.apache.org/docs/latest/spark-standalone.html 通过脚本启动集群 编辑slaves,其实把worker所在节点添加进去 配置spar 阅读全文

posted @ 2017-08-16 20:27 百里登峰 阅读(941) 评论(0) 推荐(0)

2017年8月15日

jps命令发生异常

摘要: 当在集群里输入jps命令时报如下错误: 我就开始检查jdk,感觉应该是centos自动的jdk没卸载干净跟后面安装的jdk冲突 先通过命令 rpm -qa|grep java 查看jdk信息 把这几个都卸载掉 再次查看jdk信息,jps命令还是不能用 报了这个错误 bash: /usr/bin/jp 阅读全文

posted @ 2017-08-15 15:57 百里登峰 阅读(2200) 评论(0) 推荐(0)

2017年8月12日

Spark运行模式概述

摘要: Spark编程模型的回顾 spark编程模型几大要素 RDD的五大特征 Application program的组成 运行流程概述 具体流程(以standalone模式为例) 任务调度 DAGScheduler TaskScheduler DAGScheduler ScheduleBacked 详细 阅读全文

posted @ 2017-08-12 23:15 百里登峰 阅读(265) 评论(0) 推荐(0)

Spark 编程模型(下)

摘要: 创建Pair RDD 什么是Pair RDD 创建Pair RDD Pair RDD的转化操作 Pair RDD的转化操作1 在xshell启动 reduceByKey的意思是把相同的key的value的值相加起来 Pair RDD转换操作2 Pair RDD的action操作 Pair RDD转换 阅读全文

posted @ 2017-08-12 18:07 百里登峰 阅读(172) 评论(0) 推荐(0)

2017年8月11日

Spark 编程模型(中)

摘要: 先在IDEA新建一个maven项目 我这里用的是jdk1.8,选择相应的骨架 这里选择本地在window下安装的maven 新的项目创建成功 我的开始pom.xml文件配置 先在终端下试下打包 可以看到失败了!!! 把这几个生成默认的东西删除掉 再次测试 成功了 把他clean一下 进入自己在虚拟机 阅读全文

posted @ 2017-08-11 23:06 百里登峰 阅读(284) 评论(0) 推荐(0)

Spark 编程模型(上)

摘要: Spark的编程模型 核心概念(注意对比MR里的概念来学习) Spark Application的组成 Spark Application基本概念 Spark Application编程模型 回顾scala版本的 wordcount程序 初识RDD 什么是RDD RDD接口 RDD的本质特征 RDD 阅读全文

posted @ 2017-08-11 18:18 百里登峰 阅读(261) 评论(0) 推荐(0)