百里登峰 - 博客园

Phoenix 安装完的几个简单使用

摘要： Phoenix 安装完之后的一些简单使用：本屌丝的运行环境是3节点集群,先启动hadoop,每个节点分别启动zookeeper,启动hbase(具体怎么启动这里就不多说了) 进入 phoenix的bin目录（我这里做了个软链接）现在启动phoenix 在客户端执行!tables 命令，罗列所有表阅读全文

posted @ 2017-08-22 11:53 百里登峰阅读(1384) 评论(0) 推荐(0)

安装phoenix时，执行命令./sqlline.py hostname1,hostname2.hostname3..... 时报错 ImportError: No module named argparse

摘要：问题描述：怎么解决呢：网上看了好多方法，但是本屌丝表示看不懂啊，没理解人家的博客的博大精深，好吧我们回到正题！！先切换到root用户下安装这个东西 yum install python-argparse 可以看到安装成功了！！！再次执行命令 bin/sqlline.py master(bin 阅读全文

posted @ 2017-08-21 23:25 百里登峰阅读(1463) 评论(0) 推荐(0)

Spark on Yarn

摘要： YARN是什么 YARN在hadoop生态系统中的位置 YARN产生的背景 YARN的基本架构 ResourceManager NodeManager ApplicationMaster container Spark On Yarn 配置和部署编译时包含yarn 基本配置在没有配置的前提下试下阅读全文

posted @ 2017-08-20 22:18 百里登峰阅读(204) 评论(0) 推荐(0)

hadoop hdfs常用命令

摘要： hadoop hdfs常用命令 hadoop常用命令： hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hadoop fs –put test.txt /user/sunlig 阅读全文

posted @ 2017-08-16 21:27 百里登峰阅读(279) 评论(0) 推荐(0)

Spark standalone运行模式

摘要： Spark Standalone 部署配置 Standalone架构手工启动一个Spark集群 https://spark.apache.org/docs/latest/spark-standalone.html 通过脚本启动集群编辑slaves,其实把worker所在节点添加进去配置spar 阅读全文

posted @ 2017-08-16 20:27 百里登峰阅读(941) 评论(0) 推荐(0)

jps命令发生异常

摘要：当在集群里输入jps命令时报如下错误：我就开始检查jdk,感觉应该是centos自动的jdk没卸载干净跟后面安装的jdk冲突先通过命令 rpm -qa|grep java 查看jdk信息把这几个都卸载掉再次查看jdk信息，jps命令还是不能用报了这个错误 bash: /usr/bin/jp 阅读全文

posted @ 2017-08-15 15:57 百里登峰阅读(2200) 评论(0) 推荐(0)

Spark运行模式概述

摘要： Spark编程模型的回顾 spark编程模型几大要素 RDD的五大特征 Application program的组成运行流程概述具体流程（以standalone模式为例）任务调度 DAGScheduler TaskScheduler DAGScheduler ScheduleBacked 详细阅读全文

posted @ 2017-08-12 23:15 百里登峰阅读(265) 评论(0) 推荐(0)

Spark 编程模型（下）

摘要：创建Pair RDD 什么是Pair RDD 创建Pair RDD Pair RDD的转化操作 Pair RDD的转化操作1 在xshell启动 reduceByKey的意思是把相同的key的value的值相加起来 Pair RDD转换操作2 Pair RDD的action操作 Pair RDD转换阅读全文

posted @ 2017-08-12 18:07 百里登峰阅读(172) 评论(0) 推荐(0)

Spark 编程模型(中)

摘要：先在IDEA新建一个maven项目我这里用的是jdk1.8,选择相应的骨架这里选择本地在window下安装的maven 新的项目创建成功我的开始pom.xml文件配置先在终端下试下打包可以看到失败了！！！把这几个生成默认的东西删除掉再次测试成功了把他clean一下进入自己在虚拟机阅读全文

posted @ 2017-08-11 23:06 百里登峰阅读(284) 评论(0) 推荐(0)

Spark 编程模型(上)

摘要： Spark的编程模型核心概念（注意对比MR里的概念来学习） Spark Application的组成 Spark Application基本概念 Spark Application编程模型回顾scala版本的 wordcount程序初识RDD 什么是RDD RDD接口 RDD的本质特征 RDD 阅读全文

posted @ 2017-08-11 18:18 百里登峰阅读(261) 评论(0) 推荐(0)

百里登风

导航

公告