• 博客园logo
  • 会员
  • 众包
  • 新闻
  • 博问
  • 闪存
  • 赞助商
  • HarmonyOS
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录

littlesuccess

  • 博客园
  • 联系
  • 订阅
  • 管理

公告

上一页 1 2 3 下一页

2015年12月3日

AAS代码第2章

摘要: [root@node1 aas]# pwd/root/aas[root@node1 aas]# wget http://archive.apache.org/dist/spark/spark-1.2.1/spark-1.2.1-bin-hadoop2.4.tgz [root@node1 aas]# ... 阅读全文

posted @ 2015-12-03 16:05 littlesuccess 阅读(297) 评论(0) 推荐(0)

2015年12月2日

AWS-CDH5.5安装-软件下载

摘要: 1.下载安装介质下载CM安装文件:[root@ip-172-31-30-175 cm5.5.0]# wget -c -r -nd -np -k -L -A rpm http://archive-primary.cloudera.com/cm5/redhat/6/x86_64/cm/5/RPMS/x8... 阅读全文

posted @ 2015-12-02 15:07 littlesuccess 阅读(508) 评论(0) 推荐(0)

AWS-CDH5.5安装 CM配置节点

摘要: 在CM节点上进行安装时出现错误:================================================================================ Package Arch Version Repository Size ================... 阅读全文

posted @ 2015-12-02 14:33 littlesuccess 阅读(649) 评论(0) 推荐(0)

2015年12月1日

AWS-CDH5.5安装-安装

摘要: 1.安装MySQL[root@ip-172-31-30-175 mysql]# rpm -ivh MySQL-server-5.6.27-1.el6.x86_64.rpm MySQL-client-5.6.27-1.el6.x86_64.rpm warning: MySQL-server-5.6.2... 阅读全文

posted @ 2015-12-01 20:09 littlesuccess 阅读(780) 评论(0) 推荐(0)

2015年11月5日

Spark-1.5.1 on CDH-5.4.7

摘要: 1.修改拷贝/root/spark-1.5.1-bin-hadoop2.6/conf下面spark-env.sh.template到spark-env.sh,并添加设置HADOOP_CONF_DIR:# Options read when launching programs locally wit... 阅读全文

posted @ 2015-11-05 10:09 littlesuccess 阅读(497) 评论(0) 推荐(0)

2015年10月10日

tpch-kudu

摘要: 1.在impala里建立好文本表:create external table customer (C_CUSTKEY INT, C_NAME STRING, C_ADDRESS STRING, C_NATIONKEY INT, C_PHONE STRING, C_ACCTBAL DOUBLE, C_... 阅读全文

posted @ 2015-10-10 18:05 littlesuccess 阅读(625) 评论(0) 推荐(0)

kudu playground

摘要: 建表:CREATE TABLE my_first_table (id BIGINT,name STRING)TBLPROPERTIES('storage_handler' = 'com.cloudera.kudu.hive.KuduStorageHandler','kudu.table_name' ... 阅读全文

posted @ 2015-10-10 16:15 littlesuccess 阅读(1214) 评论(0) 推荐(0)

2015年9月5日

CDH5.4.5运行多字符分割记录

摘要: 准备工作:测试文件内容:cis_cust_imp_info20131131|+|100010001001|+|BR01|+|2000.0120131131|+|100010001002|+|BR01|+|2000.0220131131|+|100010001003|+|BR02|+|2000.03将... 阅读全文

posted @ 2015-09-05 00:12 littlesuccess 阅读(481) 评论(0) 推荐(0)

2015年9月4日

CDH5.4.5运行Phoenix导入CSV文件

摘要: 1.安装phoenix在界面上设置Phoenix的parcel包:http://52.11.56.155:7180/cmf/settings?groupKey=config.scm.parcel.display_group&groupParent=添加一个Remote Parcel Reposito... 阅读全文

posted @ 2015-09-04 19:08 littlesuccess 阅读(2734) 评论(0) 推荐(0)

2015年7月4日

AAS代码运行-第11章-2

摘要: hdfs dfs -ls /user/littlesuccess/AdvancedAnalysisWithSparkhdfs dfs -mkdir /user/littlesuccess/AdvancedAnalysisWithSpark/ch11hdfs dfs -put fish.py /use... 阅读全文

posted @ 2015-07-04 21:58 littlesuccess 阅读(648) 评论(0) 推荐(0)

AAS代码运行-第11章-1

摘要: 启动PySparkexport IPYTHON=1 # PySpark也可使用IPython shellpyspark --master yarn --num-executors 3发生如下错误:/opt/cloudera/parcels/CDH-5.3.3-1.cdh5.3.3.p0.5/bin/... 阅读全文

posted @ 2015-07-04 20:33 littlesuccess 阅读(441) 评论(0) 推荐(0)

2015年5月23日

CIB Training Scripts For TPC-H Benchmark

摘要: http://52.11.56.155:7180/http://52.11.56.155:8888/impala-shell -i 172.31.25.244sudo -u hdfs hdfs dfs -du -h /http://54.149.20.119:25000/第一步:准备工作生成tpc-... 阅读全文

posted @ 2015-05-23 18:49 littlesuccess 阅读(343) 评论(0) 推荐(0)

2015年3月28日

转载:CDH5.X完全卸载步骤

摘要: http://blog.csdn.net/wulantian/article/details/42706777//CDH5.X完全卸载步骤# by coco# 2015-01-141. 关闭集群中的所有服务。这个可以通过clouder manger 主页关闭集群。2. 卸载[root@master ... 阅读全文

posted @ 2015-03-28 21:28 littlesuccess 阅读(1110) 评论(0) 推荐(0)

2015年3月19日

运行impala tpch

摘要: 1.安装git和下载tpc-h-impala脚步[root@ip-172-31-34-31 ~]# yum install git[root@ip-172-31-34-31 ~]# git clone https://github.com/kj-ki/tpc-h-impala[root@ip-172... 阅读全文

posted @ 2015-03-19 10:16 littlesuccess 阅读(668) 评论(0) 推荐(1)

2014年10月8日

ssh 无密码登陆

摘要: ssh -i littlesuccess-aws.pem root@172.31.36.91 "cat >> ~/.ssh/authorized_keys" < ~/.ssh/id_rsa.pub 阅读全文

posted @ 2014-10-08 13:18 littlesuccess 阅读(142) 评论(0) 推荐(0)

2014年7月12日

TPCH Benchmark with Impala

摘要: 1. 生成测试数据在TPC-H的官网http://www.tpc.org/tpch/上下载dbgen工具,生成数据http://www.tpc.org/tpch/spec/tpch_2_17_0.zip[root@ip-172-31-10-151 tpch]# wget http://www.tpc... 阅读全文

posted @ 2014-07-12 23:28 littlesuccess 阅读(2457) 评论(0) 推荐(0)

2014年6月30日

在Eclipse上建立hbase 0.98.3/0.96.2源代码阅读环境

摘要: 2.1. 切换到源代码目录,执行:mvn install -DskipTests -Dhttp.proxyHost=proxy01.cd.intel.com -Dhttp.proxyPort=911黄色部分作用为设置代理。由于本人的编译环境在公司内网,所以需要设置代理2.2. 生成eclipse项目... 阅读全文

posted @ 2014-06-30 09:46 littlesuccess 阅读(341) 评论(0) 推荐(0)

2014年6月26日

在Eclipse上建立hadoop2.2.0/hadoop2.4.0源代码阅读环境

摘要: 1.安装依赖的包:yum install gcc-c++ g++ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev2. 安装protobuf 2.5.0,首先去google的网站上下载protobuf源代码,解压并切换到... 阅读全文

posted @ 2014-06-26 13:14 littlesuccess 阅读(280) 评论(0) 推荐(0)

2014年6月18日

Spark Streaming之旅

摘要: 1. 打开spark-shell2. 建立StreamingContextimport org.apache.spark.streaming._import org.apache.spark.streaming.StreamingContext._import org.apache.spark.ap... 阅读全文

posted @ 2014-06-18 11:15 littlesuccess 阅读(345) 评论(0) 推荐(0)

SparkSQL之旅

摘要: 1.准备数据employee.txt1001,Gong Shaocheng,11002,Li Dachao,11003,Qiu Xin,11004,Cheng Jiangzhong,21005,Wo Binggang,3将数据放入hdfs[root@jfp3-1 spark-studio]# hdf... 阅读全文

posted @ 2014-06-18 10:03 littlesuccess 阅读(893) 评论(0) 推荐(0)

2014年6月17日

Setup Spark source code environment

摘要: 1. Install Java and set JAVA_HOME2. Install Eclipse Juno Java IDE, Scala plugin and Scala Test3. Download spark1.0.04. Generate a workspace for eclips... 阅读全文

posted @ 2014-06-17 10:05 littlesuccess 阅读(275) 评论(0) 推荐(0)

2014年4月16日

spark0.9.1 assembly build-RedHat6.4 YARN 2.2.0

摘要: 1. Install git on RedHat6.4: 1.1. setup your local yum repo 1.2. yum install git2. Install JDK and set PATH3. Install Scala 2.10.4 and set PATH4. Down... 阅读全文

posted @ 2014-04-16 22:21 littlesuccess 阅读(192) 评论(0) 推荐(0)

2014年4月9日

转载:ODS简介

摘要: 什么是ODS?信息处理的多层次要求导致了一种新的数据环境——DB-DW的中间层ODS(操作型数据存储)的出现。ODS是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。通过统一规划,规范框架和数据,ODS可以实现操作型数据整合和各个系统之间的数据交换,能够提供实时的操作型报表,减轻数据仓库的负担。建设ODS还可以为后期数据仓库建设做好准备。什么是ODS? ODS全称为Operational Data Store,即操作型数据存储,是“面向主题的、集成的、可变的、反映当前数据值的和详细的数据的集合,用来满足企业综合的、集成的以及操作型的处理需求”(Bill.Inmon)。ODS是数... 阅读全文

posted @ 2014-04-09 11:34 littlesuccess 阅读(884) 评论(0) 推荐(0)

2014年4月4日

Hadoop1.2.1 全集群3节点安装-rpm安装

摘要: 1.在三个节点上安装JDK RPM2.在三个节点上安装HADOOP-1.2.1 RPMrpm方式安装和gz解压方式安装后的目录结构有些不同.安装好之后无需设置HADOOP_HOME环境变量[root@server-914 usr]# whereis hadoophadoop: /usr/bin/hadoop /etc/hadoop /usr/etc/hadoop /usr/include/hadoop /usr/share/hadoop可执行文件在/usr/bin/hadoop,之前在conf目录下的配置文件都在/etc/hadoop下,/usr/etc/hadoop是指向/etc/hadoo 阅读全文

posted @ 2014-04-04 10:17 littlesuccess 阅读(328) 评论(0) 推荐(0)

2014年2月21日

在standalone模式下运行yarn 0.9.0对HDFS上的数据进行计算

摘要: 1.通读http://spark.incubator.apache.org/docs/latest/spark-standalone.html2.在每台机器上将spark安装到/opt/spark3.在第一台机器上启动spark master.[root@jfp3-1 latest]# ./sbin/start-master.sh在logs目录查看日志:[root@jfp3-1 latest]# tail -100f logs/spark-root-org.apache.spark.deploy.master.Master-1-jfp3-1.out Spark Command: /usr/ja 阅读全文

posted @ 2014-02-21 13:30 littlesuccess 阅读(1455) 评论(0) 推荐(0)

yarn 0.9.0 build spark

摘要: 1. 下载scala并安装。版本为2.10.3。设置SCALA_HOME和PATH环境变量2. 下载SPARK 0.9.0源代码并解压到/root/Downloads/spark-0.9.0-incubatinghttp://www.apache.org/dyn/closer.cgi/incubator/spark/spark-0.9.0-incubating/spark-0.9.0-incubating.tgz注意,也可以下载已经编译好的包。见:http://www.apache.org/dyn/closer.cgi/incubator/spark/spark-0.9.0-incubatin 阅读全文

posted @ 2014-02-21 09:36 littlesuccess 阅读(374) 评论(0) 推荐(0)

2014年2月14日

redhat6.4上build storm 0.9.0.1

摘要: 1.安装mvn2.下载源代码3.buildmvn package过程中出现问题,clojars.org 访问不了。通过私服映射clojars.org并在pom.xml中将dependency的地址改掉。重新运行mvn package发现问题:java.lang.RuntimeException: Pipe to subprocess seems to be broken! No output read.Shell Process Exception:/tmp/a3a2aead-499f-4f93-8390-0650f2d75d0f/supervisor/stormdist/test-1-139 阅读全文

posted @ 2014-02-14 14:07 littlesuccess 阅读(566) 评论(0) 推荐(0)

2014年2月12日

redhat6.4安装storm集群-4节点

摘要: 0.搭建ftp服务器并建立yum源1.在每个节点上安装java并设置环境变量2.在三个节点上安装zookeeper3.安装zeromq过程中发现运行./configure时出现问题:configure: error: no acceptable C compiler found in $PATH运行以下命令即可:yum install gcc-c++configure: error: cannot link with -luuid, install uuid-dev.运行以下命令即可:yum install libuuid-devel4.安装jzmq在运行autogen.sh中间出现问题:au 阅读全文

posted @ 2014-02-12 17:02 littlesuccess 阅读(227) 评论(0) 推荐(0)

2013年12月26日

Hadoop 2.2.0 4结点集群安装 非HA

摘要: 总体介绍虚拟机4台,分布在1个物理机上,配置基于hadoop的集群中包括4个节点: 1个 Master, 3个 Salve,i p分布为:10.10.96.33 hadoop1 (Master)10.10.96.59 hadoop2 (Slave)10.10.96.65 hadoop3 (Slave)10.10.96.64 hadoop4 (Slave)操作系统为Red Hat Enterprise Linux Server release 6.4,GNU/Linux 2.6.32Master机器主要配置NameNode和JobTracker的角色,负责总管分布式数据和分解任务的执 行;3个S 阅读全文

posted @ 2013-12-26 16:20 littlesuccess 阅读(402) 评论(0) 推荐(0)

2013年12月18日

redhat6.4上安装mysql

摘要: 1.挂载操作系统介质[root@server-556 ~]# mkdir -p /media/dvd[root@server-556 ~]# mount -t iso9660 -o loop RHEL6.4-20130130.0-Server-x86_64-DVD1.iso /media/dvd3.查看myql相关rpm包[root@server-556 ~]# cd /media/dvd/Packages/[root@server-556 Packages]# ls | grep mysqldovecot-mysql-2.0.9-5.el6.x86_64.rpmlibdbi-dbd-mysq 阅读全文

posted @ 2013-12-18 17:41 littlesuccess 阅读(1320) 评论(0) 推荐(0)

redhat6.4上用apache建立os repos

摘要: 1.挂载OS介质文件[root@server-557 Packages]# mkdir -p /media/dvd[root@server-557 Packages]# mount -t iso9660 -o loop RHEL6.4-20130130.0-Server-x86_64-DVD1.is... 阅读全文

posted @ 2013-12-18 15:34 littlesuccess 阅读(303) 评论(0) 推荐(0)

2013年12月10日

Hive Over HBase

摘要: 1. 在hbase上建测试表hbase(main):003:0> create 'test_hive_over_hbase','f'0 row(s) in 2.5810 secondshbase(main):004:0> put 'test_hive_over_hbase','1001','f:DATA','2012|shaochen'0 row(s) in 0.2010 secondshbase(main):005:0> put 'test_hive_over_hbase 阅读全文

posted @ 2013-12-10 15:37 littlesuccess 阅读(628) 评论(0) 推荐(0)

Hadoop 2.2.0学习笔记20131210

摘要: 伪分布式单节点安装执行pi失败:[root@server-518 ~]# ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar pi 5 10出错信息:Number of Maps = 5Samples per Map = 1013/12/10 11:04:26 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where. 阅读全文

posted @ 2013-12-10 11:50 littlesuccess 阅读(1551) 评论(1) 推荐(0)

Hadoop 2.2.0学习笔记20131209

摘要: 1.下载java 7并安装[root@server-518 ~]# rpm -ivh jdk-7u40-linux-x64.rpmPreparing... ########################################### [100%] 1:jdk ########################################### [100%]Unpacking JAR files... rt.jar... jsse.jar... charsets.jar.... 阅读全文

posted @ 2013-12-10 11:02 littlesuccess 阅读(833) 评论(0) 推荐(0)

2013年11月1日

IDH2.5.1. Pain Points

摘要: 1. On Redhat 6.2 after uninstalling a cluster, and re-install IDH 2.5.1, you meet a "can not write /etc/nginx/nginx.conf" and you can not install IDHroot cause: when you uninstall, there is an error "cannot connect to the IDH or OS yum reposity." and the uninstallation is not ful 阅读全文

posted @ 2013-11-01 00:06 littlesuccess 阅读(298) 评论(0) 推荐(0)

2013年10月21日

64位Win7下编译hadoop 1.2.1问题解决

摘要: 0.报sed的错误.原因在于没有安装cygwin。安装cygwin的时候要选择sed1.Cannot run program "autoreconf"。这个问题在网上看了很多解决方法之后,发现都是没有结果的。最后放弃。我现在的解决方法见2.2.先在Linux操作系统Ubuntu 12.4上编译好ant eclipse ,然后把编译好的hadoop源代码文件夹拷贝到Windows 7上。并在eclipse 上通过新建JAVA Project来导入源代码。导入源代码之后发现很多在Linux下依赖的jar包找不到.原因在于在linux上编译时的依赖文件都放在了/home/shao 阅读全文

posted @ 2013-10-21 09:59 littlesuccess 阅读(534) 评论(0) 推荐(0)

2013年10月16日

linux shell 指令 诸如-d, -f, -e之类的判断表达式

摘要: 文件比较运算符-e filename 如果 filename存在,则为真 [ -e /var/log/syslog ]-d filename 如果 filename为目录,则为真 [ -d /tmp/mydir ]-f filename 如果 filename为常规文件,则为真 [ -f /usr/bin/grep ]-L filename 如果 filename为符号链接,则为真 [ -L /usr/bin/grep ]-r filename 如果 filename可读,则为真 [ -r /var/log/syslog ]-w filename 如果 filename可... 阅读全文

posted @ 2013-10-16 11:43 littlesuccess 阅读(255) 评论(0) 推荐(0)

Linux shell的&&和||

摘要: Linuxshell的&&和||shell 在执行某个命令的时候,会返回一个返回值,该返回值保存在 shell 变量 $? 中。当 $? == 0 时,表示执行成功;当 $? == 1 时,表示执行失败。 www.2cto.com 有时候,下一条命令依赖前一条命令是否执行成功。如:在成功地执行一条命令之后再执行另一条命令,或者在一条命令执行失败后再执行另一条命令等。shell 提供了 && 和 || 来实现命令执行控制的功能,shell 将根据 && 或 || 前面命令的返回值来控制其后面命令的执行。&&(命令执行控制)语法格式如 阅读全文

posted @ 2013-10-16 11:32 littlesuccess 阅读(681) 评论(0) 推荐(0)

转载: 变量替换之 ${}

摘要: 原文地址:http://blog.chinaunix.net/uid-13954789-id-3014591.html${变量#关键词}若变量内容从头开始的数据符合『关键词』,则将符合的最短数据去除${变量##关键词}若变量内容从头开始的数据符合『关键词』,则将符合的最长数据去除${变量%关键词}若变量内容从尾向前的数据符合『关键词』,则将符合的最短数据去除${变量%%关键词}若变量内容从尾向前的数据符合『关键词』,则将符合的最长数据去除${变量/旧字符串/新字符串}若变量内容符合『旧字符串』则『第一个旧字符串会被新字符串替代』${变量//旧字符串/新字符串}若变量内容符合『旧字符串』则『全部 阅读全文

posted @ 2013-10-16 11:12 littlesuccess 阅读(590) 评论(0) 推荐(0)

2013年10月11日

CentOS6.4安装Hadoop2.0.5 alpha - 3-Node Cluster

摘要: 1.在第2个个节点上重复http://www.cnblogs.com/littlesuccess/p/3361497.html文章中的第1-5步2.修改第1个节点上的hdfs-site.xml中的配置份数为3[root@server-305 ~]# vim /opt/hadoop/etc/hadoop/hdfs-site.xml dfs.replication 3 3.修改第一个节点上的yarn-site.xml中的yarn resourcemanager地址[root@server-306 hadoop]# vi yarn-site.xml yarn.resour... 阅读全文

posted @ 2013-10-11 13:19 littlesuccess 阅读(522) 评论(0) 推荐(0)

上一页 1 2 3 下一页
 
博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3