littlesuccess

摘要： [root@node1 aas]# pwd/root/aas[root@node1 aas]# wget http://archive.apache.org/dist/spark/spark-1.2.1/spark-1.2.1-bin-hadoop2.4.tgz [root@node1 aas]# ... 阅读全文

摘要： 1.下载安装介质下载CM安装文件:[root@ip-172-31-30-175 cm5.5.0]# wget -c -r -nd -np -k -L -A rpm http://archive-primary.cloudera.com/cm5/redhat/6/x86_64/cm/5/RPMS/x8... 阅读全文

摘要： 在CM节点上进行安装时出现错误：================================================================================ Package Arch Version Repository Size ================... 阅读全文

摘要： 1.安装MySQL[root@ip-172-31-30-175 mysql]# rpm -ivh MySQL-server-5.6.27-1.el6.x86_64.rpm MySQL-client-5.6.27-1.el6.x86_64.rpm warning: MySQL-server-5.6.2... 阅读全文

摘要： 1.修改拷贝/root/spark-1.5.1-bin-hadoop2.6/conf下面spark-env.sh.template到spark-env.sh，并添加设置HADOOP_CONF_DIR:# Options read when launching programs locally wit... 阅读全文

摘要： 1.在impala里建立好文本表:create external table customer (C_CUSTKEY INT, C_NAME STRING, C_ADDRESS STRING, C_NATIONKEY INT, C_PHONE STRING, C_ACCTBAL DOUBLE, C_... 阅读全文

摘要： 建表:CREATE TABLE my_first_table (id BIGINT,name STRING)TBLPROPERTIES('storage_handler' = 'com.cloudera.kudu.hive.KuduStorageHandler','kudu.table_name' ... 阅读全文

摘要： 准备工作:测试文件内容：cis_cust_imp_info20131131|+|100010001001|+|BR01|+|2000.0120131131|+|100010001002|+|BR01|+|2000.0220131131|+|100010001003|+|BR02|+|2000.03将... 阅读全文

摘要： 1.安装phoenix在界面上设置Phoenix的parcel包:http://52.11.56.155:7180/cmf/settings?groupKey=config.scm.parcel.display_group&groupParent=添加一个Remote Parcel Reposito... 阅读全文

摘要： hdfs dfs -ls /user/littlesuccess/AdvancedAnalysisWithSparkhdfs dfs -mkdir /user/littlesuccess/AdvancedAnalysisWithSpark/ch11hdfs dfs -put fish.py /use... 阅读全文

摘要： 启动PySparkexport IPYTHON=1 # PySpark也可使用IPython shellpyspark --master yarn --num-executors 3发生如下错误:/opt/cloudera/parcels/CDH-5.3.3-1.cdh5.3.3.p0.5/bin/... 阅读全文

摘要： http://52.11.56.155:7180/http://52.11.56.155:8888/impala-shell -i 172.31.25.244sudo -u hdfs hdfs dfs -du -h /http://54.149.20.119:25000/第一步：准备工作生成tpc-... 阅读全文

摘要： http://blog.csdn.net/wulantian/article/details/42706777//CDH5.X完全卸载步骤# by coco# 2015-01-141. 关闭集群中的所有服务。这个可以通过clouder manger 主页关闭集群。2. 卸载[root@master ... 阅读全文

摘要： 1.安装git和下载tpc-h-impala脚步[root@ip-172-31-34-31 ~]# yum install git[root@ip-172-31-34-31 ~]# git clone https://github.com/kj-ki/tpc-h-impala[root@ip-172... 阅读全文

摘要： ssh -i littlesuccess-aws.pem root@172.31.36.91 "cat >> ~/.ssh/authorized_keys" < ~/.ssh/id_rsa.pub 阅读全文

摘要： 1. 生成测试数据在TPC-H的官网http://www.tpc.org/tpch/上下载dbgen工具，生成数据http://www.tpc.org/tpch/spec/tpch_2_17_0.zip[root@ip-172-31-10-151 tpch]# wget http://www.tpc... 阅读全文

摘要： 2.1. 切换到源代码目录，执行:mvn install -DskipTests -Dhttp.proxyHost=proxy01.cd.intel.com -Dhttp.proxyPort=911黄色部分作用为设置代理。由于本人的编译环境在公司内网，所以需要设置代理2.2. 生成eclipse项目... 阅读全文

摘要： 1.安装依赖的包:yum install gcc-c++ g++ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev2. 安装protobuf 2.5.0,首先去google的网站上下载protobuf源代码，解压并切换到... 阅读全文

摘要： 1. 打开spark-shell2. 建立StreamingContextimport org.apache.spark.streaming._import org.apache.spark.streaming.StreamingContext._import org.apache.spark.ap... 阅读全文

摘要： 1.准备数据employee.txt1001,Gong Shaocheng,11002,Li Dachao,11003,Qiu Xin,11004,Cheng Jiangzhong,21005,Wo Binggang,3将数据放入hdfs[root@jfp3-1 spark-studio]# hdf... 阅读全文

摘要： 1. Install Java and set JAVA_HOME2. Install Eclipse Juno Java IDE, Scala plugin and Scala Test3. Download spark1.0.04. Generate a workspace for eclips... 阅读全文

摘要： 1. Install git on RedHat6.4: 1.1. setup your local yum repo 1.2. yum install git2. Install JDK and set PATH3. Install Scala 2.10.4 and set PATH4. Down... 阅读全文

摘要： 什么是ODS?信息处理的多层次要求导致了一种新的数据环境——DB-DW的中间层ODS（操作型数据存储）的出现。ODS是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。通过统一规划，规范框架和数据，ODS可以实现操作型数据整合和各个系统之间的数据交换，能够提供实时的操作型报表，减轻数据仓库的负担。建设ODS还可以为后期数据仓库建设做好准备。什么是ODS? ODS全称为Operational Data Store，即操作型数据存储，是“面向主题的、集成的、可变的、反映当前数据值的和详细的数据的集合，用来满足企业综合的、集成的以及操作型的处理需求”(Bill.Inmon)。ODS是数... 阅读全文

摘要： 1.在三个节点上安装JDK RPM2.在三个节点上安装HADOOP-1.2.1 RPMrpm方式安装和gz解压方式安装后的目录结构有些不同.安装好之后无需设置HADOOP_HOME环境变量[root@server-914 usr]# whereis hadoophadoop: /usr/bin/hadoop /etc/hadoop /usr/etc/hadoop /usr/include/hadoop /usr/share/hadoop可执行文件在/usr/bin/hadoop,之前在conf目录下的配置文件都在/etc/hadoop下，/usr/etc/hadoop是指向/etc/hadoo 阅读全文

摘要： 1.通读http://spark.incubator.apache.org/docs/latest/spark-standalone.html2.在每台机器上将spark安装到/opt/spark3.在第一台机器上启动spark master.[root@jfp3-1 latest]# ./sbin/start-master.sh在logs目录查看日志:[root@jfp3-1 latest]# tail -100f logs/spark-root-org.apache.spark.deploy.master.Master-1-jfp3-1.out Spark Command: /usr/ja 阅读全文

摘要： 1. 下载scala并安装。版本为2.10.3。设置SCALA_HOME和PATH环境变量2. 下载SPARK 0.9.0源代码并解压到/root/Downloads/spark-0.9.0-incubatinghttp://www.apache.org/dyn/closer.cgi/incubator/spark/spark-0.9.0-incubating/spark-0.9.0-incubating.tgz注意，也可以下载已经编译好的包。见：http://www.apache.org/dyn/closer.cgi/incubator/spark/spark-0.9.0-incubatin 阅读全文

摘要： 1.安装mvn2.下载源代码3.buildmvn package过程中出现问题,clojars.org 访问不了。通过私服映射clojars.org并在pom.xml中将dependency的地址改掉。重新运行mvn package发现问题:java.lang.RuntimeException: Pipe to subprocess seems to be broken! No output read.Shell Process Exception:/tmp/a3a2aead-499f-4f93-8390-0650f2d75d0f/supervisor/stormdist/test-1-139 阅读全文

摘要： 0.搭建ftp服务器并建立yum源1.在每个节点上安装java并设置环境变量2.在三个节点上安装zookeeper3.安装zeromq过程中发现运行./configure时出现问题：configure: error: no acceptable C compiler found in $PATH运行以下命令即可：yum install gcc-c++configure: error: cannot link with -luuid, install uuid-dev.运行以下命令即可：yum install libuuid-devel4.安装jzmq在运行autogen.sh中间出现问题:au 阅读全文

摘要： 总体介绍虚拟机4台，分布在1个物理机上，配置基于hadoop的集群中包括4个节点： 1个 Master， 3个 Salve，i p分布为：10.10.96.33 hadoop1 （Master）10.10.96.59 hadoop2 （Slave）10.10.96.65 hadoop3 （Slave）10.10.96.64 hadoop4 （Slave）操作系统为Red Hat Enterprise Linux Server release 6.4，GNU/Linux 2.6.32Master机器主要配置NameNode和JobTracker的角色，负责总管分布式数据和分解任务的执 行；3个S 阅读全文

摘要： 1.挂载操作系统介质[root@server-556 ~]# mkdir -p /media/dvd[root@server-556 ~]# mount -t iso9660 -o loop RHEL6.4-20130130.0-Server-x86_64-DVD1.iso /media/dvd3.查看myql相关rpm包[root@server-556 ~]# cd /media/dvd/Packages/[root@server-556 Packages]# ls | grep mysqldovecot-mysql-2.0.9-5.el6.x86_64.rpmlibdbi-dbd-mysq 阅读全文

摘要： 1.挂载OS介质文件[root@server-557 Packages]# mkdir -p /media/dvd[root@server-557 Packages]# mount -t iso9660 -o loop RHEL6.4-20130130.0-Server-x86_64-DVD1.is... 阅读全文

摘要： 1. 在hbase上建测试表hbase(main):003:0> create 'test_hive_over_hbase','f'0 row(s) in 2.5810 secondshbase(main):004:0> put 'test_hive_over_hbase','1001','f:DATA','2012|shaochen'0 row(s) in 0.2010 secondshbase(main):005:0> put 'test_hive_over_hbase 阅读全文

摘要： 伪分布式单节点安装执行pi失败：[root@server-518 ~]# ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar pi 5 10出错信息:Number of Maps = 5Samples per Map = 1013/12/10 11:04:26 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where. 阅读全文

摘要： 1.下载java 7并安装[root@server-518 ~]# rpm -ivh jdk-7u40-linux-x64.rpmPreparing... ########################################### [100%] 1:jdk ########################################### [100%]Unpacking JAR files... rt.jar... jsse.jar... charsets.jar.... 阅读全文

摘要： 1. On Redhat 6.2 after uninstalling a cluster, and re-install IDH 2.5.1, you meet a "can not write /etc/nginx/nginx.conf" and you can not install IDHroot cause: when you uninstall, there is an error "cannot connect to the IDH or OS yum reposity." and the uninstallation is not ful 阅读全文

摘要： 0.报sed的错误.原因在于没有安装cygwin。安装cygwin的时候要选择sed1.Cannot run program "autoreconf"。这个问题在网上看了很多解决方法之后，发现都是没有结果的。最后放弃。我现在的解决方法见2.2.先在Linux操作系统Ubuntu 12.4上编译好ant eclipse ，然后把编译好的hadoop源代码文件夹拷贝到Windows 7上。并在eclipse 上通过新建JAVA Project来导入源代码。导入源代码之后发现很多在Linux下依赖的jar包找不到.原因在于在linux上编译时的依赖文件都放在了/home/shao 阅读全文

摘要： 文件比较运算符-e filename 如果 filename存在，则为真 [ -e /var/log/syslog ]-d filename 如果 filename为目录，则为真 [ -d /tmp/mydir ]-f filename 如果 filename为常规文件，则为真 [ -f /usr/bin/grep ]-L filename 如果 filename为符号链接，则为真 [ -L /usr/bin/grep ]-r filename 如果 filename可读，则为真 [ -r /var/log/syslog ]-w filename 如果 filename可... 阅读全文

摘要： Linuxshell的&&和||shell 在执行某个命令的时候，会返回一个返回值，该返回值保存在 shell 变量 $? 中。当 $? == 0 时，表示执行成功；当 $? == 1 时，表示执行失败。 www.2cto.com 有时候，下一条命令依赖前一条命令是否执行成功。如：在成功地执行一条命令之后再执行另一条命令，或者在一条命令执行失败后再执行另一条命令等。shell 提供了 && 和 || 来实现命令执行控制的功能，shell 将根据 && 或 || 前面命令的返回值来控制其后面命令的执行。&&（命令执行控制）语法格式如 阅读全文

摘要： 原文地址:http://blog.chinaunix.net/uid-13954789-id-3014591.html${变量#关键词}若变量内容从头开始的数据符合『关键词』，则将符合的最短数据去除${变量##关键词}若变量内容从头开始的数据符合『关键词』，则将符合的最长数据去除${变量%关键词}若变量内容从尾向前的数据符合『关键词』，则将符合的最短数据去除${变量%%关键词}若变量内容从尾向前的数据符合『关键词』，则将符合的最长数据去除${变量/旧字符串/新字符串}若变量内容符合『旧字符串』则『第一个旧字符串会被新字符串替代』${变量//旧字符串/新字符串}若变量内容符合『旧字符串』则『全部 阅读全文

摘要： 1.在第2个个节点上重复http://www.cnblogs.com/littlesuccess/p/3361497.html文章中的第1-5步2.修改第1个节点上的hdfs-site.xml中的配置份数为3[root@server-305 ~]# vim /opt/hadoop/etc/hadoop/hdfs-site.xml dfs.replication 3 3.修改第一个节点上的yarn-site.xml中的yarn resourcemanager地址[root@server-306 hadoop]# vi yarn-site.xml yarn.resour... 阅读全文