摘要： 今天启动clouder manager集群时候hbase list出现 （ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet ERROR: Can't get maste 阅读全文

摘要： hive分为CLI（command line）（用的比较多） JDBC/ODBC-ThriftServer hiveServer（hive -service hiveserver），JDBC访问，一个客户端连接数,需要建立pool池,内存损耗极大,容易内存溢出（数据量太大不用） web gui（基本 阅读全文

摘要： tar zxvf 解压包 配置环境变量 export HIVE_HOME=/usr/local/soft/hiveexport PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin source生效 y 阅读全文

摘要： 1 先拷贝tar包到目录底下（tar 包解压 tar zxvf） 2 ： 1、使用课程提供的hadoop-2.5.0-cdh5.3.6.tar.gz，上传到虚拟机的/usr/local目录下。（http://archive.cloudera.com/cdh5/cdh/5/）2、将hadoop包进行解 阅读全文

摘要： 转自：http://longriver.me/?p=57 方法1： 单进程处理大规模的文件速度如（上million量级）比较慢，可以采用awk取模的方法，将文件分而治之，这样可以利用充分的利用多核CPU的优势 1 2 3 4 for((i=0;i<5;i++));do cat query_ctx.2 阅读全文

摘要： 几个cpu more /proc/cpuinfo |grep "physical id"|uniq|wc -l 每个cpu是几核（假设cpu配置相同） more /proc/cpuinfo |grep "physical id"|grep "0"|wc -l cat /proc/cpuinfo | 阅读全文

摘要： 之前学习过这一问题,但是面试又被问道了。再次记录下 推还是拉？ Kafka最初考虑的问题是，customer应该从brokes拉取消息还是brokers将消息推送到consumer，也就是pull还push。在这方面，Kafka遵循了一种大部分消息系统共同的传统的设计：producer将消息推送到b 阅读全文

摘要： 我尝试着在classpath中加n入mysql的驱动仍不行解决方法：在启动的时候加入参数--driver-class中加入mysql 驱动 [hadoop@master spark-1.0.1-bin-hadoop2]$ bin/spark-shell --driver-class-path lib 阅读全文

摘要： 1.3源码是如此,后面新版本源码会尽可能的根据用户shell配置的参数进行分配 1.spareadOutApps 尽可能分配到多的机器上面execute和CPU core 2.非spareadoutapps 尽可能少的分配到少的机器上,机器尽可能多的容纳execute和CPU core 总结:所以用 阅读全文

摘要： 1. spark conf 目录下需要配置进去hadoop home 2.需要spark 提交的配置文件 加上‘-- master yarn-cluster/yarn-client’设置提交的模式 阅读全文