摘要：
转载自：http://jingyan.baidu.com/article/b7001fe1512db80e7282dd06.html U盘启动盘制作方法： 1.从网上下载最新的老毛桃U盘启动制作工具主程序并安装 2.插入U盘（制作启动盘前先保存好你的资料到其它地方，以防丢失不可找回） 3.插入正确的 阅读全文
随笔档案-2016年01月
java.lang.UnsupportedOperationException
2016-01-25 16:36 by Mandylover, 210 阅读, 收藏,
摘要：
在运行路况预测这个项目时，报错出现：java.lang.UnsupportedOperationException原因：我将1.3版本和1.6版本的两个jar包都Add to Build Path 了将其中一个去掉，remove就解决了。 阅读全文
Spark的几种运行模式
2016-01-24 21:18 by Mandylover, 550 阅读, 收藏,
摘要：
1.local单机模式，结果xshell可见：./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local[1] ./lib/spark-examples-1.6.0-hadoop2.4.0.jar 1002.... 阅读全文
Hadoop HDFS的常用命令
2016-01-24 21:10 by Mandylover, 500 阅读, 收藏,
摘要：
1.将目录/root/data/下的item.txt复制到HDFS下的/user/root下： hadoop fs -copyFromLocal /root/data/item.txt itemdata若使用mahout将文件输出到另一目录下，可用命令：./bin/mahout recommendi... 阅读全文
Spark简介
2016-01-23 22:15 by Mandylover, 331 阅读, 收藏,
摘要：
1. Spark是近年来发展较快的分布式并行数据处理框架，可以与Hadoop联合使用，增强Hadoop的性能。同时，Spark还增加了内存缓存、流数据处理、图数据处理等更为高级的数据处理能力。2.Spark的特点： ○ 高可伸缩性 ○ 高容错○ 基于内存计算3.Spark的生态体系:BDAS ○ M... 阅读全文
Hadoop datanode无法启动的错误
2016-01-23 21:25 by Mandylover, 237 阅读, 收藏,
摘要：
在启动Hadoop分布式部署的过程中，发现datanode没有正常启动，查看了一下日志发现报错：java.io.IOException: Incompatible clusterIDs in /opt/hadoop-2.5/dfs/data: namenode clusterID = CID-adf... 阅读全文
kafka在虚拟机环境的优化
2016-01-19 20:47 by Mandylover, 845 阅读, 收藏,
摘要：
首先是，多磁盘的并发的问题。不管怎么说，虚拟机环境至少剥夺了单个kafka同时使用多个磁盘的优势。也就意味着，在同一个虚拟机，同一个topic，最好只有一partition；当然，不同topic之间partition如果同时生产－消费也会互相影响，但不一定会同时在高峰（同个topic一定）。构建较... 阅读全文
kafka的安装和使用
2016-01-19 20:19 by Mandylover, 235 阅读, 收藏,
摘要：
简单说kafka是一个高吞吐的分部式消息系统,并且提供了持久化。kafka的架构• producer：消息生存者• consumer：消息消费者• broker：kafka集群的server，负责处理消息读、写请求，存储消息• topic：消息队列/分类• Queue里面有生产者消费者模型• bro... 阅读全文
Strom的安装及使用
2016-01-19 19:56 by Mandylover, 373 阅读, 收藏,
摘要：
在使用storm之前，首先看zookeeper是否安装好单机版1.在node1上修改配置文件conf下的storm.yaml文件2.检查Java和Python的版本是否符合要求，运行java -version和python -version 版本至少在Java 6+,Python 2.6.6+以上3... 阅读全文
机器学习
2016-01-19 14:22 by Mandylover, 243 阅读, 收藏,
摘要：
机器学习包括三方面：协同过滤（主要用于推荐）、分类器和聚类（无监督学习）。1.协同过滤协同过滤是推荐系统中使用的技术• 简单来说是利用某兴趣相投、拥有共同经验之群体的喜好来推荐使用者感兴趣的资讯基于用户的协同过滤（基于用户的协同过滤算法 UserCF）简单讲就是，给用户推荐和他兴趣相似的其他用户喜欢... 阅读全文
Tomcat启动时为什么要配置CATALINA_HOME环境变量？？
2016-01-17 16:46 by Mandylover, 2279 阅读, 收藏,
摘要：
CATALINA_HOME的值被设为Tomcat的安装目录，如果环境变量CATALINA_HOME已经存在，则通过这个环境变量调用bin目录下的“catalina.batstart”命令1.Tomcat启动时，需要查找CATALINA_HOME这个环境变量，如果在Tomcat的bin目录下调用 st... 阅读全文
sqoop的安装和使用
2016-01-13 21:01 by Mandylover, 1012 阅读, 收藏,
摘要：
在sqoop使用前，应先安装好hive和zookeeper，还要在一台虚拟机里安装好mysql1.先将zookeeper启动：zkServer.sh start,集群启动起来：start-all.sh2.启动mysql:service mysql start然后进入mysql的客户端：3.在wind... 阅读全文
hive的安装步骤
2016-01-12 19:47 by Mandylover, 283 阅读, 收藏,
摘要：
在node2里安装一下hive1.2.1，步骤如下： 1.解压hive的安装包 2.改变目录：mv apache-hive-1.2.1-bin /home/install/hive-1.2 3.vi ~/.bash_profile 进行环境变量的配置： source ~/.bash_profile 阅读全文
flume服务的搭建
2016-01-12 19:29 by Mandylover, 348 阅读, 收藏,
摘要：
搭建前先统一时间，关闭防火墙，使用的jar包版本是1.6.0的服务配置有两种方式第一种：具体步骤如下：1.将jar包传至node1上，解压至根目录2.更改目录名，使用如下命令：mv apache-flume-1.6.0-bin /home/install/flume-1.63.进入flume-1.6... 阅读全文
org.apache.hadoop.io.LongWritable cannot be cast to org.apache.hadoop.io.Text
2016-01-12 09:02 by Mandylover, 3349 阅读, 收藏,
摘要：
代码缺少这一行：job.setInputFormatClass(KeyValueTextInputFormat.class); 阅读全文
hbase单机环境的搭建和完全分布式Hbase集群安装配置
2016-01-10 23:29 by Mandylover, 445 阅读, 收藏,
摘要：
HBase 是一个开源的非关系(NoSQL)的可伸缩性分布式数据库。它是面向列的，并适合于存储超大型松散数据。HBase适合于实时，随机对Big数据进行读写操作的业务环境。 @hbase单机环境的搭建 1.首先配置好JDK，准备好hbase-0.98.12.1-hadoop2-bin.tar的压缩包 阅读全文
yarn环境的搭建
2016-01-04 21:23 by Mandylover, 503 阅读, 收藏,
摘要：
1.首先，在zookeeper搭建成功，服务运行的基础上搭建yarn,其次，保证时间一致2.在 /home/install/hadoop-2.5/etc/hadoop目录下配置一下几个配置文件：第一个：yarn-site.xml yarn.resourcemanager.ha.enabled tru... 阅读全文
zookeeper环境的搭建
2016-01-04 20:55 by Mandylover, 199 阅读, 收藏,
摘要：
接管条件：磁盘上原数据完全一样，而自动接管，则是由zookeeper 实现的FailloverController：控制namenode状态；检查namenode；通过远程协议zookeeper 实现的步骤：前提：三台防火墙都关闭、时间一致（ntpdate -u ntp.sjtu.edu.cn 20... 阅读全文
搭建hdfs服务器集群的搭建+trash
2016-01-03 22:24 by Mandylover, 456 阅读, 收藏,
摘要：
完全分布式搭建需要三台机器：node1、node2和node3 搭建时间之前首先要保持时间一致：date ntpdateyum install ntpdatentpdate -u ntp.sjtu.edu.cndate 如果时间不能设置，可以使用以下命令：rdate -s time-b.timefr 阅读全文
浙公网安备 33010602011771号