摘要：
在使用storm之前，首先看zookeeper是否安装好单机版1.在node1上修改配置文件conf下的storm.yaml文件2.检查Java和Python的版本是否符合要求，运行java -version和python -version 版本至少在Java 6+,Python 2.6.6+以上3... 阅读全文
随笔分类 - 大数据
机器学习
2016-01-19 14:22 by Mandylover, 253 阅读, 收藏,
摘要：
机器学习包括三方面：协同过滤（主要用于推荐）、分类器和聚类（无监督学习）。1.协同过滤协同过滤是推荐系统中使用的技术• 简单来说是利用某兴趣相投、拥有共同经验之群体的喜好来推荐使用者感兴趣的资讯基于用户的协同过滤（基于用户的协同过滤算法 UserCF）简单讲就是，给用户推荐和他兴趣相似的其他用户喜欢... 阅读全文
sqoop的安装和使用
2016-01-13 21:01 by Mandylover, 1024 阅读, 收藏,
摘要：
在sqoop使用前，应先安装好hive和zookeeper，还要在一台虚拟机里安装好mysql1.先将zookeeper启动：zkServer.sh start,集群启动起来：start-all.sh2.启动mysql:service mysql start然后进入mysql的客户端：3.在wind... 阅读全文
flume服务的搭建
2016-01-12 19:29 by Mandylover, 358 阅读, 收藏,
摘要：
搭建前先统一时间，关闭防火墙，使用的jar包版本是1.6.0的服务配置有两种方式第一种：具体步骤如下：1.将jar包传至node1上，解压至根目录2.更改目录名，使用如下命令：mv apache-flume-1.6.0-bin /home/install/flume-1.63.进入flume-1.6... 阅读全文
hbase单机环境的搭建和完全分布式Hbase集群安装配置
2016-01-10 23:29 by Mandylover, 460 阅读, 收藏,
摘要：
HBase 是一个开源的非关系(NoSQL)的可伸缩性分布式数据库。它是面向列的，并适合于存储超大型松散数据。HBase适合于实时，随机对Big数据进行读写操作的业务环境。 @hbase单机环境的搭建 1.首先配置好JDK，准备好hbase-0.98.12.1-hadoop2-bin.tar的压缩包 阅读全文
zookeeper环境的搭建
2016-01-04 20:55 by Mandylover, 212 阅读, 收藏,
摘要：
接管条件：磁盘上原数据完全一样，而自动接管，则是由zookeeper 实现的FailloverController：控制namenode状态；检查namenode；通过远程协议zookeeper 实现的步骤：前提：三台防火墙都关闭、时间一致（ntpdate -u ntp.sjtu.edu.cn 20... 阅读全文
搭建hdfs服务器集群的搭建+trash
2016-01-03 22:24 by Mandylover, 461 阅读, 收藏,
摘要：
完全分布式搭建需要三台机器：node1、node2和node3 搭建时间之前首先要保持时间一致：date ntpdateyum install ntpdatentpdate -u ntp.sjtu.edu.cndate 如果时间不能设置，可以使用以下命令：rdate -s time-b.timefr 阅读全文
安装solr
2015-12-29 17:46 by Mandylover, 155 阅读, 收藏,
摘要：
安装之前先关闭防火墙、安装好jdk和tomcat1.启动tomcat的命令为：apache-tomcat-7.0.61/bin/startup.sh2.拷贝solr目录下example/webapps/solr.war，到/home/apache-tomcat-7.0.61/webapps目录下3.... 阅读全文
浙公网安备 33010602011771号