小得盈满

摘要： Solr是一个企业级搜索服务器，对外提供Web-Service接口，用户可以通过http请求，向搜索引擎提交xml或者json格式的数据，生成索引；然后可以通过http get请求查找，获取返回的xml或者json等多种格式的数据。 首先去官网下载solr安装包，网址是：https://lucene 阅读全文

摘要： Zookeeper是一个分布式、开源的分布式应用程序协调服务，是Google的Chubby的开源实现，也是和Hadoop、Hbase相互配合的重要组件，作用就是为分布式应用程序提供一致性服务，包括配置维护、名字服务、分布式同步等 接下来在之前配置好hadoop集群环境的3台虚拟机上配置zookeep 阅读全文

摘要： 上个博客写了Hadoop2.6.0的环境部署，下面写一个简单的基于数字排序的小程序，真正实现分布式的计算，原理就是对多个文件中的数字进行排序，每个文件中每个数字占一行，排序原理是按行读取后分块进行排序，最后对块进行合并，通俗来说就是首先对小于100的数据范围进行排序，然后对100-1000之间的数据 阅读全文

摘要： Hadoop的集群部署和单节点部署类似，配置文件不同，另外需要修改网络方面的配置 首先，准备3台虚拟机，系统为CentOS 6.6，其中一台为namenode 剩余两台为 datanode； 修改主机名主节点为：hadoopha，数据节点主机名分别为hadoop1、hadoop2，具体修改方法点击这 阅读全文

摘要： 红帽系列的Linux发行版主机名存放位置是/etc/sysconfig/network，Ubuntu Linux主机名存放位置是/etc/hostname，所以只要修改主机名存放文件便可以永久的修改计算机名 以CentOS为例，可以使用hostname命令查看当前的主机名，通过vim /etc... 阅读全文

摘要： 网上打包的CHM格式的文档，有时候打开无论点击目录哪一章节都会出现一片空白或者显示已取消到该网页的导航 这个情况的原因就是CHM文件在Windows的HTFS文件系统中会默认被阻止显示，解决方法就是在文件上右击，选择属性，在常规选项卡界面下方的安全中会看到文件被阻止了，选中"解除锁定"复选... 阅读全文

摘要： 首先编写WordCount.java源文件，分别通过map和reduce方法统计文本中每个单词出现的次数，然后按照字母的顺序排列输出， Map过程首先是多个map并行提取多个句子里面的单词然后分别列出来每个单词，出现次数为1，全部列举出来 Reduce过程首先将相同key的数据进行查找分组然后合并， 阅读全文

摘要： Hadoop环境搭建成功后，一般会运行一个小例子，这时候就涉及到了对HDFS文件系统的操作，对于刚开始学习Hadoop的初学者一般会多次的进行name节点的格式化操作，最后导致上传文件会抛出异常，通过jps命令查看会发现除了DataNode进程外其他进程都在正常运行，所以格式化只能进行一次，后续的集 阅读全文

摘要： 首先要下载hadoop的包，版本选择1.2.1的，下载地址为：http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/ 这里可以下载hadoop-1.2.1-tar.gz包括源码或者hadoop-1.2.1-bin.tar.gz执行包不包括 阅读全文

摘要： 我们知道在Linux下挂载fat32的U盘非常容易，使用mount /dev/drive_name /mnt/指定目录这样就可以挂载了，但是如果U盘或者硬盘的格式是NTFS的话，那么Linux是不能识别的，所以直接挂载会出错，解决方法是下载第三方工具NTFS-3G，具体步骤如下： 访问官网的下... 阅读全文