摘要： 1、安装package control使用control+~打开终端，然后输入以下内容并确定：import urllib.request,os;pf='Package Control.sublime-package';ipp=sublime.installed_packages_path();url... 阅读全文

摘要： 一、规划 （一）硬件资源 10.171.29.191 master10.171.94.155 slave110.251.0.197 slave3（二）基本资料 用户： jediael 目录：/mnt/jediael/ 二、环境配置 （一）统一用户名密码，并为jediael赋予执行所有命令的权限 #p... 阅读全文

摘要： 一、环境准备1、安装jdk、maven等2、下载hadoop源代码，并解压3、将tools.jar复制到Classes中，具体原因见http://wiki.apache.org/hadoop/HowToSetupYourDevelopmentEnvironmentcd $JAVA_HOME mkdi... 阅读全文

摘要： 更多内容请参考官方文档：http://maven.apache.org/guides/index.html 官方文档很详细，基本上可以查找到一切相关的内容。另外，快速入门可参考视频：孔浩的maven视频。一、快速入门（一）搭建环境1、下载maven，并将之解压或者直接使用yum 来安装2、配置环境变... 阅读全文

摘要： /etc/profile:此文件为系统的每个用户设置环境信息,当用户第一次登录时,该文件被执行.并从/etc/profile.d目录的配置文件中搜集shell的设置./etc/bashrc:为每一个运行bash shell的用户执行此文件.当bash shell被打开时,该文件被读取.~/.bash... 阅读全文

摘要： Client写入 -> 存入MemStore，一直到MemStore满 -> Flush成一个StoreFile，直至增长到一定阈值 -> 出发Compact合并操作 -> 多个StoreFile合并成一个StoreFile，同时进行版本合并和数据删除 -> 当StoreFiles Compact后... 阅读全文

摘要： 总结：1、B+树将数据完全排序，读数据时很快，但当要修改数据时，就需要将新入数据下面的数据重新排位，特别是当写入的数据排在较高的位置时，需要大量的移位操作才能完成写入。2、SLM牺牲部分的读性能，从而提高写性能：将数据分散到多个有序列表中，每个列表保存一部分数据，这样读取数据时，就需要先查找在哪个有... 阅读全文

摘要： 一、JVM调优基本流程1、划分应用程序的系统需求优先级2、选择JVM部署模式：单JVM、多JVM3、选择JVM运行模式4、调优应用程序内存使用5、调优应用程序延迟6、调优应用程序吞吐量二、选择JVM部署模式：单JVM、多JVM1、单JVM优点：不需要管理多个JVM，降低管理成本； 应用程序消耗内存数... 阅读全文

摘要： hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。 为了方便介绍，先... 阅读全文

摘要： 在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer... 阅读全文