摘要： 一、简介 MySQL是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，目前属于 Oracle 旗下产品。MySQL 最流行的关系型数据库管理系统，在 WEB 应用方面MySQL是最好的 RDBMS (Relational Database Management System，关系数据库管 阅读全文

摘要： 一、Jquery简介 定义 jQuery创始人是美国John Resig，是优秀的Javascript框架； jQuery是一个轻量级、快速简洁的javaScript库。 jQuery对象 jQuery产生的对象时jQuery独有的，只能自己调用 书写规则 支持链式操作； 在变量前加"$"符号（va 阅读全文

摘要： 问题来源 问题往往都是这样来的突然，让我措手不及。 小孩没娘说来话长啊，操作系统是centos6.5因此默认自带的python是2.6.6的，突然有一天我要写一个关于kafka topic消费情况的监控，因此我需要安装一个包，很不巧这个包要求很特殊需要python2.7，没招只能升级了，升级比较简单 阅读全文

摘要： 多线程的基本概念 语言学习总是绕不过一些东西，例如多进程和多线程，最近越来越发现，上来看几个实例练习一下过几天就不知其所以然了。所以还是先看看原理，在看实例练习吧！ 线程的概念 概念：线程是进程中执行运算的最小单位，是进程中的一个实体，是被系统独立调度和分派的基本单位，线程自己不拥有系统资源，只拥有 阅读全文

摘要： 1.前提条件 我学习过程是一块一块深入的，在把hdfs基本弄懂以及HA成功的情况开始尝试搭建yarn的，建议在搭建前先去看一下转载的原理篇，懂了原理后搭建会很快的，再次强调一下hdfs我默认已经搭建成功了 2.搭建环境准备 1，主机环境：4台centos机器。 rtest-mysql-01： 主NN 阅读全文

摘要： 文件为转载：http://blog.csdn.net/liuwenbo0920/article/details/43304243 一.YARN基本架构 YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器Re 阅读全文

摘要： 1.背景 1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。 2、分区表指的是在创建表时指定的partition的分区空间。 3、如果需要创建有分区的表，需要在create表的时候调用可 阅读全文

摘要： 1.概述 Hadoop Streaming提供了一个便于进行MapReduce编程的工具包，使用它可以基于一些可执行命令、脚本语言或其他编程语言来实现Mapper和 Reducer，从而充分利用Hadoop并行计算框架的优势和能力，来处理大数据。需要注意的是，Streaming方式是基于Unix系统 阅读全文

摘要： sqoop简介 sqoop名字是怎么来的？Sqoop： SQL-to-Hadoop 连接传统数据库和hadoop的桥梁，把关系型数据库的数据导入到hadoop系统（如HDFS,HBASE和hive中），把数据从hadoop系统里抽取并导出到关系型数据库里。利用MapReduce加快数据传输速度，批量 阅读全文

摘要： 错误记录 安装的时候遇到了如下错误 遇到这种情况大家都找不到头绪，是因为你开始运行了hive的metastore，可以输入jps 然后出现如下： 需要杀掉这个Runjar的进程在启动。 阅读全文