Aviva_ye

摘要： P3-P4： 目前遇见的问题很简单:硬盘容量不断提升，1TB的已成为主流，然而数据传输速度从1990年的4.4MB/s仅上升到当前约100MB/s 读取一个1TB的硬盘数据需要耗时至少2.5个小时。写入数据则会消耗更多时间。解决方法是从多个硬盘上读取，试想，若当前有100个盘，每个盘存储1%数据，则 阅读全文

摘要： hadoop2.0+主要变化： 全新的MapReduce 2，它建立在一个新的分布式资源管理系统之上，该系统称之为YARN。 YARN：分布式资源管理系统 阅读全文

摘要： 一、并行数据库系统 新一代高性能的数据库系统，是在MPP和集群并行计算环境的基础上建立的数据库系统。 MPP：大规模并行处理计算机：Massive Parallel Processor。指的是一种处理机技术。由大量通用微处理器构成的多处理机系统，适合多指令流多数据流处理。这样的系统是由许多松耦合处理 阅读全文

摘要： 一、简介 阅读全文

摘要： 1、创建mysql数据库、表、以及测试数据mysql> desc test;+ + + + + + +| Field | Type | Null | Key | Default | Extra |+ + + + + + +| id | int(11) | NO | PRI | NULL | auto 阅读全文

摘要： 一、创建一个mysql的link MySQL链接使用的是JDBC，必须有对应的驱动文件jar，还得有对应的访问权限，请确保能在server端访问MySQL。确保mysql的jar包已经导入到${SQOOP_HOME}/server/lib/目录下。 例子： sqoop:000> create lin 阅读全文

摘要： 官网文档：http://sqoop.apache.org/docs/1.99.7/user/CommandLineClient.html#delete-link-function 一、了解sqoop数据导入的几个重要概念 二、几个常用的重要命令 三、查看 查看服务器 查看版本 查看内置连接器 其他查 阅读全文

摘要： 一、简介 官网： 版本： 二、安装配置 下载版本： 安装：直接解压放在任意目录即可。 sqoop目录 配置 （1）安装Java JDK 版本 [root@hadoop-allinone-200-123 hadoop-2.7.3]# java -versionjava version "1.7.0_6 阅读全文

摘要： 1、SOLR 2、Lucene 3、sphinx http://sphinxsearch.com/ 相比Lucene速度更快，有中文分词的支持，内置了对简单的分布式检索的支持 阅读全文

摘要： hadoop伪分布式-all-in-one安装 #查看hadoop 版本 阅读全文