上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 27 下一页
摘要: P3-P4: 目前遇见的问题很简单:硬盘容量不断提升,1TB的已成为主流,然而数据传输速度从1990年的4.4MB/s仅上升到当前约100MB/s 读取一个1TB的硬盘数据需要耗时至少2.5个小时。写入数据则会消耗更多时间。解决方法是从多个硬盘上读取,试想,若当前有100个盘,每个盘存储1%数据,则 阅读全文
posted @ 2017-01-20 12:06 Aviva_ye 阅读(266) 评论(0) 推荐(0) 编辑
摘要: hadoop2.0+主要变化: 全新的MapReduce 2,它建立在一个新的分布式资源管理系统之上,该系统称之为YARN。 YARN:分布式资源管理系统 阅读全文
posted @ 2017-01-20 11:03 Aviva_ye 阅读(162) 评论(0) 推荐(0) 编辑
摘要: 一、并行数据库系统 新一代高性能的数据库系统,是在MPP和集群并行计算环境的基础上建立的数据库系统。 MPP:大规模并行处理计算机:Massive Parallel Processor。指的是一种处理机技术。由大量通用微处理器构成的多处理机系统,适合多指令流多数据流处理。这样的系统是由许多松耦合处理 阅读全文
posted @ 2017-01-20 10:49 Aviva_ye 阅读(221) 评论(0) 推荐(0) 编辑
摘要: 一、简介 阅读全文
posted @ 2016-12-27 12:42 Aviva_ye 阅读(310) 评论(0) 推荐(0) 编辑
摘要: 1、创建mysql数据库、表、以及测试数据mysql> desc test;+ + + + + + +| Field | Type | Null | Key | Default | Extra |+ + + + + + +| id | int(11) | NO | PRI | NULL | auto 阅读全文
posted @ 2016-12-19 13:32 Aviva_ye 阅读(690) 评论(0) 推荐(0) 编辑
摘要: 一、创建一个mysql的link MySQL链接使用的是JDBC,必须有对应的驱动文件jar,还得有对应的访问权限,请确保能在server端访问MySQL。确保mysql的jar包已经导入到${SQOOP_HOME}/server/lib/目录下。 例子: sqoop:000> create lin 阅读全文
posted @ 2016-12-19 13:27 Aviva_ye 阅读(8071) 评论(0) 推荐(0) 编辑
摘要: 官网文档:http://sqoop.apache.org/docs/1.99.7/user/CommandLineClient.html#delete-link-function 一、了解sqoop数据导入的几个重要概念 二、几个常用的重要命令 三、查看 查看服务器 查看版本 查看内置连接器 其他查 阅读全文
posted @ 2016-12-19 11:49 Aviva_ye 阅读(2486) 评论(0) 推荐(0) 编辑
摘要: 一、简介 官网: 版本: 二、安装配置 下载版本: 安装:直接解压放在任意目录即可。 sqoop目录 配置 (1)安装Java JDK 版本 [root@hadoop-allinone-200-123 hadoop-2.7.3]# java -versionjava version "1.7.0_6 阅读全文
posted @ 2016-12-19 10:19 Aviva_ye 阅读(7019) 评论(0) 推荐(0) 编辑
摘要: 1、SOLR 2、Lucene 3、sphinx http://sphinxsearch.com/ 相比Lucene速度更快,有中文分词的支持,内置了对简单的分布式检索的支持 阅读全文
posted @ 2016-12-12 11:14 Aviva_ye 阅读(440) 评论(0) 推荐(0) 编辑
摘要: hadoop伪分布式-all-in-one安装 #查看hadoop 版本 阅读全文
posted @ 2016-12-12 10:44 Aviva_ye 阅读(257) 评论(0) 推荐(0) 编辑
上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 27 下一页