摘要：
http://www.cnblogs.com/gpcuster/archive/2010/06/04/1751538.html在这篇文章中，我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh进入HADOOP_HOME目录。执行sh bin/stop-all.sh关闭Hadoop文件操作Hadoop使用的是HDFS，能够实现的功能和我们使用的磁盘系统类似。并且支持通配符，如*。查看文件列表查看hdf 阅读全文
posted @ 2011-11-09 12:49
Jonson Li
阅读(448)
评论(0)
推荐(0)
摘要：
无论是在Hadoop集群中添加机器和删除机器，都无需停机，整个服务不中断。本次操作之前，Hadoop的集群情况如下：HDFS的机器情况如下：MR的机器情况如下：添加机器在集群的Master机器中，修改$HADOOP_HOME/conf/slaves文件，在其中添加需要加入集群的新机器（hp3）的主机名：hp3hp2dell1dell2dell3dell4然后在Master机器中执行如下命令：$HADOOP_HOME/bin/start-all.sh这样操作完成之后，新的机器就添加到集群中来了。HDFS集群增加了一台新的机器：MR集群中也新增了一台机器：删除机器不安全的方式由于Hadoop集群自 阅读全文
posted @ 2011-11-09 12:43
Jonson Li
阅读(264)
评论(0)
推荐(0)
摘要：
http://www.cnblogs.com/gpcuster/archive/2010/02/25/1673480.htmlHWI是Hive Web Interface的简称，是hive cli的一个web替换方案。关于如何搭建Hive平台，可以参考：搭建Hive平台但是目前这个功能做的比较简陋，这篇文章我们一起来看看如何使用hive-0.4.1中自带的hwi来进行操作。打开HWI假设hive部署在10.20.151.7机器上，conf/hive-default.xml文件都是默认值，那么我们直接在浏览器中输入：http://10.20.151.7:9999/hwi/ 就可以访问了。访问sc 阅读全文
posted @ 2011-11-09 12:42
Jonson Li
阅读(662)
评论(0)
推荐(0)
摘要：
http://www.cnblogs.com/gpcuster/archive/2010/02/24/1672635.htmlHive是一个基于Hadoop的数据仓库平台。通过hive，我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言：HQL，能够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。本文讲解如何搭建一个Hive平台。假设我们有3台机器：hadoop1,hadoop2,hadoop3。并且都安装好了Hadoop-0.19.2（hive支持的Hadoop版本很多），hosts文件配置正确。Hive部署在hadoop1机器上。最简单，最快速 阅读全文
posted @ 2011-11-09 12:35
Jonson Li
阅读(411)
评论(0)
推荐(0)
摘要：
http://ilovejavaforever.iteye.com/blog/733247一、 Hadoop环境搭建 首先在Apache官网下载hadoop的包hadoop-0.20.2.tar.gz。 解压hadoop-0.20.2.tar.gz包，具体命令如下： tar zxvf hadoop-0.20.2.tar.gz 其中要注意的是，tar 包用xvf ，gz包用zxvf。在安装中，如果遇到识别问题，或者无法解压，很有可能是权限问题，解决方案是修改此文件的使用权限，命令如下： chmod 777 hadoop-0.20.2.tar.gz 其中，777为所有权限。 如果依然报错，如：A. 阅读全文
posted @ 2011-11-09 12:09
Jonson Li
阅读(527)
评论(0)
推荐(0)
摘要：
http://www.cnblogs.com/lipan/archive/2011/03/28/1997202.htmlMongoDB中的索引其实类似于关系型数据库，都是为了提高查询和排序的效率的，并且实现原理也基本一致。由于集合中的键(字段)可以是普通数据 类型，也可以是子文档。MongoDB可以在各种类型的键上创建索引。下面分别讲解各种类型的索引的创建，查询，以及索引的维护等。一、创建索引 1. 默认索引 MongoDB有个默认的“_id”的键，他相当于“主键”的角色。集合创建后系统会自动创建一个索引在“_id”键上，它是默认索引，索引名叫“_id_”，是无法被删除的。我们可以通过以... 阅读全文
posted @ 2011-11-09 00:17
Jonson Li
阅读(310)
评论(0)
推荐(0)
摘要：
http://www.cnblogs.com/lipan/archive/2011/03/21/1989409.html由于MongoDB的文档结构为BJSON格式（BJSON全称：Binary JSON），而BJSON格式本身就支持保存二进制格式的数据，因此可以把文件的二进制格式的数据直接保存到MongoDB的文档结构中。但是由于一个 BJSON的最大长度不能超过4M，所以限制了单个文档中能存入的最大文件不能超过4M。为了提供对大容量文件存取的支持，samus驱动提供了 “GridFS”方式来支持，“GridFS”方式文件操作需要引入新的程序集“MongoDB.GridFS.dll”。下面我 阅读全文
posted @ 2011-11-09 00:16
Jonson Li
阅读(310)
评论(0)
推荐(0)
摘要：
http://www.cnblogs.com/lipan/archive/2011/03/17/1986616.htmlMongoDB的集合（collection）可以看做关系型数据库的表，文档对象（document）可以看做关系型数据库的一条记录。但两者并 不完全对等。表的结构是固定的，MongoDB集合并没有这个约束；另外，存入集合的文档对象甚至可以嵌入子文档，或者“子集合”。他们最终都可以用类似 于BJSON的格式描述。我们今天就来分析MongoDB这一特性带来的独特数据管理方式。我们还是以samus驱动为例来分析，samus驱动支持两种 方式访问数据库，基本方式和linq方式，基本方式 阅读全文
posted @ 2011-11-09 00:15
Jonson Li
阅读(322)
评论(0)
推荐(0)
摘要：
看到下图，是通过Jqgrid实现表格数据的基本增删查改的操作。表格数据增删改是一般企业应用系统开发的常见功能，不过不同的是这个表格数据来源 是非关系型的数据库MongoDB。nosql虽然概念新颖，但是MongoDB基本应用实现起来还是比较轻松的，甚至代码比基本的ADO.net访问关 系数据源还要简洁。由于其本身的“非关系”的数据存储方式，使得对象关系映射这个环节对于MongoDB来讲显得毫无意义，因此我们也不会对 MongoDB引入所谓的“ORM”框架。 下面我们将逐步讲解怎么在MVC模式下将MongoDB数据读取，并展示在前台Jqgrid表格上。这个“简易系统”的基本设计思想是这样的... 阅读全文
posted @ 2011-11-09 00:14
Jonson Li
阅读(269)
评论(0)
推荐(0)
摘要：
http://www.cnblogs.com/lipan/archive/2011/03/08/1966463.html一、前言 最近开始学习非关系型数据库MongoDB，却在博客园上找不到比较系统的教程，很多资料都要去查阅英文网站，效率比较低下。本人不才，借着自 学的机会把心得体会都记录下来，方便感兴趣的童鞋分享讨论。部分资源出自其他博客，旨将零散知识点集中到一起，如果有侵犯您的权利，请联系li- pan2@163.com。大部分内容均系原创，欢迎大家转载分享，但转载的同时别忘了注明作者和原文链接哦。二、MongoDB简介 MongoDB是一个高性能，开源，无模式的文档型数据库，是当前N.. 阅读全文
posted @ 2011-11-09 00:13
Jonson Li
阅读(229)
评论(0)
推荐(0)
摘要：
传统的关系数据库一般由数据库（database）、表（table）、记录（record）三个层次概念组成，MongoDB是由 （database）、集合（collection）、文档对象（document）三个层次组成。MongoDB对于关系型数据库里的表，但是集合中没 有列、行和关系概念，这体现了模式自由的特点。一、关于MongoDB的驱动 MongoDB支持多种语言的驱动，在此我们只介绍C#的驱动。仅C#驱动都有很多种，每种驱动的形式大致相同，但是细节各有千秋，因此代码不 能通用。比较常用的是官方驱动和samus驱动。samus驱动除了支持一般形式的操作之外，还支持linq方式操纵数据。. 阅读全文
posted @ 2011-11-09 00:13
Jonson Li
阅读(208)
评论(0)
推荐(0)
浙公网安备 33010602011771号