1.大数据与云计算
1.什么是大数据
故名思意,大数据其实就是海量数据。而大数据的意义不仅在于拥有庞大的数据信息,而且在于对这些含有意义的数据进行专业处理,得出有价值的信息,像行业趋势、用户心理等有意义有价值的结果。
2.什么事云计算
美国国家标准与研究院的定义:云计算是一种按使用量付费的模式,这种模式提供了可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池(资源包括网络、服务器、存储、应用软件、服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互,本质上就是虚拟化技术的延伸。
以下是三种形式的云计算:
1. Iaas:基础设施即服务
Infrastructure as a service.
2. Saas:软件即服务
Software as a service
3. Paas:平台即服务
Platform as a service
3.大数据与云计算
云计算解决了大数据的运算工具的问题,而对大数据的存储我们需要相应的云存储工具。
云存储就是在云计算概念上延伸和发展出来的一个新的概念,是指通过集群应用或分分布式文件系统等功能,将网络中大量的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。所以云存储是一个以数据存储和管理为核心的云计算系统。
4. 什么是MongoDB
MongoDB是一个可扩展、开源、表结构自由使用C++语言编写切面向文档的数据库,目的为web应用程序提供高性能、高可用性且易于扩展的数据存储解决方案。
5. 大数据与MongoDB
MongoDB天生就是为云计算而生的,其原声的可扩展行,通过启用分片和水平扩展,能够提供云存储所需要的技术。
6MongoDB特点
与关系数据对比如下:
| 关系数据库 | MongoDB |
| Database | Database |
| Table | Collection |
| Row | Document/object |
用Bson(与json类似的串)来存储。
Document中对应的字段是可以变化的。
支持Journaling日志功能,对数据库的增删改查操作会记录在日志中。MongoDB每100ms将内存中的数据刷新的磁盘上。
支持复制集(Replset):类似热备,一个主节点、一个次节点、一个仲裁节点。
支持自动分片(Sharding)。
总之MongoDB最大的亮点应该就是自有的表结构、MapReduce、分片、复制集,通过这些功能实现海量数据的存储、高效的读写以及数据的分析。
7安装MongoDB
1.首先到官网(http://www.mongodb.org/downloads )下载合适的安装包,目前的最新版本为2.6
安装包有zip和msi格式的,这里推荐下载zip格式的,msi的其实也就是进行了下解压缩而已,而且安装时不让选择安装路径,默认安装到C:\Program Files\MongoDB 2.6 Standard 目录,根据自己的系统选择32位或64位的
我本人电脑是win8系统64位,下载64位的zip包,下载完成后解压缩到D:\MongoDB目录
创建数据库目录D:\MongoDB\data,接下来打开命令行窗口,切换到D:\MongoDB\bin 目录执行如下命令:
其中 --dbpath是指定数据库存放目录,这里要注意有两个 "-"
mongod --dbpath D:\MongoDB\data
这是命令行窗口会打印一些启动信息,最后一行显示为如下信息时表示启动成功了
2014-04-23T10:38:48.391+0800 [initandlisten] waiting for connections on port 27017
这是在浏览器输入http://localhost:27017/可以看到显示信息为
It looks like you are trying to access MongoDB over HTTP on the native driver port.
具体截图如下:
到此mongodb算是安装完了,比想象中简单了太多哈
MongoDB安装为Windows服务
将mongodb安装为windows服务非常简单只需要在上面执行的命令行后添加 --install即可
mongod --dbpath D:\MongoDB\data --install
按照正常的剧情,应该服务就安装成功了,但是很不幸,出现下面提示
--install has to be used with --logpath
按照提示,我们需要指定log目录,所以我们创建log目录D:\MongoDB\logs 然后重新执行命令
mongod --dbpath D:\MongoDB\data --logpath=D:\MongoDB\logs\mongodb.log --logappend 但是提示还是没有指定日志路径,几经折腾发现这是2.6版本的一个bug,将会在下一个版本修复,然后我们有两个选择,一个选择是使用上一个版本2.4.9,另一个选择是先用2.4.9版本安装成功服务,然后在升级到2.6(肿么升级?直接用2.6版本替换掉对应2.4.9版本的文件),那我们还有其他的选择吗,答案当然是肯定的,使用sc命令创建服务,使用net start启动服务
sc create MongoDB binPath= "D:\MongoDB\bin\mongod.exe --service --dbpath D:\MongoDB\data --logpath=D:\MongoDB\logs\mongodb.log --logappend"
net start MongoDB
MongoDB配置文件
很遗憾,官方下载的安装包里面没有默认的配置文件,若想使用配置文件只能自己建一个了,另外个人也推荐使用配置文件来管理MongoDB的配置,使用配置文件配置数据库文件、日志文件以及其它的一些配置都一目了然
解压安装包到D:\MongoDB
建立数据库目录 D:\MongoDB\data
建立日志目录 D:\MongoDB\logs
建立配置文件目录 D:\MongoDB\etc
建立配置文件 D:\MongoDB\etc\mongodb.conf
dbpath=D:\MongoDB\data #数据库路径
logpath=D:\MongoDB\logs\mongodb.log #日志输出文件路径
logappend=true #错误日志采用追加模式,配置这个选项后mongodb的日志会追加到现有的日志文件,而不是从新创建一个新文件
journal=true #启用日志文件,默认启用
quiet=true #这个选项可以过滤掉一些无用的日志信息,若需要调试使用请设置为false
port=27017 #端口号 默认为27017
这里仅指定了几个常用项,更多详细配置请参考官方文档 http://docs.mongodb.org/manual/reference/configuration-options/
注:以上目录是博主自己建立的目录,官方并没有对配置文件路径做出规范,全凭个人喜好来决定
配置文件和相关目录建好后使用如下方式启动MongoDB
· 普通启动
mongod --config D:\MongoDB\etc\mongodb.conf
· 安装为Windows服务
注:2.6版 这种方式在win7、win8 64位版无法安装成功,其他系统未测试
mongod --config D:\MongoDB\etc\mongodb.conf --install
· 使用SC安装为Windows服务
sc create MongoDB binPath= "D:\MongoDB\bin\mongod.exe --service --config=D:\MongoDB\etc\mongodb.conf"
这里需要注意下当指定了日志文件后,无论使用配置文件指定还是在命令行指定,日志就都会输出到指定的日志文件去了,在命令行界面将看不到任何日志输出
附注:
2.6版无法安装windows服务BUG链接 https://jira.mongodb.org/browse/SERVER-13515
MongoDB官网:http://www.mongodb.org/

浙公网安备 33010602011771号