摘要:
何鹏是即刻搜索研发部系统平台组的工程师,即刻搜索是人民网其下的搜索引擎,由人民搜索转变而来,于今年6月20日正式上线。据何鹏介绍,即刻搜索 目前存放了200亿个文件以上,其整个系统架构采用Hadoop海量数据分析平台,并针对特定环境对应用程序做了修改。在本次演讲中,何鹏工程师将为我们 分析基于Hadoop的海量网页分析案例。▲即刻搜索研发部系统平台组工程师何鹏 即刻搜索整体架构借助了Hadoop整个海量分析平台,并针对特定环境增删修改了部分中间件,改良了部分应用程序,以提高性能,下图所展示的是即刻搜索的整体框架图:▲即刻搜索整体架构图 在上图中,HDFS即为Hadoop海量数据处理平台,其..
阅读全文
posted @ 2011-12-05 09:58
Jonson Li
阅读(423)
推荐(0)
摘要:
http://storage.it168.com/a2011/1203/1283/000001283196.shtml朱会灿现任腾讯搜搜搜索线首席架构师、基础架构部总经理,于2010年加入腾讯,主导腾讯云计算平台的开发工作。在加入腾讯之前的朱会灿曾在谷歌公 司任职长达10年之久,其间,主导开过过Google的图片搜索系统、大规模爬虫和索引系统、中日韩文检索系统以及Google学术搜索。经验非常丰富, 在本次演讲中,他讲为我们讲解腾讯自己开发的台风(Typhoon)云计算平台。▲腾讯搜搜搜索线首席架构师、基础架构部总经理朱会灿 据朱总经理介绍,腾讯的云计算平台Typhoon(台风)是一个Iaa.
阅读全文
posted @ 2011-12-05 09:57
Jonson Li
阅读(629)
推荐(0)
摘要:
http://storage.it168.com/a2011/1203/1283/000001283190.shtml据人人网的工程师介绍,人人网现在一共2.2亿用户,平均每个用户有大约190个好友,月均40亿的照片访问量。尽管相比于中国最大的即时通讯公司 腾讯,其用户量还有一定差距,但人人网却具有举足轻重的优势。例如有一成的付费用户,平均每天有五成用户使用人人网,并且八成用户在人人网留下了真实资 料。人人网高级技术经理白伯纯 人人网的白伯纯工程师认为,现在的互联网已经发展到了web 2.0时代,其与web 1.0相比,最大不同在于,每个用户都具有唯一标识,而这将给人人网带来巨大的机遇。用..
阅读全文
posted @ 2011-12-05 09:55
Jonson Li
阅读(313)
推荐(0)
摘要:
Hadoop最初起源于国外,在国外的发展速度迅猛,被众多厂商捧得一片火热。而反观国内,似乎声音很小。在本次的Hadoop中国大会上,与以往 不同的是,诸多国内厂商也加入进来,并且分享了在Hadoop应用方面的经验。下面来自华为公司的企业公有云服务CTO蒋建平先生为我们揭秘华为公司的企 业公有云服务。▲华为企业公有云服务CTO蒋建平 蒋建平先生认为,视频转码、3D渲染、金融领域计算、天气预测、风洞计算、地址模拟、仿真、数据挖掘以及其他诸多领域产生了PB级别的海量数据,对其进 行分析需要超大计算量,并且业务非常复杂,业务开发也比较困难,为了能够灵活地进行业务调度管理,高效地资源分配以及快速地完..
阅读全文
posted @ 2011-12-05 09:54
Jonson Li
阅读(513)
推荐(0)
摘要:
http://storage.it168.com/a2011/1203/1283/000001283153.shtml 作为了国内最大的第三方交易平台,支付宝每天所产生的数据量无疑是难以估算的。这些数据不管是对于个人用户还是支付宝都是非常重要的。通常情况下, 个人用户会对记录在Hbase内的历史消费记录进行查询,亦或是CTU风险数据项目。并且,支付宝利用Hadoop也相对比较成熟,其下包括一站式资源服务的海豚系统,以及与Pig相关的可视化用户自主查询。这些工具和应用形成了支付宝至关重要的ADC架构体系,而在这其中最为影响用户体验则是海狗实时搜索服务。 如上图所示,海狗实时搜索、蓝鲸流式计算、.
阅读全文
posted @ 2011-12-05 09:53
Jonson Li
阅读(849)
推荐(0)
摘要:
http://storage.it168.com/a2011/1202/1283/000001283144.shtml▲FaceBook公司软件工程师、研发经理邵铮 FaceBook公司自成立以来发展就非常迅猛,时至今日,每天都有数以万计的人活跃在FaceBook之上,这一庞大的用户群体吸引了大量的企业的注意力,他们希望通过FaceBook这一平台对自己的产品或服务进行营销,以精准找到自己的潜在用户。要精准找到自己的客户,必然要对FaceBook网站用户的实时信息进行分析,FaceBook公司提供的实时数据分析工具就凸显出重要作用。 据邵铮工程师介绍,FaceBook公司的实时数据分析...
阅读全文
posted @ 2011-12-05 09:14
Jonson Li
阅读(632)
推荐(0)
摘要:
GettingStarted Skip to end of metadataAdded by Confluence Administrator, last edited by Travis Powell on Aug 08, 2011 (view change)show commentGo to start of metadataTable of ContentsHive introduction videos From ClouderaInstallation and ConfigurationRequirementsInstalling Hi...
阅读全文
posted @ 2011-11-11 17:34
Jonson Li
阅读(607)
推荐(0)
摘要:
增加Hadoop新节点:向一个正在运行的Hadoop集群中增加几个新的Nodes1.新节点上部署java/hadoop程序,配置相应的环境变量2.新节点上增加用户,从master上拷贝id_rsa.pub并配置authorized_keys3.新节点上设置/etc/hosts,只要有本机和master的host即可/etc/hosts127.0.0.1 localhost10.10.10.101 node110.10.10.102 node210.10.10.103 node310.10.10.104 node44.新节点上建立相关的目录,并修改属主,将Node4之中 ~/tmp目录下的内容都
阅读全文
posted @ 2011-11-10 18:06
Jonson Li
阅读(834)
推荐(0)
摘要:
http://www.cnblogs.com/gpcuster/archive/2010/06/04/1751538.html在这篇文章中,我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh进入HADOOP_HOME目录。执行sh bin/stop-all.sh关闭Hadoop文件操作Hadoop使用的是HDFS,能够实现的功能和我们使用的磁盘系统类似。并且支持通配符,如*。查看文件列表查看hdf
阅读全文
posted @ 2011-11-09 12:49
Jonson Li
阅读(448)
推荐(0)
摘要:
无论是在Hadoop集群中添加机器和删除机器,都无需停机,整个服务不中断。本次操作之前,Hadoop的集群情况如下:HDFS的机器情况如下:MR的机器情况如下:添加机器在集群的Master机器中,修改$HADOOP_HOME/conf/slaves文件,在其中添加需要加入集群的新机器(hp3)的主机名:hp3hp2dell1dell2dell3dell4然后在Master机器中执行如下命令:$HADOOP_HOME/bin/start-all.sh这样操作完成之后,新的机器就添加到集群中来了。HDFS集群增加了一台新的机器:MR集群中也新增了一台机器:删除机器不安全的方式由于Hadoop集群自
阅读全文
posted @ 2011-11-09 12:43
Jonson Li
阅读(264)
推荐(0)
摘要:
http://www.cnblogs.com/gpcuster/archive/2010/02/25/1673480.htmlHWI是Hive Web Interface的简称,是hive cli的一个web替换方案。关于如何搭建Hive平台,可以参考:搭建Hive平台但是目前这个功能做的比较简陋,这篇文章我们一起来看看如何使用hive-0.4.1中自带的hwi来进行操作。打开HWI假设hive部署在10.20.151.7机器上,conf/hive-default.xml文件都是默认值,那么我们直接在浏览器中输入:http://10.20.151.7:9999/hwi/ 就可以访问了。访问sc
阅读全文
posted @ 2011-11-09 12:42
Jonson Li
阅读(663)
推荐(0)
摘要:
http://www.cnblogs.com/gpcuster/archive/2010/02/24/1672635.htmlHive是一个基于Hadoop的数据仓库平台。通过hive,我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言:HQL,能够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。本文讲解如何搭建一个Hive平台。假设我们有3台机器:hadoop1,hadoop2,hadoop3。并且都安装好了Hadoop-0.19.2(hive支持的Hadoop版本很多),hosts文件配置正确。Hive部署在hadoop1机器上。最简单,最快速
阅读全文
posted @ 2011-11-09 12:35
Jonson Li
阅读(411)
推荐(0)
摘要:
http://ilovejavaforever.iteye.com/blog/733247一、 Hadoop环境搭建 首先在Apache官网下载hadoop的包hadoop-0.20.2.tar.gz。 解压hadoop-0.20.2.tar.gz包,具体命令如下: tar zxvf hadoop-0.20.2.tar.gz 其中要注意的是,tar 包用xvf ,gz包用zxvf。在安装中,如果遇到识别问题,或者无法解压,很有可能是权限问题,解决方案是修改此文件的使用权限,命令如下: chmod 777 hadoop-0.20.2.tar.gz 其中,777为所有权限。 如果依然报错,如:A.
阅读全文
posted @ 2011-11-09 12:09
Jonson Li
阅读(529)
推荐(0)
摘要:
http://www.cnblogs.com/lipan/archive/2011/03/28/1997202.htmlMongoDB中的索引其实类似于关系型数据库,都是为了提高查询和排序的效率的,并且实现原理也基本一致。由于集合中的键(字段)可以是普通数据 类型,也可以是子文档。MongoDB可以在各种类型的键上创建索引。下面分别讲解各种类型的索引的创建,查询,以及索引的维护等。一、创建索引 1. 默认索引 MongoDB有个默认的“_id”的键,他相当于“主键”的角色。集合创建后系统会自动创建一个索引在“_id”键上,它是默认索引,索引名叫“_id_”,是无法被删除的。我们可以通过以...
阅读全文
posted @ 2011-11-09 00:17
Jonson Li
阅读(311)
推荐(0)
摘要:
http://www.cnblogs.com/lipan/archive/2011/03/21/1989409.html由于MongoDB的文档结构为BJSON格式(BJSON全称:Binary JSON),而BJSON格式本身就支持保存二进制格式的数据,因此可以把文件的二进制格式的数据直接保存到MongoDB的文档结构中。但是由于一个 BJSON的最大长度不能超过4M,所以限制了单个文档中能存入的最大文件不能超过4M。为了提供对大容量文件存取的支持,samus驱动提供了 “GridFS”方式来支持,“GridFS”方式文件操作需要引入新的程序集“MongoDB.GridFS.dll”。下面我
阅读全文
posted @ 2011-11-09 00:16
Jonson Li
阅读(310)
推荐(0)
摘要:
http://www.cnblogs.com/lipan/archive/2011/03/17/1986616.htmlMongoDB的集合(collection)可以看做关系型数据库的表,文档对象(document)可以看做关系型数据库的一条记录。但两者并 不完全对等。表的结构是固定的,MongoDB集合并没有这个约束;另外,存入集合的文档对象甚至可以嵌入子文档,或者“子集合”。他们最终都可以用类似 于BJSON的格式描述。我们今天就来分析MongoDB这一特性带来的独特数据管理方式。我们还是以samus驱动为例来分析,samus驱动支持两种 方式访问数据库,基本方式和linq方式,基本方式
阅读全文
posted @ 2011-11-09 00:15
Jonson Li
阅读(323)
推荐(0)
摘要:
看到下图,是通过Jqgrid实现表格数据的基本增删查改的操作。表格数据增删改是一般企业应用系统开发的常见功能,不过不同的是这个表格数据来源 是非关系型的数据库MongoDB。nosql虽然概念新颖,但是MongoDB基本应用实现起来还是比较轻松的,甚至代码比基本的ADO.net访问关 系数据源还要简洁。由于其本身的“非关系”的数据存储方式,使得对象关系映射这个环节对于MongoDB来讲显得毫无意义,因此我们也不会对 MongoDB引入所谓的“ORM”框架。 下面我们将逐步讲解怎么在MVC模式下将MongoDB数据读取,并展示在前台Jqgrid表格上。这个“简易系统”的基本设计思想是这样的...
阅读全文
posted @ 2011-11-09 00:14
Jonson Li
阅读(270)
推荐(0)
摘要:
http://www.cnblogs.com/lipan/archive/2011/03/08/1966463.html一、前言 最近开始学习非关系型数据库MongoDB,却在博客园上找不到比较系统的教程,很多资料都要去查阅英文网站,效率比较低下。本人不才,借着自 学的机会把心得体会都记录下来,方便感兴趣的童鞋分享讨论。部分资源出自其他博客,旨将零散知识点集中到一起,如果有侵犯您的权利,请联系li- pan2@163.com。大部分内容均系原创,欢迎大家转载分享,但转载的同时别忘了注明作者和原文链接哦。二、MongoDB简介 MongoDB是一个高性能,开源,无模式的文档型数据库,是当前N..
阅读全文
posted @ 2011-11-09 00:13
Jonson Li
阅读(230)
推荐(0)
摘要:
传统的关系数据库一般由数据库(database)、表(table)、记录(record)三个层次概念组成,MongoDB是由 (database)、集合(collection)、文档对象(document)三个层次组成。MongoDB对于关系型数据库里的表,但是集合中没 有列、行和关系概念,这体现了模式自由的特点。一、关于MongoDB的驱动 MongoDB支持多种语言的驱动,在此我们只介绍C#的驱动。仅C#驱动都有很多种,每种驱动的形式大致相同,但是细节各有千秋,因此代码不 能通用。比较常用的是官方驱动和samus驱动。samus驱动除了支持一般形式的操作之外,还支持linq方式操纵数据。.
阅读全文
posted @ 2011-11-09 00:13
Jonson Li
阅读(208)
推荐(0)
摘要:
今天在hadoop集群环境下需要将两台datanode删除,为了不影响在运行业务,需对节点进行动态删除,记录操作过程如下:1, 从集群中移走节点,需要对移走节点的数据进行备份:在主节点的core-site.xml配置文件中添加如下内容:<property> <name>dfs.hosts.exclude</name> <value>/home/hadoop/hadoop/conf/excludes</value></property>说明dfs.hosts.exclude:指要删除的节点/home/hadoop/hadoo
阅读全文
posted @ 2011-11-08 23:38
Jonson Li
阅读(624)
推荐(0)
摘要:
http://developer.yahoo.com/hadoop/tutorial/index.htmlTable of ContentsWelcome to the Yahoo! Hadoop Tutorial. This tutorial includes the following materials designed to teach you how to use the Hadoop distributed data processing environment:Hadoop 0.18.0 distribution (includes full source code)A virt
阅读全文
posted @ 2011-11-08 23:33
Jonson Li
阅读(297)
推荐(0)
摘要:
Hadoop添加节点的方法 1.将cluster停止。 2. 在新加的节点上配置好环境,包括ssh,jdk,并将其它datanode上的hadoop和hbase文件夹全部copy过去; 3. 将新的datanode的host加到集群namenode及其他datanode中去; 4. 将新的datanode的host加到master的conf/slaves中; 5. 再次启动cluster,在cluster中看到新的datanode节点; 5. 运行bin/start-balancer.sh,平衡数据。备注: 1.balance是为了平衡数据,如果不执行该命令,cluster将会把新的数据都存放
阅读全文
posted @ 2011-11-08 23:31
Jonson Li
阅读(818)
推荐(0)
摘要:
root@u1:/home/sa/hod/hadoop-0.20.1# bin/hadoop fs -put ./conf/core-site.xml /inputroot@u1:/home/sa/hod/hadoop-0.20.1# bin/hadoop jar hadoop-*-examples.jar wordcount /input /output2root@u1:/home/sa/hod/hadoop-0.20.1# bin/hadoop jar hadoop-*-examples.jarAn example program must be given as the first ar
阅读全文
posted @ 2011-11-08 22:38
Jonson Li
阅读(703)
推荐(0)
摘要:
Hadoop MapReduce是一个软件框架(framwork),这个架构的目的是方便程序员在大规模集群(可大到上千台结点)上处理超大规模数据(可多到数T),而且MapReduce的可靠性和fault-tolerant特性都很好。一个MapReduce job 会把输入数据分割成独立的若干块,这些数据块由map tasks并行处理。MapReduce framework把map task的输出进行排序,作为reduce task的输入。通常job的输入和输出都被保存在文件系统中。Framework负责调度,监控这些任务,而且会重复执行那些失败的task。一般情况下,计算集群和存储集群是一样的
阅读全文
posted @ 2011-11-08 21:56
Jonson Li
阅读(311)
推荐(0)
摘要:
本文继续来看Mapper的实现。Mapper01publicstaticclassMap02extendsMapper<LongWritable,Text,Text,IntWritable>{03privatefinalstaticIntWritableone=newIntWritable(1);04privateTextword=newText();0506publicvoidmap(LongWritablekey,Textvalue,Contextcontext)07throwsIOException,InterruptedException{08Stringline=valu
阅读全文
posted @ 2011-11-08 21:56
Jonson Li
阅读(346)
推荐(0)
摘要:
本文通过官方文档中的word count例子来学习如何利用Hadoop进行分布式计算。1. Inputs and Outputs任何一个程序,都需要有输入和输出,Hadoop MapReduce框架只能操作<Key, Value>对,就是说Hadoop的输入和输出都是<Key, Value>对,当然,key和value可以有多种类型。key和value会被Hadoop序列化。Hadoop默认的序列化机制要求key和value实现Writable接口。除此之外,key还必须能够被排序,所以,需要让key实现WritableComparable接口。下面是一个MapRedu
阅读全文
posted @ 2011-11-08 21:54
Jonson Li
阅读(381)
推荐(0)
摘要:
这几天在自己的ubuntu机器上,研究sector/sphere,突然发现我原来在公司配置ssh无密码登录的办法无效,后来搜索后知道了原因,现将ubuntu上设置ssh无密码登录的步骤列出来:步骤1.创建密钥~/.ssh$ ssh-keygen -t rsa Generating public/private rsa key pair. Enter passphrase (empty for no passphrase): (忽略) Enter same passphrase again: (忽略) Your identification has been saved in /.ssh/id_
阅读全文
posted @ 2011-11-08 09:24
Jonson Li
阅读(653)
推荐(0)
摘要:
ubuntu安装以后缺省的hostname是ubuntu,安装的机器多了,容易产生混淆,直接用命令#hostname newname,重启后失效。 修改/etc/hostname文件就可以了, root@ubuntuServer:/etc# more hostname #ubuntu newname 但是这样一来在X下面,很多命令不正常,比如打开terminal出不来,原来还需要修改 /etc/hosts文件, 127.0.0.1 localhost.localdomain localhost newname # # The following lines are des...
阅读全文
posted @ 2011-11-08 08:53
Jonson Li
阅读(2217)
推荐(0)
摘要:
Ubuntu 的网络配置文件主要有以下几个IP地址配置文件: /etc/network/interfaces打开后里面可设置DHCP或手动设置静态ip。前面auto eth0,让网卡开机自动挂载.1. 以DHCP方式配置网卡编辑文件/etc/network/interfaces:sudo vi /etc/network/interfaces并用下面的行来替换有关eth0的行:# The primary network interface – use DHCP to find our addressauto eth0iface eth0 inet dhcp用下面的命令使网络设置生效:sudo /
阅读全文
posted @ 2011-11-08 08:46
Jonson Li
阅读(290)
推荐(0)
摘要:
在向大家详细介绍Server之前,首先让大家了解下Ubuntu Server,然后全面介绍Ubuntu Server,希望对大家有用。Ubuntu 团队对它的使用者公开的承诺:Ubuntu 永远免费 , 并且对于 "企业版本" 没有任何额外的费用, 在同样的自由团队上,将最好的工作成果带给每一个人。 实验室内部搭建了个网站,放在虚拟机中Ubuntu Server下,需要进行配置以便局域网内都可以访问。虚拟机改成"桥接"模式.(1)Ubuntu Server修改IP打开 /etc/network/interfacessudo vim /etc/networ
阅读全文
posted @ 2011-11-08 08:45
Jonson Li
阅读(266)
推荐(0)
摘要:
Packages installed via ppa:serge-hallyn/spice2 have been tested for F14, W7 KVMs installs and runtime. Package qemu-kvm-spice (0.14.0+noroms-0ubuntu4qxl2) is based on the most recent RH’s QXL patches sets for qemu-kvm-0.14.tar.gz. Disabling AppArmor’s profile for libvirtd allows to manage and create domains via virt-manager 0.8.6-1 installed on Ubuntu Natty Narwhal.
阅读全文
posted @ 2011-05-26 09:58
Jonson Li
阅读(1247)
推荐(0)
摘要:
4.28日,Ubuntu 11.04 就发布了!Ubuntu 11.04 安装后如何快速配置?笨兔兔在此给各位兔子们支招——–《Ubuntu 11.04 安装后要做的20件事情》,让你赶在别人之前就明白怎么做!若是你安装Ubuntu原先的版本,你需要升级你的版本到Ubuntu 11.04。
阅读全文
posted @ 2011-05-26 09:56
Jonson Li
阅读(409)
推荐(0)
摘要:
整理了Ubuntu Linux操作系统下apt-get命令的详细说明,分享给大家。
阅读全文
posted @ 2011-05-26 09:38
Jonson Li
阅读(218)
推荐(0)
摘要:
Hadoop峰会2010上,一系列Hadoop及其相关技术的大规模用户带来了演讲报告。值得注意的是,Facebook的主题演讲展示了他们使用Hive来作分析的详细信息。Mike Schroepfer,Facebook的工程副总裁,作了描述使用Hadoop所处理的Facebook的数据规模的报告。
阅读全文
posted @ 2011-05-24 14:46
Jonson Li
阅读(655)
推荐(1)
摘要:
Ubuntu 10.10 已经发布了,下面提供更新源方法与更新源列表地址
# 用如下两句命令修改更新软件源列表
# sudo gedit /etc/apt/sources.list
# sudo apt-get update – 列举本地更新
# sudo apt-get upgrade – 安装可用更新
# sudo apt-get install 软件包名 – 安装指定软件包
# sudo apt-get remove 软件包名 – 删除指定软件包
阅读全文
posted @ 2011-05-23 12:59
Jonson Li
阅读(319)
推荐(0)
摘要:
在20日下午举行的专题论坛一《云计算中心技术架构》中,RackSpace CTO John Engates带来了“The Inevitability of the Open Cloud” 的精彩演讲。
阅读全文
posted @ 2011-05-22 16:50
Jonson Li
阅读(187)
推荐(0)
摘要:
在20日上午举行的“云计算平台与应用实践”分论坛上,中国移动通信研究院业务支撑所云计算研究室经理罗志国带来了《中国移动大云的研发和实践》主题演讲。
罗志国在演讲中从三个方面介绍了中国移动在运营方面云计算发展的策略和实践:1. 云计算对云计算的需求和现在云计算时代面临的一些挑战;2. 运营商级云计算发展趋势;3. 中国移动“大云”研发实践。从全球云计算服务的规模来看,增长的规模是很大的,公有云也会向混合云方面慢慢发展,这是一个演变趋势。
最后通过实践经验总结出五条运营商级云计算发展趋势:
1.基于服务器的虚拟化技术;2.软硬件架构;3.存储;4.数据中心;5.云服务能力。
阅读全文
posted @ 2011-05-22 16:22
Jonson Li
阅读(334)
推荐(0)
摘要:
在19日下午举行的大会主题演讲中,戴尔全球基础设施咨询服务亚太及日本地区云计算解决方案架构总监Martin Yates以《云计算: 企业的有效转型策略》为主题发表演讲。Martin Yates 的人不错,会后请他去吃了汉拿山,感觉味道还不错,聊了将近两个小时才回家,受益匪浅啊,他的讲解简单生动,如果有他的Slides就好了。
阅读全文
posted @ 2011-05-22 15:54
Jonson Li
阅读(263)
推荐(0)
摘要:
在19日上午举行的大会主题演讲中,来自中兴通讯股份有限公司副总裁吕阿斌以《云计算实务的关键要素》为主题发表演讲。
阅读全文
posted @ 2011-05-22 15:39
Jonson Li
阅读(350)
推荐(0)
摘要:
在19日上午举行的大会主题演讲中,来自EMC全球高级副总裁兼中国卓越研发集团主席范承工以《当云计算遇到海量数据》为主题发表演讲。
阅读全文
posted @ 2011-05-22 15:36
Jonson Li
阅读(285)
推荐(0)