2012年2月7日
海淀、西城、东城各类小学排名（转载）
摘要: http://blog.sina.com.cn/s/blog_6f0ff6f90100qnp5.htmlMARK一下，以后备用海淀区一流一类小学顺序排名（共3所） 1．中关村一小（点评：海淀区性价比最高的小学，在海淀激烈的竞争 中是唯一可以保持循序渐进教学的一流小学；注重阶段培养、学生基础极其扎实、后劲十足；学生进入4年级以后课外竞赛获奖人数攀升很快，获奖名次总体靠前， 获奖人数比例在最高层次；生源纯净，主要来自北京中科系“土著”，家庭科学文化素质水平高且整齐；师资极其优异，校长、老师配合堪称业界楷模；行事较为低 调，凭实力说话、凭行为服人，潜心做教育，是海淀区的首选最优质小学。） 2．...阅读全文
posted @ 2012-02-07 17:29 Jonson Li 阅读(31) 评论(0) 编辑
2011年12月11日
云操作系统OpenStack 优势与问题并存
摘要: http://www.china-cloud.com/yunjishu/yunjiagou/20111209_8570.htmlOpenStack是由Rackspace公司（世界最大的主机托管服务商之一）启动的一个开源项目，它旨在实现“云操作系统”，即一个具有部署和管理公有云、私有云以及混合云基础架构能力的平台。云操作系统在这里“操作系统”的含义很简单，即一个资源的控制、监测和协调的平台。另一方面，云操作系统也提供了一系列完整的API。互联网厂商和云计算提供商是OpenStack的潜在用户，这也同样为准备部署云计算基础架构的企业提供了一种选择。OpenStack的优势1.与开源社区的广泛合作C阅读全文
posted @ 2011-12-11 15:27 Jonson Li 阅读(45) 评论(0) 编辑
2011年12月5日
[Hadoop in China 2011] Hadoop之上 中国移动“大云”系统解析
摘要: http://server.it168.com/a2011/1203/1283/000001283163.shtml▲中国移动研究院业务支撑所所长孙少陵 在12月3日的HiC2011大会上，中国移动研究院业务支撑所所长孙少陵发表了“电信运营商大数据处理应用研究和实践”的主题演讲。 孙少陵引用了维基百科对大数据的定义，即无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。同时他介绍了大数据呈现出三大特征，即3V：数据大(Volume)，例如Facebook每天在30万台服务器上 处理25Tb数据;时效性要求高(Velocity)，例如搜索引擎要求在几分钟内为用户查询新闻;种..阅读全文
posted @ 2011-12-05 10:32 Jonson Li 阅读(45) 评论(0) 编辑
[Hadoop in China 2011] 淘宝OceanBase打造结构化NoSQL数据库
摘要: http://tech.it168.com/a2011/1204/1283/000001283214.shtml在今天下午进行的NoSQL系统及应用分论坛中，来自淘宝的核心系统存储组技术专家杨传辉(淘宝花名：日照)发表主题演讲“OceanBase——结构化数据海量存储系统”，介绍了淘宝OceanBase的架构、应用及其后续发展。▲淘宝核心系统存储组技术专家杨传辉 据杨传辉介绍，淘宝的OceanBase数据库最初的设计目的就是将NoSQL的可扩展性和低成本与关系型数据库的性能进行融合，充分发挥两者的优势。 Note : NoSQL 可扩展性和低成本，与关系型数据库的性能，进行融合，充分发挥两者.阅读全文
posted @ 2011-12-05 10:20 Jonson Li 阅读(57) 评论(0) 编辑
[Hadoop in China 2011] 华为 - NoSQL/NewSQL在传统IT产业的机遇和挑战
摘要: http://tech.it168.com/a2011/1204/1283/000001283212.shtml在今天下午进行的NoSQL系统及应用分论坛中，来自华为的IT产品线企业数据解决方案架构师钟顒发表主题演讲“NoSQL/NewSQL在传统IT产业的机遇和挑战”，介绍了NoSQL/NewSQL的兴起、挑战与演进，以及传统IT产业的演变与挑战。▲华为IT产品线企业数据解决方案架构师钟顒 传统IT产业在数据领域面临很多挑战，据钟顒介绍，历史数据对企业来说是有价值的，国家的法规也规定一些特定的历史数据要长时间保留下来，这就需要对历史数据进行管理。随着传统IT产业的不断演进，电信系统容量的..阅读全文
posted @ 2011-12-05 10:14 Jonson Li 阅读(41) 评论(0) 编辑
[Hadoop in China 2011] Facebook Message在HBase基础上的应用
摘要: http://tech.it168.com/a2011/1203/1283/000001283206.shtml在今天下午进行的NoSQL系统及应用分论坛中，来自Facebook的技术经理Guoqiang Jerry Chen和软件工程师 Liyin Tang发表主题演讲“Building mission critical messaging system on top of HBase(在HBase的基础上建立关键业务消息系统)”，分享了Facebook开发HBase的经验，并且介绍Facebook Message系统的应用情况。▲Facebook的技术经理Guoqiang Jerry Ch阅读全文
posted @ 2011-12-05 10:12 Jonson Li 阅读(29) 评论(0) 编辑
[Hadoop in China 2011] 中兴：NoSQL应用现状及电信业务实践
摘要: http://tech.it168.com/a2011/1203/1283/000001283154.shtml在今天下午进行的NoSQL系统及应用分论坛中，中兴云计算平台研发总工、中兴通讯技术专家委员会专家高洪发表主题演讲“NoSQL技术的电信业务实践”，介绍了NoSQL的发展现状及其在电信业务中的应用。▲中兴云计算平台研发总工、中兴通讯技术专家委员会专家高洪 关系型数据库凭借其强大的事物处理能力、灵活的结构化数据查询，以及数据的高可靠性在很多领域都有着广泛的应用，占有非常重要的地位。但是近几年这一形 势发生了变化，随着移动互联网的兴起，电信业务在高性能、低迟延、海量数据处理和高扩展性上..阅读全文
posted @ 2011-12-05 10:06 Jonson Li 阅读(35) 评论(0) 编辑
[Hadoop in China 2011] HBase在淘宝平台上的应用和改进经验
摘要: http://tech.it168.com/a2011/1202/1283/000001283152.shtml在今天下午进行的NoSQL系统及应用分论坛中，来自淘宝的软件工程师张毅发表主题演讲“淘宝HBase应用和改善”，介绍了HBase在淘宝平台上使用，以及对HBase的调试和改进的经验分享。▲淘宝软件工程师张毅 随着淘宝的数据的快速增长，数据量每年都会翻一翻，这样的增长速度是淘宝选择HBase的重要原因。据张毅介绍，淘宝自今年年初开始对HBase进行预 演，包括线上应用和调优，以及bug的修改。这一过程包括三个阶段，第一阶段是对HBase的属性和配置等性能方面的熟悉过程;第二阶段将H..阅读全文
posted @ 2011-12-05 10:03 Jonson Li 阅读(47) 评论(0) 编辑
[Hadoop in China 2011] eBay：选择HBase建立搜索引擎的原因
摘要: http://tech.it168.com/a2011/1202/1283/000001283147.shtml在今天下午进行的NoSQL系统及应用分论坛中，来自eBay Hadoop团队的杰出工程师马明带来主题演讲“Intro to HBase and its usage in eBay(HBase及其在eBay应用)”，介绍了eBay是如何利用Hadoop和HBase来建立搜索引擎方面的技术。▲eBay Hadoop团队的首席工程师马明 eBay作为电子商务平 台连接着世界各地不同的买方和卖方，因此就需要一个功能强大的搜索引擎。一个好的搜索引擎不仅要具备快速、大规模和高可靠性的特点，还需.阅读全文
posted @ 2011-12-05 10:00 Jonson Li 阅读(61) 评论(0) 编辑
[Hadoop in China 2011] 何鹏：Hadoop在海量网页搜索中应用分析
摘要: 何鹏是即刻搜索研发部系统平台组的工程师，即刻搜索是人民网其下的搜索引擎，由人民搜索转变而来，于今年6月20日正式上线。据何鹏介绍，即刻搜索 目前存放了200亿个文件以上，其整个系统架构采用Hadoop海量数据分析平台，并针对特定环境对应用程序做了修改。在本次演讲中，何鹏工程师将为我们 分析基于Hadoop的海量网页分析案例。▲即刻搜索研发部系统平台组工程师何鹏 即刻搜索整体架构借助了Hadoop整个海量分析平台，并针对特定环境增删修改了部分中间件，改良了部分应用程序，以提高性能，下图所展示的是即刻搜索的整体框架图：▲即刻搜索整体架构图 在上图中，HDFS即为Hadoop海量数据处理平台，其..阅读全文
posted @ 2011-12-05 09:58 Jonson Li 阅读(46) 评论(0) 编辑
[Hadoop in China 2011] 朱会灿：探析腾讯Typhoon云计算平台
摘要: http://storage.it168.com/a2011/1203/1283/000001283196.shtml朱会灿现任腾讯搜搜搜索线首席架构师、基础架构部总经理，于2010年加入腾讯，主导腾讯云计算平台的开发工作。在加入腾讯之前的朱会灿曾在谷歌公 司任职长达10年之久，其间，主导开过过Google的图片搜索系统、大规模爬虫和索引系统、中日韩文检索系统以及Google学术搜索。经验非常丰富， 在本次演讲中，他讲为我们讲解腾讯自己开发的台风(Typhoon)云计算平台。▲腾讯搜搜搜索线首席架构师、基础架构部总经理朱会灿 据朱总经理介绍，腾讯的云计算平台Typhoon(台风)是一个Iaa.阅读全文
posted @ 2011-12-05 09:57 Jonson Li 阅读(51) 评论(0) 编辑
[Hadoop in China 2011] 人人网:基于Hadoop的SNS统计和聚类推荐
摘要: http://storage.it168.com/a2011/1203/1283/000001283190.shtml据人人网的工程师介绍，人人网现在一共2.2亿用户，平均每个用户有大约190个好友，月均40亿的照片访问量。尽管相比于中国最大的即时通讯公司 腾讯，其用户量还有一定差距，但人人网却具有举足轻重的优势。例如有一成的付费用户，平均每天有五成用户使用人人网，并且八成用户在人人网留下了真实资 料。人人网高级技术经理白伯纯 人人网的白伯纯工程师认为，现在的互联网已经发展到了web 2.0时代，其与web 1.0相比，最大不同在于，每个用户都具有唯一标识，而这将给人人网带来巨大的机遇。用..阅读全文
posted @ 2011-12-05 09:55 Jonson Li 阅读(31) 评论(0) 编辑
[Hadoop in China 2011] 蒋建平：探秘基于Hadoop的华为共有云
摘要: Hadoop最初起源于国外，在国外的发展速度迅猛，被众多厂商捧得一片火热。而反观国内，似乎声音很小。在本次的Hadoop中国大会上，与以往 不同的是，诸多国内厂商也加入进来，并且分享了在Hadoop应用方面的经验。下面来自华为公司的企业公有云服务CTO蒋建平先生为我们揭秘华为公司的企 业公有云服务。▲华为企业公有云服务CTO蒋建平 蒋建平先生认为，视频转码、3D渲染、金融领域计算、天气预测、风洞计算、地址模拟、仿真、数据挖掘以及其他诸多领域产生了PB级别的海量数据，对其进 行分析需要超大计算量，并且业务非常复杂，业务开发也比较困难，为了能够灵活地进行业务调度管理，高效地资源分配以及快速地完..阅读全文
posted @ 2011-12-05 09:54 Jonson Li 阅读(45) 评论(0) 编辑
[Hadoop in China 2011] 海狗不是狗 探秘支付宝准实时搜索查询
摘要: http://storage.it168.com/a2011/1203/1283/000001283153.shtml 作为了国内最大的第三方交易平台，支付宝每天所产生的数据量无疑是难以估算的。这些数据不管是对于个人用户还是支付宝都是非常重要的。通常情况下， 个人用户会对记录在Hbase内的历史消费记录进行查询，亦或是CTU风险数据项目。并且，支付宝利用Hadoop也相对比较成熟，其下包括一站式资源服务的海豚系统，以及与Pig相关的可视化用户自主查询。这些工具和应用形成了支付宝至关重要的ADC架构体系，而在这其中最为影响用户体验则是海狗实时搜索服务。 如上图所示，海狗实时搜索、蓝鲸流式计算、.阅读全文
posted @ 2011-12-05 09:53 Jonson Li 阅读(73) 评论(0) 编辑
[Hadoop in China 2011] 邵铮：揭秘FaceBook Puma演变及发展
摘要: http://storage.it168.com/a2011/1202/1283/000001283144.shtml▲FaceBook公司软件工程师、研发经理邵铮 FaceBook公司自成立以来发展就非常迅猛，时至今日，每天都有数以万计的人活跃在FaceBook之上，这一庞大的用户群体吸引了大量的企业的注意力，他们希望通过FaceBook这一平台对自己的产品或服务进行营销，以精准找到自己的潜在用户。要精准找到自己的客户，必然要对FaceBook网站用户的实时信息进行分析，FaceBook公司提供的实时数据分析工具就凸显出重要作用。 据邵铮工程师介绍，FaceBook公司的实时数据分析...阅读全文
posted @ 2011-12-05 09:14 Jonson Li 阅读(51) 评论(0) 编辑
2011年11月11日
Hive Getting Started
摘要: GettingStarted Skip to end of metadataAdded by Confluence Administrator, last edited by Travis Powell on Aug 08, 2011 (view change)show commentGo to start of metadataTable of ContentsHive introduction videos From ClouderaInstallation and ConfigurationRequirementsInstalling Hi...阅读全文
posted @ 2011-11-11 17:34 Jonson Li 阅读(33) 评论(0) 编辑
2011年11月10日
运行中hadoop增加和删除datanode (*)
摘要: 增加Hadoop新节点：向一个正在运行的Hadoop集群中增加几个新的Nodes1.新节点上部署java/hadoop程序，配置相应的环境变量2.新节点上增加用户，从master上拷贝id_rsa.pub并配置authorized_keys3.新节点上设置/etc/hosts，只要有本机和master的host即可/etc/hosts127.0.0.1 localhost10.10.10.101 node110.10.10.102 node210.10.10.103 node310.10.10.104 node44.新节点上建立相关的目录，并修改属主，将Node4之中 ~/tmp目录下的内容都阅读全文
posted @ 2011-11-10 18:06 Jonson Li 阅读(42) 评论(0) 编辑
2011年11月9日
Hadoop基本操作命令
摘要: http://www.cnblogs.com/gpcuster/archive/2010/06/04/1751538.html在这篇文章中，我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh进入HADOOP_HOME目录。执行sh bin/stop-all.sh关闭Hadoop文件操作Hadoop使用的是HDFS，能够实现的功能和我们使用的磁盘系统类似。并且支持通配符，如*。查看文件列表查看hdf阅读全文
posted @ 2011-11-09 12:49 Jonson Li 阅读(42) 评论(0) 编辑
HADOOP实践101：在Hadoop集群中添加机器和删除机器
摘要: 无论是在Hadoop集群中添加机器和删除机器，都无需停机，整个服务不中断。本次操作之前，Hadoop的集群情况如下：HDFS的机器情况如下：MR的机器情况如下：添加机器在集群的Master机器中，修改$HADOOP_HOME/conf/slaves文件，在其中添加需要加入集群的新机器（hp3）的主机名：hp3hp2dell1dell2dell3dell4然后在Master机器中执行如下命令：$HADOOP_HOME/bin/start-all.sh这样操作完成之后，新的机器就添加到集群中来了。HDFS集群增加了一台新的机器：MR集群中也新增了一台机器：删除机器不安全的方式由于Hadoop集群自阅读全文
posted @ 2011-11-09 12:43 Jonson Li 阅读(22) 评论(0) 编辑
使用Hive的web界面：HWI
摘要: http://www.cnblogs.com/gpcuster/archive/2010/02/25/1673480.htmlHWI是Hive Web Interface的简称，是hive cli的一个web替换方案。关于如何搭建Hive平台，可以参考：搭建Hive平台但是目前这个功能做的比较简陋，这篇文章我们一起来看看如何使用hive-0.4.1中自带的hwi来进行操作。打开HWI假设hive部署在10.20.151.7机器上，conf/hive-default.xml文件都是默认值，那么我们直接在浏览器中输入：http://10.20.151.7:9999/hwi/ 就可以访问了。访问sc阅读全文
posted @ 2011-11-09 12:42 Jonson Li 阅读(29) 评论(0) 编辑
仅列出标题  下一页