摘要：
MapReduce计算每年最高温度 阅读全文
posted @ 2013-07-10 13:20
GeoPanda
阅读(1389)
评论(0)
推荐(0)
摘要：
同样是官方源码,这个源码稍微复杂一点,坚持看完了. 1 package com.wyf.cascade; 2 3 import java.util.Map; 4 import java.util.Properties; 5 6 import cascading.cascade.Cascade; 7 import cascading.cascade.CascadeConnector; 8 import cascading.cascade.Cascades; 9 import cascading.flow.Flow; 10 import cascading.flow.Flow... 阅读全文
posted @ 2013-07-16 11:12
GeoPanda
阅读(294)
评论(0)
推荐(0)
摘要：
同样官方例子上代码: 1 package com.wyf.cascade; 2 3 import java.util.Map; 4 import java.util.Properties; 5 6 import cascading.cascade.Cascade; 7 import cascading.cascade.CascadeConnector; 8 import cascading.cascade.Cascades; 9 import cascading.flow.Flow; 10 import cascading.flow.FlowConnector; 11 ... 阅读全文
posted @ 2013-07-12 17:33
GeoPanda
阅读(357)
评论(0)
推荐(0)
摘要：
此例子为官网例子,所以直接上代码： 1 package com.wyf.cascade; 2 3 import java.util.Properties; 4 5 import cascading.flow.Flow; 6 import cascading.flow.FlowConnector; 7 import cascading.operation.regex.RegexParser; 8 import cascading.pipe.Each; 9 import cascading.pipe.Pipe;10 import cascading.scheme.TextLine;11 imp.. 阅读全文
posted @ 2013-07-12 15:26
GeoPanda
阅读(319)
评论(0)
推荐(0)
摘要：
原文连接：http://kb.cnblogs.com/page/99489/InfoQ于4月23日在北京组织了主题为“企业架构在互联网环境下的挑战”的Oracle技术沙龙。“云计算与SOA有什么区别？”这是Oracle讲师做完企业私有云PaaS解决方案的讲演后，提问环节中观众提出的第一个问题。回答这样的问题是颇具挑战性的，不同背景的人会有不同的理解，也不是一两句话能够解释清楚的。我个人的职业经历正好和SOA、云计算有很大的关系，因此希望和大家分享下我个人对这两者及企业软件领域的一些看法和理解。 过热(Hype)中的云计算 云计算起源于大型互联网企业，成本和指数级的业务增长压力使他们非常关注.. 阅读全文
posted @ 2013-07-11 22:06
GeoPanda
阅读(293)
评论(0)
推荐(0)
摘要：
今天我们来谈谈一个网站一般是如何一步步来构建起系统架构的，虽然我们希望网站一开始就能有一个很好的架构，但马克思告诉我们事物是在发展中不断前进的，网站架构也是随着业务的扩大、用户的需求不断完善的，下面是一个网站架构逐步发展的基本过程，读完后，请思考，你现在在哪个阶段。 架构演变第一步：物理分离WebServer和数据库 最开始，由于某些想法，于是在互联网上搭建了一个网站，这个时候甚至有可能主机都是租借的，但由于这篇文章我们只关注架构的演变历程，因此就假设这个时候已经是托管了一台主机，并且有一定的带宽了。这个时候由于网站具备了一定的特色，吸引了部分人访问，逐渐你发现系统的压力越来越高，响应速度.. 阅读全文
posted @ 2013-07-11 22:01
GeoPanda
阅读(290)
评论(0)
推荐(0)
摘要：
千万级的注册用户，千万级的帖子，nTB级的附件，还有巨大的日访问量，大型网站采用什么系统架构保证性能和稳定性？首先讨论一下大型网站需要注意和考虑的问题。数据库海量数据处理：负载量不大的情况下select、delete和update是响应很迅速的，最多加几个索引就可以搞定，但千万级的注册用户和一个设计不好的多对多关系将带来非常严重的性能问题。另外在高UPDATE的情况下，更新一个聚焦索引的时间基本上是不可忍受的。索引和更新是一对天生的冤家。高并发死锁：平时我们感觉不到，但数据库死锁在高并发的情况下的出现的概率是非常高的。文件存储的问题：大型网站有海量图片数据、视频数据、文件数据等等，他们如何存储 阅读全文
posted @ 2013-07-11 22:00
GeoPanda
阅读(510)
评论(0)
推荐(1)
摘要：
在当今应用架构里，分布式和应用与服务之间的通信都是核心思想。想要从分布式中获益，你必须牢牢记住几条基本的原则，否则你可能会很容易遇到性能和扩展性问题。在开发阶段这些问题不会经常出现,但当你进行负载测试或产品化的时候，你可能会意识到你选择的软件架构不能满足性能和扩展性需求。在这篇文章中，我们重点关注构建分布式应用需要记住的一些关键点。分布式需要应用之间进行交互。范围包括从大规模集群架构上简单的点到点的交互，到动态的面向服务或基于服务的架构。跨系统边界的通信也是提高软件系统扩展性和可用性的关键。如今软件架构已把分布式作为一个核心的必要的概念。Java平台成为了核心的角色，因为它的分布式、有很好的A 阅读全文
posted @ 2013-07-11 21:41
GeoPanda
阅读(1156)
评论(0)
推荐(0)
摘要：
最近在给公司的产品做一个较完善的web架构，特转帖几篇入门文档，等使用一段时间后，再写些使用心得。1、HTML静态化其实大家都知道，效率最高、消耗最小的就是纯静态化的html页面，所以我们尽可能使我们的网站上的页面采用静态页面来实现，这个最简单的方法其实也是最有效的方法。但是对于大量内容并且频繁更新的网站，我们无法全部手动去挨个实现，于是出现了我们常见的信息发布系统CMS，像我们常访问的各个门户站点的新闻频道，甚至他们的其他频道，都是通过信息发布系统来管理和实现的，信息发布系统可以实现最简单的信息录入自动生成静态页面，还能具备频道管理、权限管理、自动抓取等功能，对于一个大型网站来说，拥有一套高 阅读全文
posted @ 2013-07-11 21:37
GeoPanda
阅读(471)
评论(0)
推荐(0)
摘要：
1 public class MaxTemprature { 2 3 /** 4 * 程序入口 5 * @author: wangyanfu 6 * @version: Jul 10, 2013 11:00:26 AM 7 */ 8 9 public static void main(String[] args) {10 11 try {12 //########################13 //此处直接操作在hadoop集群中14 ... 阅读全文
posted @ 2013-07-11 11:26
GeoPanda
阅读(903)
评论(0)
推荐(0)
摘要：
Hadoop distcp命令用于在两个不同的集群间拷贝数据，它的优点在于将数据拷贝操作作为mapred程序来执行，这样就大大提高了拷贝的速度，使用distcp命令时必须注意以下事项： 1）数据源集群 的所有节点必须 知道目标集群所有节点ip和host的转换关系 2）目标路径必须存在 3）命令中必须使用主机名，而不是ip地址原文:http://www.linuxidc.com/Linux/2012-04/57943.htm 阅读全文
posted @ 2013-07-11 10:38
GeoPanda
阅读(1263)
评论(0)
推荐(0)
浙公网安备 33010602011771号