12 2012 档案

摘要:HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。1. 简介HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。2. HBase的表结构HBase以表的形式存储数据。表 阅读全文
posted @ 2012-12-19 11:48 蜗牛123 阅读(868) 评论(0) 推荐(0)
摘要:最近win8正式体验版发布,咱也使用了一把可以使用三个月,安装完成后去发现在开始界面点击应用程序却提示无法使用内置管理员帐户打开,于是只能想办法了,以下就是解决问题的方法,非常简单,在运行中输入:“gpedit.msc”,就会启动组策略编辑器,依次展开“计算机配置”里面的“Windows设置”,然后是“安全设置”,再就是“本地策略”里面的“安全选项”,在右边查找一项策略:“用户帐户控制: 用于内置管理员账户的管理员批准模式”,双击打开更改为“已启用”,确定后退出注销再登录,就OK了。 阅读全文
posted @ 2012-12-13 18:39 蜗牛123 阅读(773) 评论(0) 推荐(0)
摘要:1、MapReduce理论简介1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地说,MapReduce就是"任务的分解与结果的汇总"。 在Hadoop中,用于执行MapReduce任务的机器角色有两个:一个是JobTracker;另一个是 TaskTracker,JobTracker是用于调度工作的,TaskTracker是用于执行工作的。一个Hadoop集群中只有一台 JobTracker。 在分布式计算中 阅读全文
posted @ 2012-12-11 21:38 蜗牛123 阅读(463) 评论(0) 推荐(0)
摘要:在计算机技术中,虚拟化(Virtualization)是将计算机物理资源如服务器、网络、内存及存储等予以抽象、转换后呈现出来,使用户可以比原本的组态更好的方式来应用这些资源。这些资源的新虚拟部份是不受现有资源的架设方式,地域或物理组态所限制。一般所指的虚拟化资源包括计算能力和资料储存。[编辑] 虚拟化的类别硬件虚拟化虚拟机(Virtual machine或VM),可以像真实机器一样运行程序的计算机的软件实现平台虚拟化,将操作系统和硬件平台资源分割开完全虚拟化,敏感指令在操作系统和硬件之间被捕捉处理,客户操作系统无需修改,所有软件都能在虚拟机中运行,例如IBM CP/CMS,VirtualBox 阅读全文
posted @ 2012-12-11 17:48 蜗牛123 阅读(403) 评论(0) 推荐(0)
摘要:虚拟化是一个广义的术语,在计算机方面通常是指计算元件在虚拟的基础上而不是真实的基础上运行。虚拟化技术可以扩大硬件的容量,简化软件的重新配置过程。CPU的虚拟化技术可以单CPU模拟多CPU并行,允许一个平台同时运行多个操作系统,并且应用程序都可以在相互独立的空间内运行而互不影响,从而显著提高计算机的工作效率。虚拟化技术与多任务以及超线程技术是完全不同的。多任务是指在一个操作系统中多个程序同时并行运行,虚拟化而在虚拟化技术中,则可以同时运行多个操作系统,而且每一个操作系统中都有多个程序运行,每一个操作系统都运行在一个虚拟的CPU或者是虚拟主机上;而超线程技术只是单CPU模拟双CPU来平衡程序运行性 阅读全文
posted @ 2012-12-10 22:07 蜗牛123 阅读(437) 评论(0) 推荐(0)
摘要:主要介绍用DataJoin类来链接多数据源,先看一下例子,假设二个数据源customs和orderscustomer ID Name PhomeNumber1 赵一 025-5455-5662 钱二 025-4587-5653 孙三 021-5845-5875客户的订单号:Customer ID order ID Price Data2 1 93 2008-01-083 2 43 2012-01-211 ... 阅读全文
posted @ 2012-12-06 17:36 蜗牛123 阅读(202) 评论(0) 推荐(0)
摘要:My students frequently ask me how I planned out my career to become president of Fidelity Investments. I always tell them, "There was no grand plan; I backed into my career one step at a time."In the years after I graduated from law school, I had no idea that I would ultimately become the 阅读全文
posted @ 2012-12-05 19:32 蜗牛123 阅读(694) 评论(0) 推荐(0)
摘要:摘要:Intel会和Hadoop擦出怎样的火花?今年7月Intel发布了Hadoop发行版,在功能和用户界面进行了完善。Intel在GitHub维护开源项目Project Panthera,并积极招募committer。目前Intel在Apache Hadoop社区中没有一位committer,但你不能小看CPU巨人投入Hadoop怀抱的热情和努力。【CSDN报道】Intel在今年7月发布了首个Hadoop发行版,用Intel亚太研发有限公司总经理、Intel软件与服务事业部中国区总经理何京翔博士的原话来说,这是“过去几年研究的成果。”在2012Hadoop与大数据技术大会上,Intel将推出 阅读全文
posted @ 2012-12-05 10:07 蜗牛123 阅读(244) 评论(0) 推荐(0)
摘要:首先,将测试数据上载到hadoop的hdfs上。进入hadoop目录后输入命令:bin/start-all.sh(启动hadoop的守护进程)输入jps看进程是否启动,启动完成后输入命令:bin/hadoop fs -put input02 input //将hadoop目录下的input02文件夹上载到文件系统hdfs上输入命令:bin/hadoop fs -ls//查看文件系统上的文件 也可以用bin/hadoop fs -ls input 查看文件是否上载成功文件上载成功后,打开eclipse Maxtemperature代码 -->右击-->Run as-->Run 阅读全文
posted @ 2012-12-01 15:47 蜗牛123 阅读(254) 评论(0) 推荐(0)