hadoop，大数据 - 随笔分类(第4页) - xxxxxxxx1x2xxxxxxx

柯南君：看大数据时代下的IT架构（6）消息队列之RabbitMQ--案例（Publish/Subscribe起航）

摘要：二、Publish/Subscribe（发布/订阅）（using the Java Client）为了说明这个模式,我们将构建一个简单的日志系统。它将包括两个项目：第一个将发出日志消息第二个将接收并打印它们。注：从本质上讲,发表日志消息广播给所有的接收者。下面让我们脑中带几个问题，让我们一... 阅读全文

posted @ 2015-07-19 17:15 xxxxxxxx1x2xxxxxxx 阅读(181) 评论(0) 推荐(0)

柯南君：看大数据时代下的IT架构（5）消息队列之RabbitMQ--案例（Work Queues起航）

摘要：二、Work Queues（using the Java Client) 走起在第上一个教程中我们写程序从一个命名队列发送和接收消息。在这一次我们将创建一个工作队列,将用于分发耗时的任务在多个工作者（worker）之间。背后的主要思想工作队列(又名:任务队列)是为了避免立即做一个资源密集型任务,不... 阅读全文

posted @ 2015-07-19 17:14 xxxxxxxx1x2xxxxxxx 阅读(247) 评论(0) 推荐(0)

柯南君：看大数据时代下的IT架构（4）消息队列之RabbitMQ--案例（Helloword起航）

摘要：柯南君：看大数据时代下的IT架构（4）消息队列之RabbitMQ--案例（Helloword起航）二、起航本章节，柯南君将从几个层面，用官网例子讲解一下RabbitMQ的实操经典程序案例，让大家重新回到经典“Hello world！”（The simplest thing that do... 阅读全文

posted @ 2015-07-19 17:13 xxxxxxxx1x2xxxxxxx 阅读(232) 评论(0) 推荐(0)

柯南君：看大数据时代下的IT架构（3）消息队列之RabbitMQ-安装、配置与监控

摘要：柯南君：看大数据时代下的IT架构（3）消息队列之RabbitMQ-安装、配置与监控一、安装1、安装Erlang1）系统编译环境（这里采用linux/unix 环境）① 安装环境虚拟机：VMware® Workstation 10.0.1 buildLinux系统：CentOS6.5rabbit... 阅读全文

posted @ 2015-07-19 17:12 xxxxxxxx1x2xxxxxxx 阅读(211) 评论(0) 推荐(0)

柯南君：看大数据时代下的IT架构（2）消息队列之RabbitMQ-基础概念详细介绍

摘要：一、基础概念详细介绍1、引言你是否遇到过两个（多个）系统间需要通过定时任务来同步某些数据？你是否在为异构系统的不同进程间相互调用、通讯的问题而苦恼、挣扎？如果是，那么恭喜你，消息服务让你可以很轻松地解决这些问题。消息服务擅长于解决多系统、异构系统间的数据交换（消息通知/通讯）问题，你也可以把它用于系... 阅读全文

posted @ 2015-07-19 17:11 xxxxxxxx1x2xxxxxxx 阅读(217) 评论(0) 推荐(0)

看大数据时代下的IT架构（1）业界消息队列对比

摘要：一、MQ（Message Queue）即消息队列，一般用于应用系统解耦、消息异步分发，能够提高系统吞吐量。MQ的产品有很多，有开源的，也有闭源，比如ZeroMQ、RabbitMQ、 ActiveMQ、Kafka/Jafka、Kestrel、Beanstalkd、HornetQ、Apache Qpi... 阅读全文

posted @ 2015-07-19 17:08 xxxxxxxx1x2xxxxxxx 阅读(191) 评论(0) 推荐(0)

Hadoop 新 MapReduce 框架 Yarn 详解

摘要：Hadoop 新 MapReduce 框架 Yarn 详解：http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/Apache Hadoop于2005年推出，提供了核心的MapReduce处理引擎来支持大规模数据工作负载的... 阅读全文

posted @ 2015-04-09 02:02 xxxxxxxx1x2xxxxxxx 阅读(261) 评论(0) 推荐(0)

大数据

摘要：http://www.idcloud.com.cn/fangan/http://prof.ict.ac.cn/BigDataBench/multi-tenancyversion/http://bosonnlp.com/product 阅读全文

posted @ 2015-02-14 00:45 xxxxxxxx1x2xxxxxxx 阅读(167) 评论(0) 推荐(0)

chinacloud大数据新闻

摘要：2015年大数据发展八大趋势 (0 篇回复)“数据很丰满，信息很骨感”：Sight Machine想用大数据的方法，打碎两者间的屏障 (0 篇回复)百度携大数据"圈地"证券业 "BAT"开启互联网金融新战场 (0 篇回复)码农的春天到了? (0 篇回复)浪潮大数据一体机出招装备科研“最强大脑” (... 阅读全文

posted @ 2015-02-14 00:24 xxxxxxxx1x2xxxxxxx 阅读(280) 评论(0) 推荐(0)

hadoop博客 oschina

摘要：http://my.oschina.net/Xiao629/blog?catalog=449279 阅读全文

posted @ 2015-02-02 04:12 xxxxxxxx1x2xxxxxxx 阅读(130) 评论(0) 推荐(0)

hadoop2的automatic HA+Federation+Yarn配置的教程

摘要：前言 hadoop是分布式系统，运行在linux之上，配置起来相对复杂。对于hadoop1，很多同学就因为不能搭建正确的运行环境，导致学习兴趣锐减。不过，我有免费的学习视频下载，请点击这里。 hadoop2出来后，解决了hadoop1的几个固有缺陷，比如单点故障、资源利用率低、支持作业类型少等问题，... 阅读全文

posted @ 2015-01-03 12:11 xxxxxxxx1x2xxxxxxx 阅读(271) 评论(0) 推荐(0)

Hadoop集群（第7期）_Eclipse开发环境设置

摘要：1、Hadoop开发环境简介1.1 Hadoop集群简介 Java版本：jdk-6u31-linux-i586.bin Linux系统：CentOS6.0 Hadoop版本：hadoop-1.0.0.tar.gz1.2 Windows开发简介 Java版本：jdk-6u31-windows-... 阅读全文

posted @ 2014-12-23 23:18 xxxxxxxx1x2xxxxxxx 阅读(174) 评论(0) 推荐(0)

学习Hadoop的资料

摘要：1）Cygwin相关资料（1）Cygwin上安装、启动ssh服务失败、ssh localhost失败的解决方案地址：http://blog.163.com/pwcrab/blog/static/16990382220107267443810/ （2）windows2003+cygwin+s... 阅读全文

posted @ 2014-12-23 21:44 xxxxxxxx1x2xxxxxxx 阅读(391) 评论(0) 推荐(0)

学习Hadoop不错的系列文章

摘要：1）Hadoop学习总结（1）HDFS简介（2）HDFS读写过程解析（3）Map-Reduce入门（4）Map-Reduce的过程解析（5）Hadoop的运行痕迹（6）Apache Hadoop 版本2）Hadoop-0.20.0源代码分析（1）Hadoop-0.20.0... 阅读全文

posted @ 2014-12-23 21:15 xxxxxxxx1x2xxxxxxx 阅读(156) 评论(0) 推荐(0)

Hadoop集群（第10期）_MapReduce与MySQL交互

摘要：2、MapReduce与MySQL交互 MapReduce技术推出后，曾遭到关系数据库研究者的挑剔和批评，认为MapReduce不具备有类似于关系数据库中的结构化数据存储和处理能力。为此，Google和MapReduce社区进行了很多努力。一方面，他们设计了类似于关系数据中结构化数据表的技术（Go... 阅读全文

posted @ 2014-12-23 21:07 xxxxxxxx1x2xxxxxxx 阅读(190) 评论(0) 推荐(0)

Hadoop集群（第6期）_WordCount运行详解

摘要：1、MapReduce理论简介1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。在Hadoo... 阅读全文

posted @ 2014-12-23 21:03 xxxxxxxx1x2xxxxxxx 阅读(192) 评论(0) 推荐(0)

Hadoop集群（第4期）_SecureCRT使用

摘要：1、SecureCRT简介 SecureCRT是一款支持SSH（SSH1和SSH2）的终端仿真程序，同时支持Telnet和rlogin协议。SecureCRT是一款用于连接运行包括Windows、UNIX和VMS的远程系统的理想工具。通过使用内含的VCP命令行程序可以进行加密文件的传输。有流行CR... 阅读全文

posted @ 2014-12-23 21:01 xxxxxxxx1x2xxxxxxx 阅读(165) 评论(0) 推荐(0)

Hadoop集群（第2期）_机器信息分布表

摘要：1、分布式环境搭建采用4台安装Linux环境的机器来构建一个小规模的分布式集群。图1 集群的架构其中有一台机器是Master节点，即名称节点，另外三台是Slaver节点，即数据节点。这四台机器彼此间通过路由器相连，从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet，实验网... 阅读全文

posted @ 2014-12-23 20:58 xxxxxxxx1x2xxxxxxx 阅读(180) 评论(0) 推荐(0)

Hadoop集群（第3期）_VSFTP安装配置

摘要：1、VSFTP简介 VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件，它的全称是Very Secure FTP 从此名称可以看出来，编制者的初衷是代码的安全。安全性是编写VSFTP的初衷，除了这与生俱来的安全特性以外，高速与高稳定性也是VSFTP的两个重要特点。在速度... 阅读全文

posted @ 2014-12-23 20:57 xxxxxxxx1x2xxxxxxx 阅读(125) 评论(0) 推荐(0)

Hadoop集群（第1期）_CentOS安装配置

摘要：1、准备安装1.1 系统简介 CentOS 是什么？ CentOS是一个基于Red Hat企业级 Linux提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的CentOS都会获得七年的支持（通过安全更新方式）。新版本的CentOS每两年发行一次，而每个版本的 CentOS 会定期... 阅读全文

posted @ 2014-12-23 20:56 xxxxxxxx1x2xxxxxxx 阅读(138) 评论(0) 推荐(0)

yyyyyyyyyyyyyyyyyyyy

公告

随笔分类 - hadoop，大数据