随笔分类 -  云计算/大数据

大数据 --> Kafka集群搭建
摘要：Kafka集群搭建 下面是以三台机器搭建为例，（扩展到4台以上一样，修改下配置文件即可） 1、下载kafka http://apache.fayea.com/kafka/0.9.0.1/ ，拷贝到三台服务器，并解压文件 2、 修改配置文件 server.properties: 183服务器： 184 阅读全文
posted @ 2016-09-09 10:29 蚂蚁吃大象、 阅读(498) 评论(0) 推荐(0)
大数据 --> Hadoop集群搭建
摘要：Hadoop集群搭建 1.修改/etc/hosts文件 在每台linux机器上，sudo vim /etc/hosts 编写hosts文件。将主机名和ip地址的映射填写进去。编辑完后，结果如下： 2.配置ssh，实现无密码登录 四台虚拟机上，使用： ssh-keygen -t rsa 一路回车就行了 阅读全文
posted @ 2016-09-09 10:25 蚂蚁吃大象、 阅读(247) 评论(0) 推荐(0)
大数据 --> CAP原理和最终一致性
摘要：CAP原理和最终一致性 CAP原理和最终一致性(Eventually Consistency) 阅读全文
posted @ 2016-04-28 17:16 蚂蚁吃大象、 阅读(285) 评论(0) 推荐(0)
大数据 --> 一致性Hash算法
摘要：一致性Hash算法 一致性Hash算法（Consistent Hash） 阅读全文
posted @ 2016-04-28 15:57 蚂蚁吃大象、 阅读(195) 评论(0) 推荐(0)
大数据 --> 分布式服务框架Zookeeper
摘要：分布式服务框架 Zookeeper Zookeeper系列 分布式服务框架 Zookeeper -- 管理分布式环境中的数据 阅读全文
posted @ 2016-04-27 19:45 蚂蚁吃大象、 阅读(215) 评论(0) 推荐(0)
大数据 --> ProtoBuf的使用和原理
摘要：ProtoBuf的使用和原理 一、简介 Protobuf是一个灵活的、高效的用于序列化数据的协议。相比较XML和JSON格式，protobuf更小、更快、更便捷。Protobuf是跨语言的，并且自带了一个编译器(protoc)，只需要用它进行编译，可以编译成Java、python、C++等代码，然后 阅读全文
posted @ 2016-04-23 12:01 蚂蚁吃大象、 阅读(9017) 评论(0) 推荐(0)
大数据 --> 淘宝异构数据源数据交换工具 DataX
摘要：淘宝异构数据源数据交换工具 DataX DataX是什么? DataX是一个在异构的数据库/文件系统之间高速交换数据的工具，实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem）之间的数据交换，由淘宝数据平台部门完成。 DataX用来解决什么? 目前成熟的数据导入导出工 阅读全文
posted @ 2016-04-06 10:46 蚂蚁吃大象、 阅读(1061) 评论(0) 推荐(0)
大数据 --> 分布式文件系统HDFS的工作原理
摘要：分布式文件系统HDFS的工作原理 Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。要理解HDFS的内部工作原理，首先要理解什么是分布式文件系统。 阅读全文
posted @ 2016-04-05 17:31 蚂蚁吃大象、 阅读(2683) 评论(0) 推荐(0)
大数据 --> Spark和Hadoop作业之间的区别
摘要：Spark和Hadoop作业之间的区别 熟悉Hadoop的人应该都知道，用户先编写好一个程序，我们称为Mapreduce程序，一个Mapreduce程序就是一个Job，而一个Job里面可以有一个或多个Task，Task又可以区分为Map Task和Reduce Task，如下图所示： 而在Spark 阅读全文
posted @ 2016-04-05 15:30 蚂蚁吃大象、 阅读(389) 评论(0) 推荐(0)
大数据 --> Spark与Hadoop对比
摘要：Spark与Hadoop对比 什么是Spark Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是J 阅读全文
posted @ 2016-04-05 13:50 蚂蚁吃大象、 阅读(1166) 评论(0) 推荐(0)
大数据 --> MapReduce原理与设计思想
摘要：MapReduce原理与设计思想 简单解释 MapReduce 算法 一个有趣的例子：你想数出一摞牌中有多少张黑桃。直观方式是一张一张检查并且数出有多少张是黑桃？ MapReduce方法则是： 给在座的所有玩家中分配这摞牌 让每个玩家数自己手中的牌有几张是黑桃，然后把这个数目汇报给你 你把所有玩家告 阅读全文
posted @ 2016-04-05 11:02 蚂蚁吃大象、 阅读(1388) 评论(0) 推荐(1)
云计算 --> 三种服务模式IaaS,PaaS,SaaS
摘要：三种服务模式IaaS,PaaS,SaaS “云”其实是互联网的一个隐喻，“云计算”其实就是使用互联网来接入存储或者运行在远程服务器端的应用，数据，或者服务。任何一个使用基于互联网的方法来计算，存储和开发的公司，都可以从技术上叫做从事云的公司。然而，不是所有的云公司都一样。不是所有人都是CTO，所以有 阅读全文
posted @ 2016-04-01 09:34 蚂蚁吃大象、 阅读(815) 评论(0) 推荐(0)
大数据 --> 大数据关键技术
摘要：大数据关键技术 大数据环境下数据来源非常丰富且数据类型多样，存储和分析挖掘的数据量庞大，对数据展现的要求较高，并且很看重数据处理的高效性和可用性。 传统数据处理方法的不足 传统的数据采集来源单一，且存储、管理和分析数据量也相对较小，大多采用关系型数据库和并行数据仓库即可处理。对依靠并行计算提升数据处 阅读全文
posted @ 2016-03-31 15:19 蚂蚁吃大象、 阅读(692) 评论(0) 推荐(1)
云计算 --> 技术原理
摘要：云计算技术原理 云计算分为IaaS、PaaS和SaaS三种类型，不同的厂家又提供了不同的解决方案，目前还没有一个统一的技术体系结构，下图是一个供商榷的云计算体系结构如下，它概括了不同解决方案的主要特征，每一种方案或许只实现了其中部分功能，或许也还有部分相对次要功能尚未概括进来。 云计算技术体系结构 阅读全文
posted @ 2016-03-31 15:05 蚂蚁吃大象、 阅读(1118) 评论(0) 推荐(0)
大数据 --> 安装Hadoop-单机模式（1）
摘要：安装Hadoop-单机模式（1） 一、在Ubuntu下创建hadoop组和hadoop用户 1）创建hadoop用户组 2）创建hadoop用户 3、为hadoop用户添加权限，打开/etc/sudoers文件，添加： 二、用新增加的hadoop用户登录Ubuntu系统 三、安装ssh 1）安装ss 阅读全文
posted @ 2016-03-30 09:45 蚂蚁吃大象、 阅读(262) 评论(0) 推荐(0)