随笔分类 -  hadoop

大数据相关知识
Hadoop学习2—伪分布式环境搭建
摘要：一、准备虚拟环境 1. 虚拟环境网络设置 A、安装VMware软件并安装linux环境，本人安装的是CentOS B、安装好虚拟机后，打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet8 -> 属性。设置IPv4，设置如下： C、在创建好的虚拟机上点击网络设置，选择自定义并设置成“VMn 阅读全文
posted @ 2017-04-25 21:00 skyfeng713 阅读(382) 评论(0) 推荐(0)
Hadoop学习1—浅谈hadoop
摘要：大数据这个词越来越热，本人一直想学习一下，正巧最近有时间了解一下。先从hadoop入手，在此记录学习中的点滴。 什么是hadoop？ What Is Apache Hadoop? The Apache™ Hadoop® project develops open-source software fo 阅读全文
posted @ 2017-04-24 21:20 skyfeng713 阅读(233) 评论(0) 推荐(0)
redis介绍、单机安装以及java调用
摘要：什么是redis Redis是用C语言开发的一个开源的高性能键值对（key-value）数据库。和传统的关系型数据库不一样，不一定遵循传统数据库的一些基本要求（非关系型的、分布式的、开源的。水平可扩展的）。 优点： 对数据高并发读写 对海量数据的高效率存储和访问 对数据的可扩展性和高可用性 缺点： 阅读全文
posted @ 2017-04-23 20:40 skyfeng713 阅读(870) 评论(0) 推荐(0)
kafka中常用API的简单JAVA代码
摘要：通过之前《kafka分布式消息队列介绍以及集群安装》的介绍，对kafka有了初步的了解。本文主要讲述java代码中常用的操作。 准备：增加kafka依赖 一、kafka中对topic的操作 二、Producer代码 三、consumer代码 四、测试 先启动Consumer，再启动Producer 阅读全文
posted @ 2017-04-16 20:42 skyfeng713 阅读(542) 评论(0) 推荐(0)
zookeeper介绍
摘要：Zookeeper 是 Google 的 Chubby一个开源的实现，是 Hadoop 的分布式协调服务 它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等 下面简单谈一谈zookeeper： zookeeper本身自己就是一个集群，它提供少量数据的存储和管理。客户端 阅读全文
posted @ 2017-04-15 10:22 skyfeng713 阅读(245) 评论(0) 推荐(0)
kafka分布式消息队列介绍以及集群安装
摘要：简介 首先简单说下对kafka的理解： 1、kafka是一个分布式的消息缓存系统； 2、kafka集群中的服务器节点都被称作broker 3、kafka的客户端分为：一是producer（消息生产者）负责往消息队列中放入消息；另一类是consumer（消息消费者）负责从消息队列中取消息。客户端和服务 阅读全文
posted @ 2017-04-14 22:44 skyfeng713 阅读(2320) 评论(0) 推荐(1)