随笔分类 -  跟星星学hadoop

Google三驾马车：GFS、MapReduce和Bigtable
摘要：谈到分布式系统，就不得不提Google的三驾马车:Google fs[1],Mapreduce[2],Bigtable[3]。 虽然Google没有公布这三个产品的源码，但是他发布了这三个产品的详细设计论文。而且，Yahoo资助的Hadoop也有按照这三篇论文的开源Java实现:Hadoop对应Ma 阅读全文
posted @ 2018-02-14 02:16 史红星-shihongxing 阅读(1412) 评论(0) 推荐(0)
教你做一个牛逼的DBA（在大数据下）
摘要：一、基本概念大数据量下，搞mysql，以下概念需要先达成一致1)单库，不多说了，就是一个库 2）分片（sharding），水平拆分，用于解决扩展性问题，按天拆分表 3）复制（replication）与分组（group），用于解决可用性问题 4）分片+分组，这是大数据量下，架构的实际情况 二、大数据量... 阅读全文
posted @ 2015-04-17 08:56 史红星-shihongxing 阅读(1342) 评论(0) 推荐(0)
Hadoop集群（第6期）JDK和SSH无密码配置
摘要：1、Linux配置java环境变量1.1 解压安装jdk 在shell终端下进入jdk-6u14-linux-i586.bin文件所在目录，执行命令 ./jdk-6u14-linux-i586.bin 这时会出现一段协议，连继敲回车，当询问是否同意的时候，输入yes，回车。之后会在当前目录下生成一... 阅读全文
posted @ 2014-11-17 11:55 史红星-shihongxing 阅读(229) 评论(0) 推荐(0)
Hadoop集群（第5期）SecureCRT使用
摘要：1、SecureCRT简介 SecureCRT是一款支持SSH（SSH1和SSH2）的终端仿真程序，同时支持Telnet和rlogin协议。SecureCRT是一款用于连接运行包括Windows、UNIX和VMS的远程系统的理想工具。通过使用内含的VCP命令行程序可以进行加密文件的传输。有流行CRT... 阅读全文
posted @ 2014-11-12 11:21 史红星-shihongxing 阅读(456) 评论(0) 推荐(0)
Hadoop集群（第4期）VSFTP安装配置
摘要：1、VSFTP简介 VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件，它的全称是Very Secure FTP 从此名称可以看出来，编制者的初衷是代码的安全。 安全性是编写VSFTP的初衷，除了这与生俱来的安全特性以外，高速与高稳定性也是VSFTP的两个重要特点。 在速度... 阅读全文
posted @ 2014-11-11 15:13 史红星-shihongxing 阅读(784) 评论(0) 推荐(0)
Hadoop集群（第3期）机器信息分布表
摘要：1、分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群。图1 集群的架构 其中有一台机器是Master节点，即名称节点，另外三台是Slaver节点，即数据节点。这四台机器彼此间通过路由器相连，从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet，实验网... 阅读全文
posted @ 2014-11-09 00:12 史红星-shihongxing 阅读(336) 评论(0) 推荐(0)
Hadoop集群（第2期）虚拟机网卡的介绍和配置
摘要：很多人安装虚拟机的时候，经常遇到不能上网的问题，而vmware有三种网络模式,对初学者来说也比较眼花聊乱，今天我就来基于虚拟机3种网络模式，帮大家普及下虚拟机上网的背景知识虚拟机网络模式无论是vmware,virtual box,virtual pc等虚拟机软件，一般来说，虚拟机有三种网络模式:1.... 阅读全文
posted @ 2014-11-09 00:04 史红星-shihongxing 阅读(328) 评论(0) 推荐(0)
Hadoop集群（第1期）CentOS安装配置
摘要：1、准备安装1.1 系统简介 CentOS 是什么？ CentOS是一个基于Red Hat 企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的 CentOS 都会获得七年的支持（通过安全更新方式）。新版本的 CentOS 每两年发行一次，而每个版本的 Cen... 阅读全文
posted @ 2014-11-09 00:00 史红星-shihongxing 阅读(300) 评论(0) 推荐(0)