Github代码地址

随笔分类 -  hadoop

大数据
Big Table中文翻译
摘要：题记：google 的成功除了一个个出色的创意外，还因为有 Jeff Dean 这样的软件架构天才。 官方的 Google Reader blog 中有对BigTable 的解释。这是Google 内部开发的一个用来处理大数据量的系统。这种系统适合处理半结构化的数据比如 RSS 数据源。 以下发言 阅读全文
posted @ 2017-07-05 11:50 @小葱拌豆腐 阅读(534) 评论(0) 推荐(0)
MapReduce中文翻译
摘要：MapReduce:超大机群上的简单数据处理 摘要 MapReduce是一个编程模型,和处理,产生大数据集的相关实现.用户指定一个map函数处理一个key/value对,从而产生中间的key/value对集.然后再指定一个reduce函数合并所有的具有相同中间key的中间value.下面将列举许多可 阅读全文
posted @ 2017-07-05 11:50 @小葱拌豆腐 阅读(864) 评论(0) 推荐(0)
GFS中文翻译
摘要：Google文件系统 GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。 1、设计概览 （1）设计想定 GFS与过去的分布式文件系统有很多相同的目标，但GFS的设计受到了当前及预 阅读全文
posted @ 2017-07-05 11:48 @小葱拌豆腐 阅读(1825) 评论(0) 推荐(0)
HDFS读写流程
摘要：01.并行读取 02.逐个节点写入 阅读全文
posted @ 2017-05-21 15:22 @小葱拌豆腐 阅读(257) 评论(0) 推荐(0)
两个网卡的设置
摘要：上面的第2部分可以实现ssh 主机名称！但是也有问题！就是我们如果电脑的ip换了，需要我们反复的去修改/etc/hosts文件中的内容！怎么解决呢？使用两个网卡！之前我们设置的链接方式都是桥接！再增加一个仅主机模式 即可！前提 保证自己真机上面的 必须启用！ 01.在虚拟机的右下角点击 ==>设置 阅读全文
posted @ 2017-05-21 14:51 @小葱拌豆腐 阅读(738) 评论(0) 推荐(0)
SSH使用主机名访问
摘要：比如说A电脑已经和B电脑实现了ssh免密码登陆！但是A电脑通过 ssh B电脑的主机名称 不行！ 解决办法： 01.修改A电脑中的hosts文件 vim /etc/hosts 02.进入编辑界面后 配置B电脑的ip地址 空格 B电脑的 主机名 ==》 保存退出 03.修改vim /etc/sysco 阅读全文
posted @ 2017-05-21 14:48 @小葱拌豆腐 阅读(2614) 评论(0) 推荐(0)
Linux免密码登陆
摘要：A电脑实现不用密码登陆到B电脑！ vim /etc/ssh/sshd_config 编辑文件 01.在A电脑上生成ssh密钥 ssh-keygen -t rsa02.把A电脑生成的id_rsa.pub 放置到B电脑中~/.ssh目录下 scp ~/.ssh/id_rsa.pub root@B电脑的i 阅读全文
posted @ 2017-05-21 14:46 @小葱拌豆腐 阅读(319) 评论(0) 推荐(0)
linux中安装tomcat
摘要：01.去官网下载指定的安装包http://tomcat.apache.org/download-70.cgi 链接地址 02.在software目录下 使用命令wget 刚才复制的地址即可 03.使用命令解压下载的文件tar -zxvf 文件名称04. 目录下多了一个文件夹 05. 进入bin目录启 阅读全文
posted @ 2017-05-21 14:21 @小葱拌豆腐 阅读(279) 评论(0) 推荐(0)
linux中安装eclipse--CnetOS6.5
摘要：01.去官网下载指定的eclipse安装包 02.使用xftp把下载的eclipse安装包放入到linux系统的指定位置03.到指定的目录下！使用命令解压下载的文件tar -zxvf 文件名称04. 目录下多了一个文件夹 05. 在linux桌面上创建对应的快捷方式右键桌面空白处 阅读全文
posted @ 2017-05-21 14:15 @小葱拌豆腐 阅读(286) 评论(0) 推荐(0)
linux中安装和配置 jdk
摘要：01.去官网下载指定的jdk 02.使用xftp把下载好的文件 传递到 linux指定文件夹中03.进入指定的文件夹输入tar -zxvf 文件名称04.发现文件 05.进入文件cd jdk1.8.0_121 06.进入bin目录cd bin保存当前的路径，以备等会配置环境变量时使用！ /softw 阅读全文
posted @ 2017-05-21 14:04 @小葱拌豆腐 阅读(267) 评论(0) 推荐(0)
linux中安装mysql
摘要：01.搜索 mysql linux 网盘地址 http://pan.baidu.com/s/1qYOC6cs 02.把下载好的mysql 使用 xftp传到 linux中 software 文件夹下 03.切换到指定的目录 之后 拆包！ 04.安装客户端和服务器 安装服务器时可能会出现和之前版本冲突 阅读全文
posted @ 2017-05-19 13:13 @小葱拌豆腐 阅读(289) 评论(0) 推荐(0)
gzip压缩解压缩
摘要：压缩/解压缩压缩/解压缩之后的文件名称 必须是gz 解压缩 阅读全文
posted @ 2017-05-18 12:31 @小葱拌豆腐 阅读(182) 评论(0) 推荐(0)
vmware和centos的安装
摘要：如果勾上了！会立即在本机开辟20g的空间！ 选择电脑中 iso镜像的位置 之后点击开启虚拟机！ 这个密码是 root用户的密码！ 管理员密码！ 可以选择我们的Minimal 没有界面的！ 阅读全文
posted @ 2017-05-11 16:47 @小葱拌豆腐 阅读(353) 评论(0) 推荐(0)
eclipse中集成hadoop插件
摘要：1.下载并安装eclipse2.https://github.com/winghc/hadoop2x-eclipse-plugin3.下载插件到eclipse的插件目录 4.配置hadoop安装目录 打开eclipsewindow ->preference -> hadoop Map/Reduce 阅读全文
posted @ 2017-05-11 14:11 @小葱拌豆腐 阅读(8096) 评论(0) 推荐(0)

霸气