03 2017 档案

摘要:近日得空,将过去一年记录下的工作日志整理一下,希望对开始从事Hadoop开发的同学有所帮助。 安装环境如下: Linux: Centos6.5 Jdk: jdk-7u79-linux-x64 Hadoop: hadoop-2.5.2.tar 一.为方便记忆,修改一下主机名: 修改一下两个文件 vim 阅读全文
posted @ 2017-03-16 13:32 *天道酬勤* 阅读(2365) 评论(0) 推荐(0)
摘要:安装环境如下: Linux: Centos6.5 Jdk: jdk-7u79-linux-x64 获取软件安装包途径: 1. Wget命令直接下载 2. 用FTP将已经下载好的安装上传到linux系统。 一:安装vsftpd 查看是否已经安装vsftpd rpm -qa | grep vsftpd 阅读全文
posted @ 2017-03-16 13:07 *天道酬勤* 阅读(385) 评论(0) 推荐(0)
摘要:【转自】http://blog.csdn.net/inaoen/article/details/6923953 分类: sql 2011-11-01 10:24 707人阅读 评论(0) 收藏 举报 目录: 第一章:SQLSERVER命令大全 --语句功能 --数据操作语言(DML) SELECT 阅读全文
posted @ 2017-03-13 16:39 *天道酬勤* 阅读(429) 评论(0) 推荐(0)
摘要:http://blog.csdn.net/wisgood/article/details/17081367 小文件指的是那些size比HDFS的block size(默认64M)小的多的文件。Hadoop适合处理少量的大文件,而不是大量的小文件。 1, 小文件导致的问题 首先,在HDFS中,任何bl 阅读全文
posted @ 2017-03-13 16:30 *天道酬勤* 阅读(1007) 评论(0) 推荐(0)
摘要:一、实验环境说明 1. 环境登录 无需密码自动登录,系统用户名shiyanlou,密码shiyanlou 2. 环境介绍 本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到桌面上的程序: XfceTerminal: Linux命令行终端,打开后会进入Bash环境,可以使用Linux命令 阅读全文
posted @ 2017-03-13 16:27 *天道酬勤* 阅读(1549) 评论(0) 推荐(0)
摘要:Hadoop 生态圈 软件下载: http://www.trieuvan.com/apache/ http://www.trieuvan.com/apache/hadoop/common/ 1.下载jdk1.7 wget --no-cookies --no-check-certificate --h 阅读全文
posted @ 2017-03-13 16:25 *天道酬勤* 阅读(267) 评论(0) 推荐(0)
摘要:HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。 HDFS有很多特点: ① 保存多个副本,且提供容错机制,副本丢失或宕机 阅读全文
posted @ 2017-03-13 16:24 *天道酬勤* 阅读(628) 评论(0) 推荐(0)