摘要: 近日得空,将过去一年记录下的工作日志整理一下,希望对开始从事Hadoop开发的同学有所帮助。 安装环境如下: Linux: Centos6.5 Jdk: jdk-7u79-linux-x64 Hadoop: hadoop-2.5.2.tar 一.为方便记忆,修改一下主机名: 修改一下两个文件 vim 阅读全文
posted @ 2017-03-16 13:32 *天道酬勤* 阅读(2319) 评论(0) 推荐(0) 编辑
摘要: 安装环境如下: Linux: Centos6.5 Jdk: jdk-7u79-linux-x64 获取软件安装包途径: 1. Wget命令直接下载 2. 用FTP将已经下载好的安装上传到linux系统。 一:安装vsftpd 查看是否已经安装vsftpd rpm -qa | grep vsftpd 阅读全文
posted @ 2017-03-16 13:07 *天道酬勤* 阅读(362) 评论(0) 推荐(0) 编辑
摘要: 【转自】http://blog.csdn.net/inaoen/article/details/6923953 分类: sql 2011-11-01 10:24 707人阅读 评论(0) 收藏 举报 目录: 第一章:SQLSERVER命令大全 --语句功能 --数据操作语言(DML) SELECT 阅读全文
posted @ 2017-03-13 16:39 *天道酬勤* 阅读(348) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/wisgood/article/details/17081367 小文件指的是那些size比HDFS的block size(默认64M)小的多的文件。Hadoop适合处理少量的大文件,而不是大量的小文件。 1, 小文件导致的问题 首先,在HDFS中,任何bl 阅读全文
posted @ 2017-03-13 16:30 *天道酬勤* 阅读(953) 评论(0) 推荐(0) 编辑
摘要: 一、实验环境说明 1. 环境登录 无需密码自动登录,系统用户名shiyanlou,密码shiyanlou 2. 环境介绍 本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到桌面上的程序: XfceTerminal: Linux命令行终端,打开后会进入Bash环境,可以使用Linux命令 阅读全文
posted @ 2017-03-13 16:27 *天道酬勤* 阅读(1504) 评论(0) 推荐(0) 编辑
摘要: Hadoop 生态圈 软件下载: http://www.trieuvan.com/apache/ http://www.trieuvan.com/apache/hadoop/common/ 1.下载jdk1.7 wget --no-cookies --no-check-certificate --h 阅读全文
posted @ 2017-03-13 16:25 *天道酬勤* 阅读(255) 评论(0) 推荐(0) 编辑
摘要: HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。 HDFS有很多特点: ① 保存多个副本,且提供容错机制,副本丢失或宕机 阅读全文
posted @ 2017-03-13 16:24 *天道酬勤* 阅读(602) 评论(0) 推荐(0) 编辑
摘要: 今天在用普通用户执行sudo命令时报错如下: 实测解决方式如下: 1,root用户登录。 2,进入到/etc目录。3,执行chmod u+w /etc/sudoers给sudoers文件增加write权限。4,执行vim sudoers 找到root ALL=(ALL) ALL这一行,一下面增加ha 阅读全文
posted @ 2016-03-21 17:45 *天道酬勤* 阅读(1203) 评论(0) 推荐(0) 编辑
摘要: 在git提交环节,存在三大部分:working tree, index file, commit这三大部分中:working tree:就是你所工作在的目录,每当你在代码中进行了修改,workingtree的状态就改变了。index file:是索引文件,它是连接workingtree和commit... 阅读全文
posted @ 2015-07-09 19:17 *天道酬勤* 阅读(266) 评论(0) 推荐(0) 编辑
摘要: Linux将命令添加到PATH中博客分类:linuxLinuxApacheBash 简单说PATH就是一组路径的字符串变量,当你输入的命令不带任何路径时,LINUX会在PATH记录的路径中查找该命令。有的话则执行,不存在则提示命令找不到。比如在根目录/下可以输入命令ls,在/usr目录下也... 阅读全文
posted @ 2015-05-05 18:14 *天道酬勤* 阅读(46993) 评论(2) 推荐(5) 编辑