随笔分类 -  hadoop

本书以hadoop权威指南第三版作为学习教材,同时结合hadoop官网手册进行hadoop的学习,这个分类会记录hadoop的学习过程,做笔记,希望能在这个方向上有所收获。
摘要:一、安装mysql 1安装服务器 2安装mysql客户端 3检查是否有mysql服务开启如果出现第二行则成功开启 4开启mysql服务命令 5root登录新建新用户 root初始密码为空,输入命令后直接回车即可。 6在database中user表里增加用户,用户名hive,用户密码hive 7更新u 阅读全文
posted @ 2016-07-01 19:03 kinsomy 阅读(685) 评论(0) 推荐(0)
摘要:这一次开始学习HBase数据库。 我用的是VMWare + ubuntu16.04 +Hbase1.1.5 +hadoop2.6.0的组合。 经过亲自安装验证,版本间没有发生冲突,可以进行学习和开发。 具体的安装过程参照了厦门大学数据实验室的安装教程,个人感觉这里面的安装步骤非常详细,非常少适合新人 阅读全文
posted @ 2016-06-11 15:27 kinsomy 阅读(917) 评论(0) 推荐(1)
摘要:FSDateinputStream 对象 FileSystem对象中的open()方法返回的是FSDateInputStream对象,改类继承了java.io.DateInoutStream接口。支持随机访问 Seekable接口 支持在文件中找到指定位置,并提供一个查询当前位置相对于文件起始位置偏 阅读全文
posted @ 2016-06-10 07:58 kinsomy
摘要:hadoop的灵感源于谷歌,最初目的是解决传统数据库处理数据成本高和速度慢的问题。 hadoop两个核心项目是HDFS(hadoop分布式文件系统)和MapReduce。 HDFS用来实现数据的存储,它有别于传统关系型数据库的数据存储方式,不需要很强的数据完整性,以流式数据访问模式来存储超大文件。当 阅读全文
posted @ 2016-06-05 08:22 kinsomy 阅读(189) 评论(0) 推荐(1)
摘要:这个博客开通快一年了,但是由于种种原因,始终没有能够养成定期更新的习惯。 最近完成了比赛的项目,向除了android开发以外再拓宽一下自己的技能树。 最近购买了《java8函数式编程》和《hadoop权威指南第三版》,希望能在大数据方向上有所学习和收获。 我会努力记录自己的学习过程,按时做笔记,定时 阅读全文
posted @ 2016-06-04 21:28 kinsomy 阅读(149) 评论(0) 推荐(0)