随笔分类 -  Hadoop

装hive
摘要：按照这篇文章：this one 安装目录：/usr/local/hadoop/hadoop-2.5.2/hive/apache-hive-1.2.2-bin 最后完成了在主机hadoop伪分布式中Hive安装 启动hadoop后 阅读全文
posted @ 2017-04-24 10:20 Amelie.tingting 阅读(120) 评论(0) 推荐(0)
mapreduce的join
摘要：一篇超级详细的文章：this one 读完之后感触颇深，什么时候在map的时候join什么时候在reducer的时候join 之前写两个输入的时候，写的多么可笑，效率极低。 先用了一遍这篇文章的分布式缓存，在reduce的时候读取，因为hadoop版本太低，所以又做了修改，结合好几篇文章结果： 版本 阅读全文
posted @ 2017-04-21 22:44 Amelie.tingting 阅读(149) 评论(0) 推荐(0)
RuntimeException, ClassNotFoundException: Class XXMap not found . Mapper class issue
摘要：电脑配置是ubuntu 16.04 我给eclipse安装hadoop插件，新建map/reducer项目，写好之后，若在eclipse上点击run on hadoop，实则是在自己电脑上运行（具体为什么是这样子，还不清楚） 所以，试着打包成jar包远程登入集群，hadoop jar命令运行，但是遇 阅读全文
posted @ 2017-04-19 10:44 Amelie.tingting 阅读(533) 评论(0) 推荐(0)
给用户配置hadoop权限
摘要：参考文献：https://my.oschina.net/hetiangui/blog/143364 root登入集群后： 和文章中不同的是，在最后运行代码是提示，permission denied的错误，最后使用下面代码，而不是参考文章中的/tmp 也可能原因，我配置了环境变量为HADOOP_USE 阅读全文
posted @ 2017-04-14 14:59 Amelie.tingting 阅读(455) 评论(0) 推荐(0)
跑GPS数据记录
摘要：打开终端，登入到root，进入/home/newday下 在本地用pscp命令上传.zip的GPS数据 pscp /home/newday/文档/trackgps_20150822.zip newday@172.18.49.17:/home/newday 在hadoop8上 unzip -n tra 阅读全文
posted @ 2017-04-13 17:17 Amelie.tingting 阅读(176) 评论(0) 推荐(0)
logger重复性错误
摘要：错误： 可能是重复造成的错误 项目中含有这个包，尝试着把它删掉 不管用，寻求别的方法 最后在项目的build Path里面。将libraries的这个jar包移除 阅读全文
posted @ 2017-03-22 15:53 Amelie.tingting 阅读(153) 评论(0) 推荐(0)
关于远程802hadoop的记录
摘要：采用ssh tanghe@172.18.32.177，输入密码。 并进入文件cd /var/tanghe/amelie_file 这里面存放着我export出来的jar文件 在ubuntu系统输入： 用这个语句上传需要运行的jar文件 出现错误 解决方法：此项目-》-properties-》java 阅读全文
posted @ 2017-03-21 20:25 Amelie.tingting 阅读(142) 评论(0) 推荐(0)
关于时间方法（date和simpledateformat）的实验
摘要：java.text.SimpleDateFormat的用法 利用SimpleDateFormat将String转换为格式化的日期 参考这两篇文章得到了一些想法： 我们的时间的输入是string格式的，要想计算什么之类的，就必须转换成时间（Date）格式，这样就能对时间进行计算比较之类的操作 根据上面 阅读全文
posted @ 2017-03-06 15:03 Amelie.tingting 阅读(196) 评论(0) 推荐(0)
hadoop练习处理地震数据
摘要：2017-03-05 引入文章 在执行过程中仍有几点问题： 在远端hadoop集群上，arguments参数的输入地址和输出地址要写明hdfs://172.18.32.XXX:9000/Amelie-ting/XXX.txt hdfs://172.18.32.XXX:9000/Amelie-ting 阅读全文
posted @ 2017-03-05 13:59 Amelie.tingting 阅读(321) 评论(0) 推荐(0)
出现log4j.properties问题
摘要：文章 阅读全文
posted @ 2017-03-05 10:36 Amelie.tingting 阅读(87) 评论(0) 推荐(0)
远程hadoop集群方法
摘要：2017-03-05 暂时使用这种方法： 命令： 链接hadoop成功： 接下来在这样的情况下操作：[root@hadoop0 ～]# 其中hadoop0是集群的主机（不知道怎么称呼） 查看hadoop0的文件 将本地文件传入DFS系统中(暂时只会用eclipse操作)：在eclispe上上传文件到 阅读全文
posted @ 2017-03-05 09:48 Amelie.tingting 阅读(429) 评论(0) 推荐(0)
有关hadoop知识的记录
摘要：MapReduce:详解Shuffle过程 这篇文章详细介绍了map和reduce的过程（2017-03-03） 需要再看一遍，把这个过程，按照自己的理解写一遍 阅读全文
posted @ 2017-03-03 09:46 Amelie.tingting 阅读(99) 评论(0) 推荐(0)
hadoop权威指南第二章练习
摘要：多亏这篇博客给的指导 数据：使用的文章给出的数据，保存在/home/amelie/Haddoop_file/ncdc.txt 环境：ubuntu16.04LTS，hadoop伪分布式 MaxTemperatureMapper.java MaxTemperatureReducer.java MaxTe 阅读全文
posted @ 2017-03-02 12:18 Amelie.tingting 阅读(310) 评论(0) 推荐(0)
ubuntu连接windows的hadoop集群
摘要：使用命令 连接hahoop0集群 阅读全文
posted @ 2017-02-22 19:00 Amelie.tingting 阅读(144) 评论(0) 推荐(0)
hadoop的eclipse连接-PC端
摘要：参考 ant安装目录/usr/apache-ant-1.9.7 成功安装ant 在PC端给eclipse安装hadoop插件，连接另一台电脑的hadoop伪分布式。 未成功[忧伤][忧伤] 阅读全文
posted @ 2017-02-13 21:04 Amelie.tingting 阅读(187) 评论(0) 推荐(0)
Hadoop的wordcount代码实现
摘要：1.打开hadoop的目录，接下来都是在下面目录下操作 2.启动hadoop 3.hadoop文件暂存目录 4.将以上目录的文件存入hdfs下 5.查看hdfs存入在/data/input下的文件数目及名称 6.查看文件内容 7.hadoop自带wordcount的地址(hadoop根目录下) 8. 阅读全文
posted @ 2017-02-13 15:31 Amelie.tingting 阅读(1053) 评论(0) 推荐(0)
安装eclipse的hadoop开发环境--2
摘要：在eclipse上做好一切，在网上很容易搜到 尝试链接hadoop集群失败，尝试单机的操作，发现# ssh localhost失败 解决ssh问题：成功解决 但是eclipse的DFS location 文件夹下为空：可能原因：处于安全模式 很使用的文章：怎么安装hadoop集群 Hadoop2.2 阅读全文
posted @ 2016-11-13 16:54 Amelie.tingting 阅读(117) 评论(0) 推荐(0)
安装eclipse的hadoop开发环境
摘要：eclipse:安装路径/usr/local/eclipse hadoop-2.5.2 /usr/local/hadoop/hadoop-2.5.2 hadoop2x-eclipse-plugin-master已经下载到下载文件夹 //以上文件都是从官网下载 ant1.9.7 安装位置/esr/lo 阅读全文
posted @ 2016-11-11 18:27 Amelie.tingting 阅读(229) 评论(0) 推荐(0)