09 2018 档案

lucene 统计单词次数(词频tf)并进行排序
摘要：1 public class WordCount { 2 static Directory directory; 3 // 创建分词器 4 static Analyzer analyzer = new IKAnalyzer(); 5 static IndexWriterConfig config = 阅读全文
posted @ 2018-09-24 19:39 tele 阅读(1553) 评论(0) 推荐(0)
selenium 爬取空间说说
摘要：比爬取相册简单点,唯一有点弯的是页码的构造了,我写的这个只支持获取文字,可以用来生成词云 阅读全文
posted @ 2018-09-23 20:32 tele 阅读(433) 评论(0) 推荐(0)
MapReduce自定义InputFormat,RecordReader
摘要：MapReduce默认的InputFormat是TextInputFormat,且key是偏移量,value是文本,自定义InputFormat需要实现FileInputFormat,并重写createRecorder方法,如果需要还可以重写isSplitable()来设置是否切片,重写了creat 阅读全文
posted @ 2018-09-21 20:05 tele 阅读(925) 评论(0) 推荐(0)
reduce 阶段遍历对象添加到ArrayList中的问题
摘要：起初遍历values时直接把对象添加到集合中,后来输出结果和预期不符,debug时发现添加到集合中的对象的值全部是最后一个对象的值,网上百度了下,发现是reduce阶段对象重用的问题,reduce阶段的key,value分别指向一个对象,无论操作了多少个键值对,始终是这两个对象,而ArrayList 阅读全文
posted @ 2018-09-19 15:01 tele 阅读(646) 评论(0) 推荐(0)
Mapreduce 订单分组案例
摘要：程序执行流程如下: map()-->getPartition()分区 >write()(序列化,每一行都顺序执行这三个方法) >readFields() >compareTo()排序 >readFields() >分组compare >reduce() 对于每一行的内容,依次执行map()-->ge 阅读全文
posted @ 2018-09-14 20:23 tele 阅读(582) 评论(0) 推荐(0)
MapReduce wordcount 输入路径为目录 java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/NativeIO$POSIX$Stat;
摘要：之前windows下执行wordcount都正常,今天执行的时候指定的输入路径是文件夹,然后就报了如题的错误,把输入路径改成文件后是正常的,也就是说目前的wordcount无法对多个文件操作 报的异常是getStat出了问题,也就是说SHELL.WINDOWS是false了,于是猜测是hadoop. 阅读全文
posted @ 2018-09-13 21:17 tele 阅读(1985) 评论(4) 推荐(4)
MapReduce 经典案例手机流量排序的分析
摘要：在进行流量排序之前,先要明白排序是发生在map阶段,排序之后(排序结束后map阶段才会显示100%完成)才会到reduce阶段(事实上reduce也会排序),.此外排序之前要已经完成了手机流量的统计工作,即把第一次mr的结果作为本次排序的输入.也就是说读取的数据格式为 手机号 上行流量 下行流量 总 阅读全文
posted @ 2018-09-13 15:31 tele 阅读(1280) 评论(0) 推荐(0)
MapReduce 切片机制源码分析
摘要：总体来说大概有以下2个大的步骤 1.连接集群(yarnrunner或者是localjobrunner) 2.submitter.submitJobInternal()在该方法中会创建提交路径,计算切片(writesplits),生成job.xml在路径下,提交job等 下面用windows下执行mr 阅读全文
posted @ 2018-09-10 20:07 tele 阅读(716) 评论(0) 推荐(0)
hadoop 3.x 回收站
摘要：使用回收站最主要是为了给误删文件的你留条后路 打开core-site.xml添加以下配置 这样配置之后,当你删除文件之后就可以在/user/用户名/.Trash下找到删除的文件了,fs.trash.interval的单位是分钟,表示,删除的文件在回收站保存的时间,下面删除a.txt 阅读全文
posted @ 2018-09-08 22:15 tele 阅读(242) 评论(0) 推荐(0)
webcollector + selenium 爬取空间相册图片
摘要：运行环境与上篇博文相同https://www.cnblogs.com/tele-share/p/9595265.html爬取结果 阅读全文
posted @ 2018-09-08 22:01 tele 阅读(1126) 评论(0) 推荐(0)
selenium firefox 提取qq空间相册链接
摘要：环境: selenium-java 3.9.1 firefox 57.0 geckodriver 0.19.1 1.大概的思路就是模拟用户点击行为,关于滚动条的问题,我是模拟下拉箭头,否则只能每个相册只能爬到30个链接 2.多开标签页的原因是因为爬取多个相册时,当你爬完第一个相册无论采取什么方式总会 阅读全文
posted @ 2018-09-05 22:16 tele 阅读(714) 评论(0) 推荐(0)
hadoop 3.x 服役 | 退役数据节点
摘要：在服役前要配置好新增主机的环境变量,ssh等信息,个人环境介绍 hadoop002(namenode),hadoop003(resourcemanager),hadoop004(secondarynamenode),准备新增hadoop005 一.服役数据节点 1.在namenode节点主机下的${ 阅读全文
posted @ 2018-09-05 21:57 tele 阅读(1065) 评论(0) 推荐(0)
selenium + firefox登录空间
摘要：在网上看到的大部分都是Python版本的,于是写了个java版本的 环境: selenium-java 3.9.1 firefox 57.0 geckodriver 0.19.1 firefox与geckodriver下载地址请参考https://blog.csdn.net/cyjs1988/art 阅读全文
posted @ 2018-09-04 09:19 tele 阅读(549) 评论(0) 推荐(0)
远程ssh执行命令时提示找不到命令
摘要：最开始的时候碰到这种问题,是在hadoop003上配置了jdk1.8, 在hadoop002上执行ssh hadoop003 java -version提示没有命令,先ssh hadoop003然后执行java -version则没有问题后来执行分发脚本时也碰到过这种问题,如果分步执行,先ssh到主 阅读全文
posted @ 2018-09-03 21:42 tele 阅读(4661) 评论(0) 推荐(0)
hadoop 3.x 关闭安全模式
摘要：hdfs启动后发现进入了安全模式,最开始使用hdfs dfsadmin -safemode leave来进行关闭发现无法关闭,只好使用hdfs dfsadmin -safemode forceExit进行强制关闭,离开安全模式后,就可以上传,删除文件了 阅读全文
posted @ 2018-09-03 11:03 tele 阅读(1071) 评论(0) 推荐(0)
执行hdfs namenode -importCheckpoint时出现No image directories available!
摘要：在https://issues.apache.org/jira/browse/HDFS-4705找到了答案需要在hdfs-site.xml中配置 这样指定了fsimage的存储目录后,再执行importCheckpoint命令就可以了,需要注意的是要把namesecondary目录拷贝到与name目 阅读全文
posted @ 2018-09-03 11:01 tele 阅读(824) 评论(0) 推荐(0)