摘要：
在进行流量排序之前,先要明白排序是发生在map阶段,排序之后(排序结束后map阶段才会显示100%完成)才会到reduce阶段(事实上reduce也会排序),.此外排序之前要已经完成了手机流量的统计工作,即把第一次mr的结果作为本次排序的输入.也就是说读取的数据格式为 手机号 上行流量 下行流量 总 阅读全文
posted @ 2018-09-13 15:31
tele
阅读(1276)
评论(0)
推荐(0)
摘要：
总体来说大概有以下2个大的步骤 1.连接集群(yarnrunner或者是localjobrunner) 2.submitter.submitJobInternal()在该方法中会创建提交路径,计算切片(writesplits),生成job.xml在路径下,提交job等 下面用windows下执行mr 阅读全文
posted @ 2018-09-10 20:07
tele
阅读(713)
评论(0)
推荐(0)
摘要：
使用回收站最主要是为了给误删文件的你留条后路 打开core-site.xml添加以下配置 这样配置之后,当你删除文件之后就可以在/user/用户名/.Trash下找到删除的文件了,fs.trash.interval的单位是分钟,表示,删除的文件在回收站保存的时间,下面删除a.txt 阅读全文
posted @ 2018-09-08 22:15
tele
阅读(240)
评论(0)
推荐(0)
摘要：
运行环境与上篇博文相同https://www.cnblogs.com/tele-share/p/9595265.html爬取结果 阅读全文
posted @ 2018-09-08 22:01
tele
阅读(1120)
评论(0)
推荐(0)
摘要：
环境: selenium-java 3.9.1 firefox 57.0 geckodriver 0.19.1 1.大概的思路就是模拟用户点击行为,关于滚动条的问题,我是模拟下拉箭头,否则只能每个相册只能爬到30个链接 2.多开标签页的原因是因为爬取多个相册时,当你爬完第一个相册无论采取什么方式总会 阅读全文
posted @ 2018-09-05 22:16
tele
阅读(710)
评论(0)
推荐(0)
摘要：
在服役前要配置好新增主机的环境变量,ssh等信息,个人环境介绍 hadoop002(namenode),hadoop003(resourcemanager),hadoop004(secondarynamenode),准备新增hadoop005 一.服役数据节点 1.在namenode节点主机下的${ 阅读全文
posted @ 2018-09-05 21:57
tele
阅读(1061)
评论(0)
推荐(0)
摘要：
在网上看到的大部分都是Python版本的,于是写了个java版本的 环境: selenium-java 3.9.1 firefox 57.0 geckodriver 0.19.1 firefox与geckodriver下载地址请参考https://blog.csdn.net/cyjs1988/art 阅读全文
posted @ 2018-09-04 09:19
tele
阅读(543)
评论(0)
推荐(0)
摘要：
最开始的时候碰到这种问题,是在hadoop003上配置了jdk1.8, 在hadoop002上执行ssh hadoop003 java -version提示没有命令,先ssh hadoop003然后执行java -version则没有问题后来执行分发脚本时也碰到过这种问题,如果分步执行,先ssh到主 阅读全文
posted @ 2018-09-03 21:42
tele
阅读(4652)
评论(0)
推荐(0)
摘要：
hdfs启动后发现进入了安全模式,最开始使用hdfs dfsadmin -safemode leave来进行关闭发现无法关闭,只好使用hdfs dfsadmin -safemode forceExit进行强制关闭,离开安全模式后,就可以上传,删除文件了 阅读全文
posted @ 2018-09-03 11:03
tele
阅读(1068)
评论(0)
推荐(0)
摘要：
在https://issues.apache.org/jira/browse/HDFS-4705找到了答案需要在hdfs-site.xml中配置 这样指定了fsimage的存储目录后,再执行importCheckpoint命令就可以了,需要注意的是要把namesecondary目录拷贝到与name目 阅读全文
posted @ 2018-09-03 11:01
tele
阅读(820)
评论(0)
推荐(0)
浙公网安备 33010602011771号