08 2018 档案
摘要：权限不足,上传文件时应当使用启动hadoop的账户,即在获取FileSystem时就应当指定用户 修改后的代码
阅读全文
摘要：具体异常如下: 解决方案: 删除pom文件中的hadoop-core的依赖,原因:hadoop-core是1.x的产物,在2.x之后已经被hadoop-common取代,我配置的时候同时使用了这两个依赖导致jar包冲突. 附上我测试上传用的代码 如果下载的过程中出现了 HADOOP_HOME and
阅读全文
摘要：配置前准备:关闭防火墙,配置好hosts,ssh免密登录 1.选定同步的标准,我是以hadoop002(设置为当前时间)作为同步标准,hadoop003(时间是2018年3月21,使用date -s进行设置)与hadoop004(2018年3月21)与之保持同步 在hadoop002上查看是否安装n
阅读全文
摘要：选中view,选择command windows 在下方出现的窗口中右键,接下来在窗口中输入命令即可,可以一定程度上代替分发脚本,具体请参考https://www.cnblogs.com/tele-share/p/9502569.html
阅读全文
摘要：1.单个节点操作 启动|停止单个节点 hdfs --daemon start|stop datanode hdfs --daemon start|stop namenode 启动|停止单个节点的NodeManageer yarn --daemon stop|start nodemanager 启动|
阅读全文
摘要：共计三台虚拟机分别为hadoop002(master,存放namenode),hadoop003(workers,datanode以及resourcemanage),hadoop004(workers.datanode,secondarynamenode) 1.搭建前的准备(三台虚拟机均已配置好ja
阅读全文
摘要：看下面的文字前先确保你的Replication值不大于你设置的虚拟机数量 如图,显示的副本数为3,但是实际可用的只有一台机器,查看了下hadoop003,hadoop004两台机器,果然没有存储数据,刚开始以为上传的jdk只有一份是因为在修改副本为3之前创建的,所以只有一份,但是重新上传了一个文件后
阅读全文
摘要：出现这种状况是因为当前账号没有配置ssh免密登录 进入到以下目录,查看是否生成过秘钥对,如果有的话直接ssh-copy-id 主机名 没有的话执行ssh-keygen -t rsa后再重新执行ssh-copy-id 主机(不要忘记本机),停掉hadoop,重新启动错误消失
阅读全文
摘要：同步脚本,在第5步要拼接自己配置的主机名 命令脚本(注意修改拼接的主机名) 把脚本保存在/usr/local/bin下就可以全局范围执行了
阅读全文
摘要：ssh针对的是用户不是机器,同一机器不同用户需要单独配置ssh,才能实现该用户的免密登录 cd ~ cd ./.ssh 在./ssh目录下生成公钥与私钥(如果没有.ssh先使用ssh命令连接到一台远程主机后退出就会生成./ssh) ssh-keygen -t rsa 接下来就是把公钥拷贝到需要远程连
阅读全文
摘要：打开$HADOOP_HOME/etc/hadoop/yarn-site.xml,增加以下配置(在此配置文件中尽量不要使用中文注释) 依次执行以下命令start-dfs.sh,start-yarn.sh.mr-jobhistory-daemon.sh start historyserver启动完毕后j
阅读全文
摘要：修改$HADOOP_HOME/etc/hadoop/mapred-site.xml,加入以下配置(修改主机名为你自己的主机或IP,尽量不要使用中文注释) 依次执行start-dfs.sh,start-yarn.sh后jps查看namenode,datanode等是否启动,成功启动后启动history
阅读全文
摘要：启动hdfs后执行share目录中自带的mapreduce程序时报如下错误 找到$HADOOP_HOME/etc/mapred-site.xml,增加以下配置
阅读全文
摘要：1.启动hadoop.然后netstat -nltp|grep 50070,如果,没有找到进程,说明没有配置web界面的端口修改hdfs-site,xml中加上如下配置 再次启动后,netstat -nltp|grep 5070,仍然没有该端口号信息的话说明namenode可能没有成功启动,建议先j
阅读全文
摘要：进入到ue的安装目录下shift并右键-->在此处打开命令窗口,执行以下命令 regsvr32.exe wodFtpDLX.dll,如果是64位要执行regsvr32.exe wodFtpDLX64.dll regsvr32.exe wodTelnetDLX.ocx如果是64位要执行regsvr32
阅读全文
摘要：一.修改配置文件(hadoop目录/etc/hadoop/配置文件) 1.修改hadoop-env.sh,指定JAVA_HOME 修改完毕后 2.修改core-site.xml 3.修改hdfs-site.xml 到这启动hadoop的基本配置已经完成了(配置完这些已经可以启动hadoop了),下面
阅读全文
摘要：1.安装jdk 原来是用的rpm安装的1.7,所以先使用rpm -qa|grep jdk,找到安装的1.7后 rpm -e --nodeps xxx.使用securecrt把官网下载的jdk-8u181-linux-x64.tar.gz上传(rz命令)到linux上,接着使用 tar -zxvf j
阅读全文
摘要：了解lambda之前先了解下什么是函数式接口,函数式接口即接口里必须有一个抽象方法(抽象的方法只能有一个,可以有其他的用default修饰的方法以及从Object继承的方法) jdk8里新增了一个@FunctionalInterface注解,这个注解标注此接口为函数式接口,但是并不是必须的,任何满足
阅读全文
摘要：把大一,大二,大三学习时的笔记整理下,有的是课本上的,还有的记不清了 1.字节解码成字符,字符编码成字节 2.序列化与持久化 对象序列化(实现Serializable接口),把对象序列化成流(或者反过来),方便存储即持久化(IO.JDBC) 多语言环境下,java序列化后存储的对象很难用其他语言还原
阅读全文
摘要：输出截图(部分) 验证第二页数据标题
阅读全文
摘要：静态代理的例子: 从上面的例子可以看到,实现静态代理模式时有三个要素 1.真实角色(委托对象) 2.代理角色 3.共同实现的接口 对比以实现Runnable接口的形式创建多线程,可以发现,代理角色Thread类不需要我们创建,我们只需要写委托对象 实现Runnable接口.把委托对象的引用传递给Th
阅读全文
摘要：httpclient htmlunit
阅读全文
摘要：测试网站https://www.meishij.net/ 目标:使用fiddler完成图片的替换 1.首先找到图片地址,然后在fiddler中查找对应图片 2.将对应的图片请求拖入到fiddler的AutoResponder面板中,勾选Enable rules与EXACT ....,接着点选find
阅读全文
摘要：1.模拟登录csdn,最开始的时候使用的是httpclient,网上的所有模拟登录csdn的版本都是找到lt/execution/event_id.连同用户名及密码 一起发送即可,但是目前的csdn的登录参数可不止这三个,fkid怎么解决?我抓包时发现fkid是登录时其value才被赋值,奈何找了半
阅读全文
摘要：使用htmlunit的好处有两点,相比httpclient,htmlunit是对浏览器的模拟,比如你定位一个按钮,就可以执行click()方法,此外不需要象在httpclient中一样编写复杂的代码,如一堆request header还有一大堆请求参数,你只需要填写用户名,密码,验证码即可,就象在使
阅读全文
摘要：使用webcollector时出现了如下异常 分析是依赖的问题,不仅要添加selenium-java,还要添加htmlunit-driver的依赖,注意不要添加成selenium-htmlunit-driver 添加htmlunit-driver后,异常解决
阅读全文
浙公网安备 33010602011771号