2017 年 9月随笔档案 - Beeman_xia

摘要：一、准备：eclipse，hadoop集群注意：为了方便测试和修改，我用的是 windows 连接hadoop集群，这样在windows 下直接就能够执行 mapreduce 任务，方便程序调试。在 windows 下执行 mapreduce 任务需要安装相关插件，可... 阅读全文

posted @ 2017-09-29 09:23 Beeman_xia 阅读(955) 评论(0) 推荐(0)

摘要：用windows连接hadoop集群执行mapreduce任务的时候出现以下错误：org.apache.hadoop.security.AccessControlException:Permission denied: user=Administrator, acce... 阅读全文

posted @ 2017-09-29 08:44 Beeman_xia 阅读(1621) 评论(0) 推荐(0)

摘要：一.准备工作1.eclipse连接hadoop的插件，需要版本匹配，这有几个常用的 2 版本的插件hadoop2x-eclipse-plugin-master 密码：feg12.hadoop-common-2.2.0-bin-master，这个跟版本无关，直接用就可以... 阅读全文

posted @ 2017-09-27 22:35 Beeman_xia 阅读(408) 评论(0) 推荐(0)

摘要：hadoop集群启动的时候namenode显示Connection refused到windows下ping master 显示传输中过期ip是静态的ssh master 也是连接拒绝重启ssh服务发现这个问题。。。Sep 27 16:13:15 master ss... 阅读全文

posted @ 2017-09-27 17:55 Beeman_xia 阅读(2778) 评论(0) 推荐(0)

摘要：分析需求：某农产品网站的农产品价格抓取网站链接：点击打开链接页面展示如上:标签展示如上:分析发现每日价格行情包括了蔬菜，水果，肉等所有的信息，所以直接抓每日行情的内容就可以实现抓取全部数据。软件环境：eclipse，Jsoup包下载地址：点击打开链接密码：bmrr抓... 阅读全文

posted @ 2017-09-25 09:17 Beeman_xia 阅读(624) 评论(0) 推荐(0)

摘要：1.Error: Java heap space网上有很多说是java虚拟机内存不够的，我也试着修改内存大小，但是没起作用，后来发现是文件在传输过程中失真。文件在上传到HDFS后变成乱码，重新上传文件后解决。同样的问题有很多解法，主要还是要细心。2.MapReduce... 阅读全文

posted @ 2017-09-23 07:19 Beeman_xia 阅读(111) 评论(0) 推荐(0)

摘要：整理自python基础|菜鸟教程感谢菜鸟教程提供的优质资源！ 1.capitalize()将字符串的第一个字符转换为大写实例以下实例展示了capitalize()方法的实例：#!/usr/bin/python3str = "this is string examp... 阅读全文

posted @ 2017-09-23 07:04 Beeman_xia 阅读(439) 评论(0) 推荐(0)

摘要：比如说防火墙在CentOS6中为 iptables，在CentOS7中变为 firewalld。service iptables stop/start/restartsystemctl stop/start/restart firewalld 主要还是操作服务的改变，... 阅读全文

posted @ 2017-09-22 16:13 Beeman_xia 阅读(587) 评论(0) 推荐(0)

echarts2.2.7本地搭建

摘要：1.首先下载echarts2.2.7，解压到本地，解压后的目录如下：2.在WebContent下建立一个名为build的目录，复制echarts2.2.7下面的build下面的dist目录到eclipse的WebContent下，再将dist目录改名为echarts或... 阅读全文

posted @ 2017-09-01 17:40 Beeman_xia 阅读(2128) 评论(0) 推荐(0)

Beeman_xia