摘要：
求平均数是MapReduce比较常见的算法，求平均数的算法也比较简单，一种思路是Map端读取数据，在数据输入到Reduce之前先经过shuffle，将map函数输出的key值相同的所有的value值形成一个集合value-list，然后将输入到Reduce端，Reduce端汇总并且统计记录数，然后作 阅读全文
posted @ 2019-11-17 13:46
不像话
阅读(4295)
评论(0)
推荐(0)
摘要：
1.首先到github上下载hadoop-common-2.2.0-bin-master 2.解压放到自定义目录下 再将hadoop.dll文件复制到windows/System32目录下 3.配置环境变量 再运行项目就OK了 阅读全文
posted @ 2019-11-15 12:17
不像话
阅读(1390)
评论(0)
推荐(0)
摘要：
求平均数是MapReduce比较常见的算法，求平均数的算法也比较简单，一种思路是Map端读取数据，在数据输入到Reduce之前先经过shuffle，将map函数输出的key值相同的所有的value值形成一个集合value-list，然后将输入到Reduce端，Reduce端汇总并且统计记录数，然后作 阅读全文
posted @ 2019-11-15 11:46
不像话
阅读(361)
评论(0)
推荐(0)
摘要：
首先了解一下Scrapy的组件： 引擎：用来处理整个系统的数据流处理，触发事务（框架核心） 调度器：用来接受引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回。可以想象成一个URL的优先队列，由它来决定下一个要抓取的网址是什么，同时去除重复的网址。 下载器：用于下载网页内容，并将网页内容返回给 阅读全文
posted @ 2019-11-03 14:46
不像话
阅读(798)
评论(0)
推荐(0)
摘要：
第一部分：系统基础配置 系统基础配置中主完成了安装大数据环境之前的基础配置，如防火墙配置和安装MySQL、JDK安装等 第一步：关闭防火墙 Hadoop与其他组件的服务需要通过端口进行通信，防火墙的存在会阻拦这些访问，在初学阶段建议将防火墙全部 关闭，命令如下。 第二步：安装JDK JDK安装包已经 阅读全文
posted @ 2019-11-03 14:35
不像话
阅读(451)
评论(0)
推荐(0)
摘要：
一、安装Node.js并配置好Node.js环境。 自行下载傻瓜式安装配置 验证是否安装成功，cmd打开命令行输入 node -v 出现版本信息，则成功 二、安装git配置好环境 自行下载傻瓜式安装 验证是否安装成功，cmd打开命令行输入 git --version 出现版本信息，则成功 三、Git 阅读全文
posted @ 2019-10-13 21:18
不像话
阅读(593)
评论(0)
推荐(0)
摘要：
1.官网下载对应版本，本例以5.0.5为例 2.tar -zxvf xxxxx 并mv到安装目录 3.进入redis-5.0.5目录下，执行编译命令 4.编译完成后，经redis安装到指定目录下 5.安装完成后进入redis目录下，会发现有一个bin目录 6.启动 方式一，进入/usr/local/ 阅读全文
posted @ 2019-09-25 15:07
不像话
阅读(3776)
评论(0)
推荐(0)
摘要：
1.上传tar包2.解压 3.配置mysql metastore（切换到root用户） 配置HIVE_HOME环境变量 修改mysql的密码 （注意：删除匿名用户，允许用户远程连接） 登陆mysql mysql -u root -p 4.配置hive 修改hive-site.xml（删除所有内容，只 阅读全文
posted @ 2019-09-20 20:38
不像话
阅读(329)
评论(0)
推荐(0)
摘要：
1.1.启动集群 sbin/start-dfs.sh注：这个启动脚本是通过ssh对多个节点的namenode、datanode、journalnode以及zkfc进程进行批量启动的。 1.2.启动NameNode sbin/hadoop-daemon.sh start namenode1.3.启动D 阅读全文
posted @ 2019-08-30 16:39
不像话
阅读(407)
评论(0)
推荐(0)
摘要：
//字符串数组转变成int数组ints[i] = Integer.parseInt(str_string[i]);//设置窗口关闭Frame.addWindowListener(new WindowAdapter() { public void windowClosing(WindowEvent e 阅读全文
posted @ 2019-08-30 16:38
不像话
阅读(683)
评论(0)
推荐(0)
摘要：
//正则表达式1 字面值转义 \x 2 分组 [...] 3 范围 a-z 4 并集 [a-e][i-u] 5 交集 [a-z&&[aeiou]] \t 制表符 ('\u0009') \n 新行（换行）符 ('\u000A') \r 回车符 ('\u000D') \f 换页符 ('\u000C') 阅读全文
posted @ 2019-08-30 16:37
不像话
阅读(211)
评论(0)
推荐(0)
摘要：
链路层 传输层 网络层 应用层 IDE 集成开发环境1.属性前面添加下划线 使对象属性私有化2. for循环迭代 iter() 生成迭代器 减少空间占用3.python语法糖 具有特殊功能的函数4.列表生成试 a = [x*2 for x in range(10)]5.类的动态创建 是指当满足某一条 阅读全文
posted @ 2019-08-30 16:36
不像话
阅读(264)
评论(0)
推荐(0)
摘要：
alert(); 页面弹窗 <input plactholder="请输入密码"/>(隐藏字体效果)js对数据类型不敏感，与Java相似1.js变量定义符：var2.js数据类型： number string bollean undefind 引用数据类型 typeod 查看数据类型3.js的函数有 阅读全文
posted @ 2019-08-30 16:35
不像话
阅读(265)
评论(0)
推荐(0)
摘要：
彻底卸载mysql 一、chak 是否有安装mysql a) rpm -qa | grep -i mysql // 查看命令1 b) yum list install mysql* // 查看命令2 二、卸载mysql安装包 a) yum remove mysql mysql-server mysq 阅读全文
posted @ 2019-08-30 16:28
不像话
阅读(2679)
评论(0)
推荐(0)
摘要：
spark的集中运行模式 Local 、Standalone、Yarn 关闭防火墙：systemctl stop firewalld.service 重启网络服务：systemctl restart network.service 设置静态IP 设置/etc/hosts 配置免密登录在往期的Hado 阅读全文
posted @ 2019-08-30 16:24
不像话
阅读(1536)
评论(0)
推荐(0)
浙公网安备 33010602011771号