卅先生 - 博客园

摘要：最早接触大数据，常萦绕耳边的一个词「MapReduce」。它到底是什么，能做什么，原理又是什么？且听下文讲解。是什么MapReduce 即是一个编程模型，又是一个计算框架，它充分采用了分治的思想，将数据处理过程拆分成两步：Map 和 Reduce。用户只需要... 阅读全文

posted @ 2019-01-28 11:24 卅先生阅读(331) 评论(0) 推荐(0)

摘要： Table1--mysql常用操作主题用例说明书写规范数据库和表的名称不一定要大写。输入文本类型的数据时都要加上单引号； ... 阅读全文

posted @ 2018-09-21 16:28 卅先生阅读(197) 评论(0) 推荐(0)

摘要： part4：归并排序归并排序的基本思想是分而治之（D&C）。D&C的工作原理如下：找出最简单的基线条件；确定如何缩小问题的规模，使其符合基线条件。归并排序的动态图如下：注意点：在排序过程中我们引入一个中间列表（tmpArr），用来存放合并后的列表。代码实... 阅读全文

posted @ 2018-09-13 14:47 卅先生阅读(195) 评论(0) 推荐(0)

摘要：注意点Hbase 需要zookeeper。Hbase 需要在各个节点的机器上配置。集群中的启动顺序是Hadoop、zookeeper 和Hbase搭建步骤解压安装文件并配置环境变量。export HBASE_HOME=/usr/local/src/hbase... 阅读全文

posted @ 2018-09-12 08:20 卅先生阅读(138) 评论(0) 推荐(0)

摘要：注意点zookeeper需要在各个节点的机器上搭建，它的启动也要在各个节点的$ZOOKEEPER_HOME/bin 下启动。环境搭建下载安装包并解压。在$ZOOKEEPER_HOME/conf 目录下，生成zoo.cfg文件并添加配置。mv zoo_sam... 阅读全文

posted @ 2018-09-12 08:20 卅先生阅读(957) 评论(0) 推荐(1)

摘要：注意点：安装Spark前先要配置好Scala运行环境。Spark和Scala需要在各个机器上配置。环境变量配置在~/.bashrc中添加如下的配置信息。#scala confexport SCALA_HOME=/usr/local/src/scala-2.1... 阅读全文

posted @ 2018-09-11 21:14 卅先生阅读(212) 评论(0) 推荐(0)

摘要：注意点：在启动Hive 的时候要先启动Hadoop和MySQL服务。Mysql 和 Hive 搭建在 yan00机器上。part1：MySQL配置相关安装和配置相关命令：Yum install mysqlYum install mysql-server/e... 阅读全文

posted @ 2018-09-11 21:08 卅先生阅读(407) 评论(0) 推荐(0)

摘要： hadoop 配置要点软件版本 java 1.8.0_151 hadoop 2.6.1part1 $HADOOP_HOME/etc/hadoop 目录下配置参数。slaves 配置从节点 yarn01，yarn02。 core-site.xm... 阅读全文

posted @ 2018-09-11 21:05 卅先生阅读(133) 评论(0) 推荐(0)

摘要：集群架构系统虚拟机软件Linux环境虚拟机台数集群主机名64位 WIN7 旗舰版VMware WorkstationCentOS-6.5-x86_643yarn00/yarn01/yarn02part1 Linux虚拟机搭建安装VMWare安装CentOS配... 阅读全文

posted @ 2018-09-11 21:00 卅先生阅读(126) 评论(0) 推荐(0)

摘要： part1：冒泡排序冒泡排序的核心：一步一步交换相邻位置的数据！代码示例for 循环实现。def bubble_sort1(arr): # 交换的细节 def swap(i,j): arr[i],arr[j]=arr[j],arr[... 阅读全文

posted @ 2018-09-11 17:37 卅先生阅读(138) 评论(0) 推荐(0)

入微者说