Ghose

摘要： 1）Value数据类型的Transformation算子 一、输入分区与输出分区一对一型 1、map算子 一次一个，一进一出。每个元素都调用一下我给的函数 2、flatMap算子 与上面map一样，不过最后把数组或者容器拆散，放入RDD中 3、mapPartitions算子 一次一批数据，优点比ma 阅读全文

摘要： Spark安装 比较简单 1. 下载安装包 spark-2.4.5-bin-without-hadoop-scala-2.12.tgz 2. 解压 cd /opt/lagou/software/ tar zxvf spark-2.4.5-bin-without-hadoop-scala-2.12.t 阅读全文

摘要： 竟然要搞Nginx 我用centos7， 一. gcc 安装安装 nginx 需要先将官网下载的源码进行编译，编译依赖 gcc 环境，如果没有 gcc 环境，则需要安装： yum install gcc-c++ 二. PCRE pcre-devel 安装PCRE(Perl Compatible Re 阅读全文

摘要： kafka安装 kafka安装包下载 https://kafka.apache.org/downloads Scala 2.12 - kafka_2.12-1.0.2.tgz (asc, sha512) 下载这个 1. 上传到服务器解压 tar -zxvf kafka_2.12-1.0.2.tgz 阅读全文

摘要： 安装zookeeper 把安装包 zookeeper-3.4.14.tar.gz 放到software目录里 解压 tar -zxvf zookeeper-3.4.14.tar.gz -C ../servers/ 创建data和log目录 #创建zk存储数据目录 mkdir -p /opt/lago 阅读全文

摘要： 在/usr/local/bin这个目录下存放的脚本，root用户可以在系统任何地方直接执行。 在/usr/local/bin目录下创建文件rsync-script vi rsync-script #!/bin/bash #1 获取命令输入参数的个数，如果个数为0，直接退出命令 paramnum=$# 阅读全文

摘要： 有了hive。再来一个impala 1. 准备一个源，方便后面拉取安装包 #yum⽅方式安装httpd服务器器yum install httpd -y#启动httpd服务器器systemctl start httpd#验证httpd⼯工作是否正常,默认端⼝口是80，可以省略略http://cento 阅读全文

摘要： 装个MySQL玩玩 1. 环境准备 a.删掉没用的包 rpm -aq |grep mariadb b.安装依赖包 yum install perl -y yum install net-tools -y 2. 安装MySQL 彻底卸载MySQL mysqladmin -uroot -proot sh 阅读全文

摘要： 虚拟机设置就跳过了。 安装JDK 1. 首先是切换到root用户 (su -root) 2.1 看一下现在有没有装java rpm -qa | grep java 2.2 如果有就需要卸载 rpm -e --nodeps 包 3. 把安装包放到sortware目录， 开始安装 4. 目标位置建一个目 阅读全文

摘要： Thread java.lang.Thread，所有多线程都继承他。优点，简单。但继承他以后无法继承其他 Runnable接口稍微复杂，但不影响继承其他类（推介）。因为Thread类也是实现Runnable，所以直接调用该接口更好。 创建线程 （Thread） 自写一个类，继承于Thread，重写r 阅读全文