02 2022 档案
摘要：一、区别 --zookeeper ： 是旧版Kafka的参数（v2.8以前） --bootstrap.server ： 新版Kafka的参数。Kafka开发团队重写了ZooKeeper的Quorum控制器代码并嵌入到Kafka中。所以从v2.8版本开始，Kafka不再依赖ZooKeeper。（boo
阅读全文
摘要：创建 Topic 时出现该错误，创建命令： [hw@node01 bin]$ ./kafka-topics.sh --create --topic first --zookeeper node01:2181 --partitions 3 --replication-factor 1 错误如下; Er
阅读全文
摘要：一、Kafka概述 Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 Kafka专为分布式高吞吐量系统而设计。 最新定义：Kafka是一个开源的分布式事件流平台（EventStreamingPlatform），被数千家公司用于高性能数
阅读全文
摘要：ZooKeeper命令行界面（CLI）用于与ZooKeeper集群进行交互以进行开发。它有助于调试和解决不同的选项。要执行ZooKeeper CLI操作，首先打开ZooKeeper服务器（“bin/zkServer.sh start”），然后打开ZooKeeper客户端（“bin/zkCli.sh”
阅读全文
摘要：一、Zookeeper概述 Zookeeper是一个开源的为分布式应用提供协调服务的Apache项目。主要用来解决分布式集群中应用系统的一致性的问题，例如怎样避免同时操作同一数据造成脏读的问题。ZooKeeper 本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储，并且
阅读全文
摘要：1、配置 /etc/hosts 的映射 #添加如下内容 192.168.71.128 node01 192.168.71.127 node02 192.168.71.126 node03 2、进入用户家目录下的 .ssh目录下（/home/当前登录用户/.ssh），生成公钥和私钥 ps:由于 .ss
阅读全文
摘要：一、安装rsync远程同步工具 rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。 基本语法： 命令 选项参数 要拷贝的文件路径/名称 目的
阅读全文
摘要：如果系统所有命令都不能使用时，还可以使用绝对命令vi打开profile /bin/vi /etc/profile #添加以下内容 export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin #保
阅读全文
摘要：一、数据仓库概念 数据仓库（Data WareHouse），是为企业所有决策制定的过程，提供所有系统数据支持的战略集合。通过对数据仓库中的数据分析，可以帮助企业改进业务流程、控制成本、提高产品质量等。 数据仓库并不是数据的最终目的地，而是为数据最终的目的地做好准备。这些准备包括对数据的的：清洗、转义
阅读全文
摘要：原代码： #!/bin/bash for i in node01 node02 node03; do #statements echo " $i " ssh $i "jps $@ | grep -v Jps" done 运行以上程序出现：bash: jps: 未找到命令。 解决办法： 方式一：在ss
阅读全文
摘要：一、Hive常用命令 $ hive -help usage: hive -d,--define <key=value> Variable substitution to apply to Hive commands. e.g. -d A=B or --define A=B --database <d
阅读全文
摘要：一、脚本命令 nohup: 放在命令开头，表示不挂起,也就是关闭终端进程也继续保持运行状态 ； /dev/null：是Linux文件系统中的一个文件，被称为黑洞，所有写入改文件的内容都会被自动丢弃 ； 2>&1 : 表示将错误重定向到标准输出上； &: 放在命令结尾,表示后台运行； 一般会组合使用:
阅读全文
摘要：一、Hive安装地址 官网地址：http://hive.apache.org/ 文档查看地址：https://cwiki.apache.org/confluence/display/Hive/GettingStarted github地址：https://github.com/apache/hive
阅读全文
摘要：解决办法： 安装阿里云yum源 下载阿里云 wget -O /etc/yum.repos.d/CentOS-Base-epel.repo http://mirrors.aliyun.com/repo/Centos-7.repo 清理缓存 yum clean all 重新生成缓存 yum makeca
阅读全文
摘要：一、安装地址 下载地址（阿里源）：https://mirrors.aliyun.com/mysql/ 官方主页：https://www.mysql.com/ 二、Mysql安装 2.1 检查当前系统是否安装过MySQL $ rpm -qa|grep mariadb #如果存在通过如下命令卸载 $ s
阅读全文
摘要：如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准； 如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。 1、需求 已有集群服务器，node01、node02、node03。 找一个机器(node01)
阅读全文
摘要：一、第一个Shell脚本 #！/bin/bash echo"Hello World" #! 是一种约定的标记，告诉系统使用什么解释器执行； 执行Shell脚本主要有两种方式： #第一种： #使用chmod命令，给脚本添加可执行权限 chmod +x ./hello.sh #执行脚本 ./hello.
阅读全文
摘要：报错信息： 原因：改文件夹不属于改登录用户的 或者是权限不够。 解决办法： 1、查看要同步的文件所属 //使用命令查看要同步的文件或文件夹的所属 $ ll//使用 chown命令修改所属用户以及所属组 2、修改要同步的文件权限 // -R：递归 ； 777：最高权限 $ sudo chmod -R
阅读全文
摘要：HanLP是一款面向生产环境的自然语言处理工具包。具有的功能如下：中文分词 词性标注 命名实体识别 依存句法分析 语义依存分析 新词发现 关键词短语提取 自动摘要 文本分类聚类 拼音简繁 自然语言处理【官方地址】http://hanlp.com【GitHub地址】https://github.com
阅读全文
摘要：一、flatMap 作用：首先将函数应用于RDD的所有元素，然后将结果展平，返回一个新的RDD。 应用场景：文件中的所有行数据仅返回了一个数组对象。（即：Map映射 + 数据扁平化操作） 二、Map 作用：将处理的数据逐条进行映射转换，这里的转换可以是类型的转换，也可以是值的转换。通过将函数应用于此
阅读全文
摘要：参考文章： Spark中cache和persist的作用以及存储级别
阅读全文
摘要：Intellij IDEA一启动就弹出如下： 解决： 1、进入IDEA的安装目录进入bin目录下，找到如下两个文件 2、查看你的IDEA的属性，确定用的是32位还是64位的启动器 3、用记事本打开相应的idea.exe.vmoptions 文件，修改第二行 -Xmx的大小（64位默认是750） 注意
阅读全文
摘要：k8s的node节点使用kubectl命令时，如kubectl get pods --all-namespaces 出现如下错误： [root@k8s-node239 ~]# kubectl get pods The connection to the server localhost:8080 w
阅读全文
摘要：kubeadm初始化时报错 error execution phase couldn‘t initialize a Kubernetes cluster 这个问题一般是由虚拟机或软件包配置错误错误引起的，需要修改 Docker Cgroup 的驱动程序： $ vi /etc/docker/daemo
阅读全文
摘要：Kubernetes主要做Docker的容器化管理，总结一下如何查看k8s对应支持的docker版本的方法。 在GitHub可以查看所有Kubernetets版本信息：https://github.com/kubernetes/kubernetes/releases
阅读全文
摘要：1、准备两台虚拟机环境（master/node） 192.168.100.215 k8s-master 192.168.100.216 k8s-node1 2、关闭防火墙(master/node) systemctl stop firewalld systemctl disable firewall
阅读全文
摘要：一、什么是K8S？干什么的？ k8s全称（kubernetes），是一个全新的基于容器技术的分布式架构解决方案。简单来说就是一个docker容器管理工具，适合跑微服务架构。 假如在微服务，你有100万用户，是不是起码得100台云主机？100台云主机你怎么部署？运行着 ，主机停电死掉了，你怎么知道哪些
阅读全文
摘要：一、大数据技术划分 二、流式计算历史演进 目前主流的流式计算框架有Storm/Jstorm、Spark Streaming、Flink/Blink三种。 Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架，具有最高的摄取
阅读全文
摘要：Flink vs Spark Apache Spark和Flink都是下一代大数据工具抢占业界关注的焦点。两者都提供与Hadoop和NoSQL数据库的本机连接，并且可以处理HDFS数据。两者都是几个大数据的好方法问题。但由于其底层架构，Flink比Spark更快。Apache Spark是Apach
阅读全文
摘要：导入以下代码： //导入隐饰操作，否则RDD无法调用toDF方法 import org.apache.spark.sql.SparkSession val spark = SparkSession.builder.master("local[4]").getOrCreate import spark
阅读全文
摘要：log4j.rootCategory=ERROR, console\ log4j.appender.console=org.apache.log4j.ConsoleAppender \ log4j.appender.console.target=System.err \ log4j.appender
阅读全文
摘要：1、安装JDK 这里不再赘述。 2、安装Spark 到官网https://spark.apache.org/downloads.html选择合适的版本下载，注意Spark与Hadoop版本选择要相对应，建议下载预编译（Pre-built）好的版本，省得麻烦 解压要需要的目录下，并配置环境变量SPAR
阅读全文
摘要：一、textFile源码 /** * Read a text file from HDFS, a local file system (available on all nodes), or any * Hadoop-supported file system URI, and return it
阅读全文
摘要：一、协变、逆变 协变：Son是Father的子类，则MyList[Son] 也作为MyList[Father]的“子类”。 格式：class MyList[+T]{ //协变 } 逆变：Son是Father的子类，则MyList[Son]作为MyList[Father]的“父类”。 格式：class
阅读全文
摘要：语法处理上和Java类似，但是又不尽相同。 Java: Java语言按照try—catch—finally的方式来处理异常； 不管有没有异常捕获，都会执行finally，因此通常可以在finally代码块中释放资源； 可以有多个catch，分别捕获对应的异常，这时需要把范围小的异常类写在前面，把范围
阅读全文
摘要：一、Scala集合基础 说明： Scala的集合有三大类：序列Seq、集Set、映射Map，所有的集合都扩展自Iterable特质； 对于几乎所有的集合类，Scala都同时提供了可变和不可变的版本，分别位于以下两个包 ： 不可变集合：scala.collection.immutable ； 可变集合
阅读全文
摘要：Scala的面向对象思想和Java的面向对象思想和概念是一致的。 但Scala中又补充了更多的功能。 一、包对象 在Scala中可以为每个包定义一个同名的包对象，定义在包对象中的成员，作为其对应包下所有class和object的共享变量，可以被直接访问。 定义示例： package object c
阅读全文
摘要：一、匿名函数 没有名字的函数就是匿名函数，格式：(x:Int)=>{函数体} x：表示输入参数类型；Int：表示输入参数类型；函数体：表示具体代码逻辑 传递匿名函数至简原则： 参数的类型可以省略，会根据形参进行自动的推导； 类型省略之后，发现只有一个参数，则圆括号可以省略；其他情况：没有参数和参数超
阅读全文
摘要：一、前言 Scala语言是一个完全面向对象编程语言。万物皆对象； 对象的本质：对数据和行为的一个封装 。 Scala语言是一个完全函数式编程语言。万物皆函数。 解决问题时，将问题分解成一个一个的步骤，将每个步骤进行封装（函数），通过调用这些封装好的步骤，解决问题； 函数的本质：函数可以当做一个值进行
阅读全文
摘要：一、分支控制if-else //Scala中if-else语句中，代码块内最后一句代码就是返回值 def main(args: Array[String]): Unit = { var age:Int = 18; if (age > 18){ "成年了" }else{ "未成年" } } 注意：Sc
阅读全文
摘要：Scala和Java中的运算符用法基本一致。 一、区别 1、“==”和“equals”的用法 Java： String str1 = "abc"; String str2 = new String("abc"); System.out.println(str1 == str2); System.ou
阅读全文
摘要：一、注释及代码规范 Scala的注释和Java中完全相同：单行注释：// 、多行注释：/* */ 以及文档注释：/** */； 使用tab操作，实现缩进，默认整体向右边移动，用shift+tab整体向左移 。或是ctrl + alt + L来进行格式化； 运算符两边习惯性各加一个空格； 一行最长不超
阅读全文
摘要：一、概述 1.1 为什么要学Scala？ Spark是新一代的内存级大数据的计算框架，是大数据学习的重要内容。随着Spark的兴起，同时也带动了Scala的学习，因为Spark就是Scala编写的。为了更好的学习Spark，首先学习Scala就是必不可少的。 1.2 Scala和Java的关系？ 一
阅读全文
摘要：方式一： //GET方法 axios .get('https://www.runoob.com/try/ajax/json_demo.json') .then(response => (this.info = response)) .catch(function (error) { // 请求失败处
阅读全文
摘要：全局配置示例（在js文件配置）： axios.defaults.baseURL = 'https://api.example.com'; axios.defaults.headers.common['Authorization'] = AUTH_TOKEN; axios.defaults.heade
阅读全文
摘要：什么是vue的钩子函数？ Vue 实例在被创建时，会经过一系列的初始化过程，初始化过程中会运行一些函数，叫做生命周期钩子函数，通过运用钩子函数，用户在可以在Vue实例初始化的不同阶段添加自己的代码，以此来实现自己想做的事情。钩子函数在Vue初始化、更新数据、销毁时会被自动调用。 钩子函数的生命周期示
阅读全文
摘要：Vue的路由：本质也是一个组件，具体步骤如下： 1、定义路由组件 const Home = { template: '<div>首页</div>' } const News = { template: '<div>新闻</div>' } 2、定义路由并添加映射路径 const routes = [
阅读全文
摘要：node_modules：npm 加载的项目所需要的各种依赖模块。 src：这里是我们开发的主要目录（源码），基本上要做的事情都在这个目录里面，里面包含了几个目录及文件： 1、assets:放置一些图片(会根据图片大小分类进行base64命名还是其他方式命名)，如logo等； 2、component
阅读全文
摘要：为什么使用组件？ 组件就是一个个的Vue实例，可以重复使用。 组件的构成？ //tagName:是组件名 //options:是组件的配置 Vue.component(tagName, options) 如Vue.filter(参数1,参数2)过滤器本质也是一个组件，参数一是组件的标签（即名字）；参
阅读全文
摘要：脚手架工具搭建的项目是把Vue作为一个模块（如CommonJS规范的模块）对待，在源码中引入vue模块，最终需要用构建工具（如webpack）载入模块，编写代码需要require('vue')。 而直接用<script>标签引入相当于直接把vue.js里的代码引入到自己的代码中，里面直接有一个Vue
阅读全文
摘要：1、查看node.js和npm版本 $ node -v //建议v10以上版本 $ npm -v 2、若已安装了2.x的旧版本，需要先卸载 npm uninstall vue-cli -g 3、安装淘宝镜像加速器 npm install -g cnpm --registry=https://regi
阅读全文
摘要：1、docker run ：创建一个新的容器并运行一个命令 -i 交互模型运行，与-t一起使用 -t 为容器分配一个伪服务终端 -d 后台运行模式，并返回容器ID -p 指定端口映射，格式为：主机端口：容器端口 --name="自定义容器名" 为容器命名 例如：$ docker run -it ub
阅读全文
摘要：Docker官方提供了一个工具docker-registry，可以借助这个工具构建私有镜像仓库： 1、拉取registry镜像 # docker pull registry//可以使用 docker images查看镜像 2、运行registry docker run -di --name=MyRe
阅读全文
摘要：方式一：在宿主机的 /etc/docker/daemon.json 文件中增加以下内容来设置全部容器的 DNS； { "dns" : [ "114.114.114.114", "8.8.8.8" ] } 配置完重启docker才能生效。 $ systemctl restart docker //查看
阅读全文
摘要：docker 有一个连接系统允许将多个容器连接在一起，共享连接信息。并且连接会创建一个父子关系，其中父容器可以看到子容器的信息。 1、创建Docker网络，使用docker network命令 $ docker network create -d bridge test-net 参数说明： -d：参
阅读全文
摘要：构建镜像步骤; 1、创建Dockerfile文件，该文件是一个用来构建镜像的文本文件，文本内容包含了一条条构建镜像所需的指令和说明。 vim Dockerfile //每一个指令都会在镜像上创建一个新的层，每一个指令的前缀都必须是大写的 FROM centos:7 //下面的两条指令可以简写为： /
阅读全文
摘要：方式一:通过export和import的方式 //导出容器快照到本地文件 $ docker export 1e560fca3906 > ubuntu.tar //将快照文件导入为新的镜像 $ cat ubuntu.tar | docker import - ubuntu:v1//另外，也可以根据UR
阅读全文
摘要：错误如下所示; [root@localhost sbin]# start-all.sh Starting namenodes on [192.168.71.129] ERROR: Attempting to operate on hdfs namenode as root ERROR: but th
阅读全文
摘要：1、将hadoop-2.7.5.tar.gz上传到/opt目录下并解压缩到/usr目录下 tar -zxvf hadoop-2.7.5.tar.gz -C /usr #修改文件名 mv hadoop-2.7.5 hadoop 2、修改配置文件 vim /etc/profile //添加以下内容 ex
阅读全文
摘要：通过 spring cloud gateway 实现， 方式一：选择在主启动类中注册 CorsWebFilter 类： /** * 1.允许cookies跨域 * 2.允许向该服务器提交请求的URI，*表示全部允许，在SpringMVC中，如果设成*，会自动转成当前请求头中的Origin * 3.允
阅读全文
摘要：更新：通过一个 @CrossOrigin 注解就可以完美解决跨域问题。 创建一个配置类 package com.miaoshaProject.configuration; import org.springframework.context.annotation.Configuration; imp
阅读全文
摘要：@Test public void randomCodeTest() { Random random = new Random(); for (int i = 0; i < 10000; i++) { int randomNum = random.nextInt(1000000); String r
阅读全文
摘要：一、创建SpringBoot的三种方式 在线创建： https://start.spring.io 在IntelliJ IDEA中选择Spring Initializr创建；或者在Eclipse中选择 New -> Spring Starter Project创建（本质于第一种创建方式相同） 通过M
阅读全文
浙公网安备 33010602011771号