业余砖家

摘要： 1．broker的数量最好大于等于partition数量 一个partition最好对应一个硬盘，这样能最大限度发挥顺序写的优势。 一个broker如果对应多个partition，需要随机分发，顺序IO会退化成随机IO。 实验条件：3个 Broker，1个 Topic，无Replication，异步 阅读全文

摘要： 在 Linux 命令行中比较两个目录是一项常见的任务，特别是当你需要确保两个目录之间的文件完全相同时。 本文我们将介绍一些在 Linux 命令行中比较两个目录的方法。 方法一：使用 diff 命令比较两个目录 diff 命令可以比较两个文件或目录之间的差异。要比较两个目录，只需将两个目录作为参数传递 阅读全文

摘要： cp 命令是 Linux 中一个重要的命令，你可能经常会用到它。正如名称所示，cp 代表 复制(copy)，它被用于在 Linux 命令行中复制文件和目录。 语法格式 mv [选项] 源文件或目录 目标文件或目录 mv [options] source destination 选项说明 -b #当目 阅读全文

摘要： 前言 Intellij IDEA是一款功能强大的集成开发环境（IDE），可用于开发各种编程语言，包括Scala。Scala是一种功能强大的静态类型编程语言，它结合了面向对象和函数式编程的特性。 本文我们将介绍如何使用Intellij IDEA开发Scala项目。 1．准备工作 在开始之前，你需要进行 阅读全文

摘要： 一．首先确保jdk安装成功 首先在安装之前,确保本地已经安装了JDK1.5以上的版本,在此安装的是1.8版本。并且已经设置了JAVA_HOME 环境变量及JDK的bin目录。 1、新建JAVA_HOME环境变量 桌面找到【此电脑】，右击【此电脑】–【属性】–【高级系统设置】–【环境变量】。 2、编辑 阅读全文

摘要： Hadoop官网历史版本：https://archive.apache.org/dist/hadoop/common/ Zookeeper官网历史版本：https://archive.apache.org/dist/zookeeper/ Hive官网历史版本：https://archive.apac 阅读全文

摘要： 一、算术运算符 1、+、- 求和、 a+b a-b 2、 *、/、% 求乘积，商，余数 a*b a/b a/b 3、** 幂运算，例如 3**3 是求 3 的立方，即 27 4、 +=、-=、 *=、/=、%= 例 a+=1 相当于 a=a+1 5、++variable、- -variable 先将 阅读全文

摘要： （一）参数调优 参数调优相关代码 在实际的kafka开发中，我们会发现，无论是生产者还是消费者，都需要构建一个Properties对象，里面设置了很多参数。在这段代码中有很多常用的参数配置，在线上使用时，我们要根据实际的数据量和数据大小来决定这些配置的具体值。 Properties props = 阅读全文

摘要： 生产环境下，为了尽可能提升Kafka的整体吞吐量，可以对Kafka的相关配置参数进行调整，以达到提升整体性能的目的。 本文主要从Kafka的不同组件出发，讲解各组件涉及的配置参数和参数含义。 一、生产者（producer.properties或者代码中） 1、acks：Producer需要Leade 阅读全文

摘要： 1．操作系统 cat /etc/redhat-release ; 2．JDK java -version 3．SCALA scala --version 4．MySQL mysql --version 5．Zookeeper ps -ef | grep -E “zookeeper-.*.jar” 6 阅读全文