11 2021 档案
摘要：完整的警告信息： Your ZK connection string ( hosts) is different from the dynamic ensemble config ( hosts). Solr does not currently support dynamic reconfigur
阅读全文
摘要：报错信息： SEVERE [main] org.apache.catalina.util.LifecycleBase.handleSubClassException Failed to initialize component [Connector[HTTP/1.1-8080]] org.apach
阅读全文
摘要：查找文件名用find，示例： # 查找当前目录，文件名是“111.txt”的 find 111.txt # 查找根目录，文件名是“111.txt”的 find / -name 111.txt 如果需要模糊查找，使用*号。 find命令是自动递归子目录，不需要-r 查找文件内容用grep，示例： #
阅读全文
摘要：错误内容： Could not execute ruok towards ZK host xxx:2181. Add this line to the 'zoo.cfg' configuration file on each zookeeper node: '4lw.commands.whiteli
阅读全文
摘要：搭建SolrCloud模式的集群，使用内置的Jetty运行 一、硬件环境 假设有4台机，IP及主机名如下： 192.168.100.105 c1 192.168.100.110 c2 192.168.100.115 c3 192.168.100.120 c4 二、软件环境 操作系统：Ubuntu S
阅读全文
摘要：一、硬件环境 假设有1台机，IP及主机名如下： 192.168.100.105 c1 二、软件环境 操作系统：Ubuntu Server 18.04 JDK：1.8.0 1.安装JDK https://www.cnblogs.com/live41/p/14235891.html 2.安装Tomcat
阅读全文
摘要：搭建SolrCloud模式的集群，使用内置的Jetty运行 一、硬件环境 假设有4台机，IP及主机名如下： 192.168.100.105 c1 192.168.100.110 c2 192.168.100.115 c3 192.168.100.120 c4 二、软件环境 操作系统：Ubuntu S
阅读全文
摘要：Ubuntu新版没有chkconfig命令，且安装sysv-rc-conf会报以下错误： E: Unable to locate package sysv-rc-conf 经排查，发现是因为我配置了阿里云的源，该源没有集成sysv-rc-conf的安装包。 解决方法： 先登录root账号，然后编辑s
阅读全文
摘要：1.下载 8、9、10版本，三选一 https://tomcat.apache.org/download-10.cgi https://tomcat.apache.org/download-90.cgi https://tomcat.apache.org/download-80.cgi 下载Bina
阅读全文
摘要：简介 ZooKeeper - 分布式协调服务，负责为其它平台提供高可用(HA)的管理服务 Hadoop - 大数据文件系统+并行计算，包含HDFS、Map-Reduce、Yarn HBase - 基于Hadoop的列数据库 Flume - 消息队列，多数使用其作为接收端 Kafka - 消息队列，多
阅读全文
摘要：1.启动Kafka kafka-server-start.sh -daemon /kafka/config/server.properties 2.停止Kafka kafka-server-stop.sh 3.创建topictopic名是clotho，分区6个，副本3个 kafka-topics.s
阅读全文
摘要：命名描述语法 help ‘命名名’ 查看命令的使用描述 help ‘命令名’ whoami 我是谁 whoami version 返回hbase版本信息 version status 返回hbase集群的状态信息 status table_help 查看如何操作表 table_help create
阅读全文
摘要：如何确定topic需要多少个partition 一般情况是数据吞吐决定，这里的吞吐的单位是MB/s，这里暂时不考虑kafka服务端的单partition的吞吐瓶颈，而是考虑Producer和Consumer两端的吞吐 Producer 生产者的吞吐和以下几个配置有关： batching size c
阅读全文
摘要：在IDEA中使用maven-assembly-plugin插件时会提示“Plugin 'maven-assembly-plugin:' not found” 解决方法： File -> Setting -> Build, Execution, Deployment -> Build Tools ->
阅读全文
摘要：一、硬件环境 假设有4台机，IP及主机名如下： 192.168.100.105 c1 192.168.100.110 c2 192.168.100.115 c3 192.168.100.120 c4 假设全部大数据组件都部署在/home/目录，Kafka的topic名是clotho 数据流图如下：
阅读全文
摘要：1.count命令 hbase shell hbase:>count '表名' 2.hbase.RowCounter包 hbase org.apache.hadoop.hbase.mapreduce.RowCounter '表名' 该工具是Map-Reduce程序，配置文件/hadoop/etc/h
阅读全文
摘要：运行Map-Reduce程序，报以下错误： Container exited with a non-zero exit code 127. Error file: prelaunch.err /bin/bash: /us/rbin/jdk1.8.0/bin/java: No such file or
阅读全文
摘要：grep -rn '要搜索的关键词' * 参数： -r 递归查找 -n 显示行号 -R 查找所有文件包含子目录 -i 忽略大小写 -l 只列出匹配的文件名 -L 列出不匹配的文件名 -w 只匹配整个单词，而不是字符串的一部分（例如，搜索hello，匹配hello，不匹配helloo）
阅读全文
摘要：运行程序，报以下警告： log4j:WARN No appenders could be found for logger (..). log4j:WARN Please initialize the log4j system properly. * 其中的“..”是某个包的名字，例如org.apa
阅读全文
摘要：1.Shuffle grouping（随机分组） tuple会被随机分发到所有bolt，每个bolt会得到相同数量的tuple，使得负载均衡。 2.Fields grouping（按字段分组） 按field分发，只能发送给相同field的bolt。 例如： builder.setBolt("mybo
阅读全文
摘要：* 下面的<proc-name>是进程名，使用时要替换成具体的进程名 方法1： kill -9 $(pidof <proc-name>) 精确匹配杀死进程 kill -9 $(pgrep <proc-name>) 模糊匹配杀死进程 方法2： 其实是方法1的组合(缩略)写法： kill -9 $(pi
阅读全文
摘要：执行mvn package命令时，报以下警告： File encoding has not been set, using platform encoding GBK 或 编码GBK的不可映射字符 解决方法： 在pom.xml中加入以下内容： <properties> <project.build.
阅读全文
摘要：mvn package命令只能用于没有引用项/依赖包的打包。 解决方法： 如果要把引用项/依赖包打包到运行jar文件中，有2个可选插件： maven-assembly-plugin maven-shade-plugin 下面使用的是maven-assembly-plugin插件。 在pom.xml中
阅读全文
摘要：用Storm处理Kafka数据，运行时报以下错误： java.lang.NoClassDefFoundError: org.apache.storm.kafka.spout.KafkaSpout 或 ClassNotFoundException: org.apache.storm.kafka.spo
阅读全文
摘要：如果Maven依赖的组件引用的日志jar包冲突了，就会报错： “SLF4J: Detected both log4j-over-slf4j.jar AND bound slf4j-log4j12.jar on the class path” 解决方法： 在具体的依赖里面<dependency></d
阅读全文
摘要：一、开发 * 假定是用IDEA工具开发，这里实现的是上面(2)类型的2层Bolt实例，Spout -> Bolt1 -> Bolt2 1.创建Maven项目 项目名是StormProcessor，包名是com.clotho.storm。后面运行命令时会用到。 2.配置Maven 在pom.xml的<
阅读全文
摘要：一、组件 Nimbus：即Storm的Master，负责资源分配和任务调度。一个Storm集群只有一个Nimbus。 Supervisor：即Storm的Slave，负责接收Nimbus分配的任务，管理所有Worker，一个Supervisor节点中包含多个Worker进程。 Worker：工作进程
阅读全文
摘要：一、硬件环境 假设有4台机，IP及主机名如下： 192.168.100.105 c1 192.168.100.110 c2 192.168.100.115 c3 192.168.100.120 c4 假设部署在/home/目录 二、软件环境 操作系统：Ubuntu Server 18.04 JDK：
阅读全文
摘要：& 后台运行程序 使用ctrl+c发送SIGINT信号，程序不关闭关闭session/终端时发送SIGHUP信号，程序关闭 示例： storm nimbus & 程序运行的信息会输出到终端 nohup 不挂断(no hang up)运行程序 使用ctrl+c发送SIGINT信号，程序关闭关闭sess
阅读全文
摘要：一、硬件环境 假设Kafka安装在4台机，IP及主机名如下： 192.168.100.105 c1 192.168.100.110 c2 192.168.100.115 c3 192.168.100.120 c4 假设把Kafka Manager安装在c1机。 二、安装部署 * 新版的Kafka M
阅读全文
摘要：一、背景 Flume和Kafka都是Apache的开源项目。 1.Flume的优点和适用场景 支持的数据源较多、可自定义网络请求的安全配置(filter) 适合下游数据消费者不多的情况（一个消费者开一个channel） 适合数据安全性要求不高的操作（数据没有备份、没有副本） 适合与Hadoop生态圈
阅读全文
摘要：软件环境 操作系统：Ubuntu Server 18.04 JDK：1.8.0 * 先登录root账号再进行以下操作 1.安装JDK https://www.cnblogs.com/live41/p/14235891.html 2.下载安装包 假定下载到home目录 cd /home http://
阅读全文
摘要：如果之前已安装了Hadoop和HBase，启动Flume时会报错： Could not find or load main class org.apache.flume.tools.GetJavaProperty 解决方法： 打开HBase的hbase-env.sh文件 vim /hbase/con
阅读全文
摘要：1.先配置hosts的机器名和IP映射 需要先在运行Java程序的机器的hosts文件加入机器名和IP的映射。否则程序运行时会卡死或连接失败。 192.168.100.105 c1 192.168.100.110 c2 192.168.100.115 c3 192.168.100.120 c4 2.
阅读全文
摘要：预设条件 1.硬件环境 假定有4台机，网关是192.168.100.1，主机名和IP分别设置为： c1 192.168.100.105 c2 192.168.100.110 c3 192.168.100.115 c4 192.168.100.120 * 如果是搭建Ambari平台安装Hadoop组件
阅读全文
摘要：-H 设置硬资源限制. -S 设置软资源限制. -a 显示当前所有的资源限制. -c size:设置core文件的最大值.单位:blocks -d size:设置数据段的最大值.单位:kbytes -f size:设置创建文件的最大值.单位:blocks -l size:设置在内存中锁定进程的最大值
阅读全文
摘要：都是管理系统服务的命令。service和chkconfig是SysVInit命令，systemctl是Systemd命令。 service说明：Ubuntu的默认命令功能：Check/Start/Stop services 示例：service --status-all、service tomcat
阅读全文
摘要：一、硬件环境 假设有4台机，IP及主机名如下： 192.168.100.105 c1 192.168.100.110 c2 192.168.100.115 c3 192.168.100.120 c4 二、配置 * 第1-4点需要在所有机器执行，第5-8点只在c1机执行 1.进入ssh密钥信息目录 c
阅读全文
摘要：一、硬件环境 假设有4台机，IP及主机名如下： 192.168.100.105 c1 192.168.100.110 c2 192.168.100.115 c3 192.168.100.120 c4 二、软件环境 操作系统：Ubuntu Server 18.04 JDK：1.8.0 1.安装JDK
阅读全文
摘要：一、硬件环境 假设有4台机，IP及主机名如下： 192.168.100.105 c1 192.168.100.110 c2 192.168.100.115 c3 192.168.100.120 c4 ^_^ 这里是个trap（陷阱），ZooKeeper的节点，官方建议是单数个。由于ZooKeeper
阅读全文
摘要：1.区别 zookeeper - 旧版Kafka的参数 bootstrap.server - 新版Kafka的参数 2.原因 Kafka开发团队重写了ZooKeeper的Quorum控制器代码并嵌入到Kafka中。所以从v2.8版本开始，Kafka不再依赖ZooKeeper 资料：https://w
阅读全文
摘要：假设有4台机，IP及主机名如下： 192.168.100.105 c1 192.168.100.110 c2 192.168.100.115 c3 192.168.100.120 c4 调用HBase API的示例代码： String tableName = "User"; try { Config
阅读全文
摘要：第1、2点只需要在主节点执行，而第3、4点需要每台机执行。 1.先停止HBase stop-hbase.sh 2.再停止Hadoop stop-all.sh 该命令等同于 stop-yarn.sh stop-dfs.sh 3.最后停止ZooKeeper 每台机都需要执行该步骤 zkServer.sh
阅读全文
摘要：有两种情况和原因 情况一： WARN concurrent.DefaultPromise: An exception was thrown byorg.apache.hadoop.hbase.io.asyncfs.FanOutOneBlockAsyncDFSOutputHelper$6.operat
阅读全文
摘要：HBase启动RegionServer时报错： ERROR [main] regionserver.HRegionServer: Failed construction RegionServerjava.lang.IllegalArgumentException: java.net.UnknownH
阅读全文
摘要：手动卸载Ambari后，如果安装新程序时报以下错误： E: Malformed entry 1 in list file /etc/apt/sources.list.d/ambari-hdp-51.list (URI parse) E: The list of sources could not b
阅读全文
摘要：执行stop-hbase.sh时，等待很长时间都没结束（出来很多“...”），有2个解决方法： 方法1 hbase-daemons.sh stop master stop-hbase.sh 方法2 hbase-daemons.sh stop regionserver stop-hbase.sh *
阅读全文
摘要：一、硬件环境 假设有4台机，IP及主机名如下： 192.168.100.105 c1 192.168.100.110 c2 192.168.100.115 c3 192.168.100.120 c4 二、软件环境 操作系统：Ubuntu Server 18.04 JDK：1.8.0 * 这里的Zoo
阅读全文
浙公网安备 33010602011771号