12 2021 档案

Elasticsearch集群的安装与部署
摘要：一、硬件环境 假设有4台机，IP及主机名如下： 192.168.100.105 c1 192.168.100.110 c2 192.168.100.115 c3 192.168.100.120 c4 二、软件环境 操作系统：Ubuntu Server 18.04 JDK：1.8.0 Elastics 阅读全文
posted @ 2021-12-28 20:10 Clotho_Lee 阅读(1517) 评论(0) 推荐(0)
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
摘要：启动Elasticsearch报错： max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] 意思是虚拟内存上限的值设置得太小了，至少要262144 临时方法： sysct 阅读全文
posted @ 2021-12-28 19:07 Clotho_Lee 阅读(566) 评论(0) 推荐(0)
Ubuntu创建用户
摘要：先登录root账号 假定创建的用户名是clotho #创建用户 useradd clotho #设置密码 passwd clotho #指定命令解释程序 usermod -s /bin/bash clotho #指定主目录 usermod -d /home/clotho clotho #切换到clo 阅读全文
posted @ 2021-12-28 16:01 Clotho_Lee 阅读(681) 评论(0) 推荐(0)
Ubuntu切换用户会进入$的解决方法
摘要：假定用户名是clotho，当从别的用户切换到clotho后，会进入$，例如从root切换到clotho： root@ubuntu:/# su clotho $ 原因： 创建clotho用户时没有指定命令解释程序 解决方法： 先登录root用户，然后指定clotho的命令解释程序： usermod - 阅读全文
posted @ 2021-12-28 14:48 Clotho_Lee 阅读(328) 评论(0) 推荐(0)
利用脚本批量操作Solr集群(SolrCloud)
摘要：假设有4台机，IP及主机名如下： 192.168.100.105 c1 192.168.100.110 c2 192.168.100.115 c3 192.168.100.120 c4 假设Solr安装在/home/目录下，也就是/home/solr/ * 先登录root账号再进行以下操作 1.创建 阅读全文
posted @ 2021-12-27 18:07 Clotho_Lee 阅读(56) 评论(0) 推荐(0)
Solr集成IKAnalyzer中文分词组件
摘要：Solr没有中文分词，需要另外添加，一般是使用IKAnalyzer 1.下载IKAnalyzer https://github.com/magese/ik-analyzer-solr 下载jar文件，名字一般是ik-analyzer-x.x.x.jar，其中x.x.x是版本号 * 以下假定使用的版本 阅读全文
posted @ 2021-12-27 18:00 Clotho_Lee 阅读(336) 评论(0) 推荐(0)
Solr的schema.xml（managed-schema）文件
摘要：* 新版改名为managed-schema，没有后缀.xml 作用： schema.xml这个配置文件的根本目的是为了通过配置告诉Solr如何建立索引。 solr的数据结构： document：一个文档、一条记录 field：域、属性 solr通过搜索某个或某些field，返回若干个符合条件的doc 阅读全文
posted @ 2021-12-27 15:51 Clotho_Lee 阅读(203) 评论(0) 推荐(0)
Solr报警告The _default configset could not be uploaded
摘要：完整的警告信息： The _default configset could not be uploaded. Please provide 'solr.default.confdir' parameter that points to a configset intended to be the d 阅读全文
posted @ 2021-12-23 18:39 Clotho_Lee 阅读(126) 评论(0) 推荐(0)
Tomcat日志时间的时区问题
摘要：修改catalina.sh文件： vim /tomcat/bin/catalina.sh 加入一行： JAVA_OPTS="$JAVA_OPTS -Dfile.encoding=UTF8 -Duser.timezone=GMT+08" 重启Tomcat 阅读全文
posted @ 2021-12-21 16:22 Clotho_Lee 阅读(212) 评论(0) 推荐(0)
zkCli.sh常用命令
摘要：登录（其中之一） ./zkCli.sh bin/zkCli.sh 登录（已添加路径到系统环境变量） zkCli.sh 查看节点的下一级子节点 ls path 查看节点信息 stat path 查看节点数据 + stat get path 添加或修改节点数据 set path data 创建节点 cr 阅读全文
posted @ 2021-12-21 16:02 Clotho_Lee 阅读(371) 评论(0) 推荐(0)
Solr报警告java.nio.file.NoSuchFileException: /solr/xxx_shard_replica_xx/../../../../contrib/extraction/lib
摘要：会报多个路径的警告： java.nio.file.NoSuchFileException: /solr/xxx_shard_replica_xx/../../../../contrib/extraction/libjava.nio.file.NoSuchFileException: /solr/xx 阅读全文
posted @ 2021-12-21 15:04 Clotho_Lee 阅读(488) 评论(0) 推荐(0)
Solr报错org.apache.solr.common.SolrException: undefined field text
摘要：有2个原因会导致报这个错，一般2个原因都要处理才能解决。 原因一： collection的solrconfig.xml的firstSearcher事件的queries属性没配置，用了默认值 解决方法： 修改solrconfig.xml文件 vim /solr/configsets/你的collect 阅读全文
posted @ 2021-12-21 14:57 Clotho_Lee 阅读(570) 评论(0) 推荐(0)
利用脚本批量操作Tomcat集群
摘要：假设有4台机，IP及主机名如下： 192.168.100.105 c1 192.168.100.110 c2 192.168.100.115 c3 192.168.100.120 c4 假设Tomcat安装在/home/目录下，也就是/home/tomcat/ * 先登录root账号再进行以下操作 阅读全文
posted @ 2021-12-06 13:41 Clotho_Lee 阅读(63) 评论(0) 推荐(0)
大数据组件的日志的时区问题
摘要：大数据组件打印出来的日志的时区是比北京时间早了8小时 解决方法： ZooKeeper vim zookeeper/bin/zkEnv.sh 加入以下内容： export TZ="Asia/Shanghai" Hadoop vim hadoop/etc/hadoop/hadoop-env.sh 加入以 阅读全文
posted @ 2021-12-05 13:20 Clotho_Lee 阅读(264) 评论(0) 推荐(0)
利用脚本批量操作Storm集群
摘要：假设有4台机，IP及主机名如下： 192.168.100.105 c1 192.168.100.110 c2 192.168.100.115 c3 192.168.100.120 c4 假设Storm安装在/home/目录下，也就是/home/storm/ * 先登录root账号再进行以下操作 1. 阅读全文
posted @ 2021-12-03 18:39 Clotho_Lee 阅读(85) 评论(0) 推荐(0)
利用脚本批量操作Kafka集群
摘要：2种常用操作： kafka-server-start.sh -daemon home/kafka/config/server.properties #启动 kafka-server-stop.sh #停止 假设有4台机，IP及主机名如下： 192.168.100.105 c1 192.168.100 阅读全文
posted @ 2021-12-03 10:37 Clotho_Lee 阅读(214) 评论(0) 推荐(0)
利用脚本批量操作ZooKeeper集群
摘要：3种常用操作： zkServer.sh start #启动 zkServer.sh stop #停止 zkServer.sh status #查看状态 假设有3台机，IP及主机名如下： 192.168.100.105 c1 192.168.100.110 c2 192.168.100.115 c3 阅读全文
posted @ 2021-12-03 08:46 Clotho_Lee 阅读(322) 评论(0) 推荐(0)
Hadoop运行start-dfs.sh报ERROR: Attempting to operate on hdfs as root错误的解决方法
摘要：错误提示： Starting namenodes on [master] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting 阅读全文
posted @ 2021-12-03 00:45 Clotho_Lee 阅读(3707) 评论(1) 推荐(1)