随笔分类 - 经验
摘要：marathon提供多种健康检查方式 常用的有TCP和HTTP， TCP检查端口是否存在，存在则认为实例健康； HTTP检查指定URL的HTTP返回码，返回码正常（2xx、3xx）则认为实例健康； 这两种方式在重启过程中会有差别： 1）TCP：由于端口存在到服务可用之间有一段时间，这段时间新的实例被
阅读全文
摘要：一 创建秘钥 1 Macbook $ ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key ($HOME/.ssh/id_rsa): Enter passphrase (
阅读全文
摘要：spark 2.4 spark sql中执行 set hive.exec.max.dynamic.partitions=10000; 后再执行sql依然会报错： org.apache.hadoop.hive.ql.metadata.HiveException: Number of dynamic p
阅读全文
摘要：logstash一个实例运行多个配置文件，将所有配置文件放到以下目录即可 /usr/share/logstash/pipeline 但是默认行为不是每个配置文件独立运行，而是作为一个整体，每个input会匹配所有的filter，然后匹配所有的output，可能会导致数据被错误的处理以及发送到错误的地
阅读全文
摘要：通过api调用marathon重启app后出现deployment，但是app不会重启，配置如下： "constraints": [ [ "hostname", "UNIQUE" ], [ "hostname", "LIKE", "HOST-00[12]" ] ] 指定app只能在2个服务器上启动，
阅读全文
摘要：nginx配置 lua_package_path "/usr/local/openresty/lualib/resty/smtp/?.lua;;"; lua_need_request_body on; location ^~ /alarm/mail { resolver 202.106.0.20 v
阅读全文
摘要：mysql内存设置，首先要知道当前的设置 MySQL [(none)]> show variables like '%buffer%'; + + + | Variable_name | Value | + + + | bulk_insert_buffer_size | 8388608 | | inn
阅读全文
摘要：Hive或spark中执行sql字符常量包含;时会报错，比如 select instr('abc;abc', ';'); 报错 NoViableAltException(-1@[147:1: selectExpression : ( expression | tableAllColumns );])
阅读全文
摘要：openresty（nginx+lua）发http请求 利用location+proxy_pass间接实现 location ^~ /test/http { internal; proxy_pass http://test.com/path; } lua代码 local res, err = ngx
阅读全文
摘要：一 下载 confluence https://product-downloads.atlassian.com/software/confluence/downloads/atlassian-confluence-6.15.6-x64.bin jira https://product-downloa
阅读全文
摘要：spring项目中将sessionid对应的cookie过期时间设置很长，但是实际session还是在半个小时后失效，跟了一下代码，spring中session实现接口为 org.springframework.session.SessionRepository public interface S
阅读全文
摘要：oozie提交workflow后执行task报错： 2019-07-04 17:19:00,559 ERROR [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: ERROR I
阅读全文
摘要：包括cloudera-manager、hdfs、impala、kudu、oozie以及系统日志等； #cloudera-service-monitor log /bin/rm /var/lib/cloudera-service-monitor/ts/*/partition*/* -rf /bin/r
阅读全文
摘要：import java.util.concurrent.{ExecutorService, Executors, TimeUnit} import akka.actor.{Actor, ActorSystem, Props} import akka.util.Timeout import scala
阅读全文
摘要：java应用中经常需要用到jvm工具来进行一些操作，如果java应用部署在docker容器中，如何使用jvm工具？ 首先要看使用的docker镜像， 比如常用的openjdk镜像分为jdk和jre，只有jdk版本才有jvm工具，所以可以直接使用jdk版本的openjdk； 比如常用的tomcat镜像
阅读全文
摘要：marathon重启app后一直处于waiting状态，查看marathon日志 # journalctl -u marathon -f 有如下日志： Jun 14 12:58:38 DataOne-002 marathon[15801]: [2019-06-14 12:58:38,321] INF
阅读全文
摘要：在docker中启动tomcat或java类应用，获取时间默认是UTC时间，这是因为容器内的locale没有设置为东8区，最简单的方式是增加JAVA_OPTS 如果是java，直接在java命令后增加 -Duser.timezone=Asia/Shanghai 如果是tomcat可以先设置CATAL
阅读全文
摘要：spring boot 启动报错： Caused by: java.lang.IllegalArgumentException: LoggerFactory is not a Logback LoggerContext but Logback is on the classpath. Either
阅读全文
摘要：1 idea 结果 2 maven命令 $ mvn dependency:tree 结果 [INFO] +- org.springframework.boot:spring-boot-starter-aop:jar:2.1.3.RELEASE:compile [INFO] | +- org.spri
阅读全文
摘要：docker启动tomcat默认是： Run the default Tomcat server (CMD ["catalina.sh", "run"]): 查看tomcat启动脚本catalish.sh elif [ "$1" = "run" ]; then shift if [ "$1" = "
阅读全文
浙公网安备 33010602011771号