dolphinscheduler单机化改造

dolphinscheduler单机化改造

转载请注明出处: https://www.cnblogs.com/funnyzpc/p/16466920.html

前面

其实如果单机的话直接走standalone-server就可以了,简单又快捷,如果更改的话 后期要升级可能又需要维护个版本才可,所以简单用standalone-server是最合适的。
好了,就说说我碰到的standalone-server模式下的一些不便的地方以及解决思路,还有种种折腾😓

standalone-server下没有日志

这是个很坑的问题,非常不利于调试,以下这是官方 dolphinscheduler-daemon.sh 的代码片段

elif [ "$command" = "standalone-server" ]; then
 CLASS=org.apache.dolphinscheduler.server.StandaloneServer
 export SPRING_PROFILES_ACTIVE="${SPRING_PROFILES_ACTIVE},standalone,${DATABASE_TYPE}"

所以你大概需要改成这样:

elif [ "$command" = "standalone-server" ]; then
 LOG_FILE="-Dlogging.config=classpath:logback-master.xml"
 CLASS=org.apache.dolphinscheduler.server.StandaloneServer
 export SPRING_PROFILES_ACTIVE="${SPRING_PROFILES_ACTIVE},standalone,${DATABASE_TYPE}"

对于ide调试需要添加此参数:

任务执行用户与系统用户强绑定问题

你是不是系统搭建起来了,也创建worker账户了 而且也正确创建任务了 发现任务总执行失败呢😂,这个时候就该注意是不是linux没有创建对应worker同名的账户呢/(ㄒoㄒ)/~~ ,我也碰到了,也是看源码才知道的,所以在单机模式下有必要将这个限制去掉哈😂
(TaskExecuteThread)

这样下来,以后不管什么账户都是可以执行任务了,注意这功能不要在集群模式下去掉,至少为了安全吧~

standalone-server下用的是h2数据库

这是个坑,h2你可以理解为应用级别的内存表,很显然当你重启应用了数据就全丢失啦😂,刺不刺激意不意外🤣
对于这个问题,很显然需要将数据库改为mysql或者postgresql(主要是目前官方只支持这两款数据库作为项目数据库),需要改的地方大致有两处:

  • 一个地方是配置文件,在部署服务器config目录下

  • 还一个地方是启动类 StandaloneServer

对于配置文件肯定是要改的,至于这个配置文件也可以在启动命令行中指定此配置文件,以上只是个投机取巧的做法,也避免了修改启动脚本😂

去掉zookeeper client及依赖

因为集群环境的复杂性,所以需要任务有zookeeper,但对于单机也就冗余复杂了,所以就索性去掉之

这里是从MasterServer开始移除zk支持,所以代码也是大改,所有关联的全部被我去掉了,太麻烦了。。。具体你们可以试试

日志可以不用rpc

本来到这一步应该也结束了,跑了几个任务发现没得日志,检查了下才发现代码告诉我他们是用 netty 实现了个rpc,使用前需要启动日志模块(standalone-server下默认不会启动此模块),日志用rpc调用logger模块来查询日志。。。,咋办,继续改。。。


主要也就以上两个地方需要修改,具体的可以参见我的源码(开头有提~)

简化不必要的启动模块

这其实是顺带做的,启动类 StandaloneServer 我去掉了TestingServerAlertServerPythonGatewayServer ,去掉后启动速度及资源占用有提升😉😉
下面是具体代码:

 @EnableAutoConfiguration
@ComponentScan
public class StandaloneServer {
   public static void main(String[] args) throws Exception {
//        final TestingServer server = new TestingServer(true);
//        System.setProperty("registry.servers", server.getConnectString());

       new SpringApplicationBuilder(
           ApiApplicationServer.class,
           MasterServer.class,
           WorkerServer.class
//            AlertServer.class
//            PythonGatewayServer.class
       ).profiles("master", "worker", "api",/* "alert", "python-gateway", "h2",*/ "standalone","postgresql").run(args);
   }
}

修改worker执行主机host获取方式

这也是个坑,主要是源码基于集群考虑这个问题,单机还是得修改才可:



以上两处只是关键部分,对于此问题修改的地方不止以上两处,具体可以参见我源码哈😝😝

posted @ 2022-07-12 18:38  funnyZpC  阅读(750)  评论(2编辑  收藏  举报