08 2020 档案
摘要:配置nginx日志按天生成 http{ map $time_iso8601 $logdate { '~^(?\d{4}-\d{2}-\d{2})' $ymd; default 'nodate'; } server{ accesslog '/var/log/nginx/access${logdate}
阅读全文
摘要:初期选用fiume发送至Kafka。经过观察,每一个FlumeAgent都占用了较大的系统资源(至少会占用一颗CPU 50%以上的资源)。而另外一个业务,LogServer压力大,CPU资源尤其紧张,如果要实时收集分析日志,那么就需要一个更轻量级、占用资源更少的日志收集框架。 filebeat、lo
阅读全文
摘要:################################### Cluster ################################### #定义集群名称,默认是elasticsearch cluster.name: elasticsearch #################
阅读全文
摘要:安装参考连接:https://www.cnblogs.com/huxinga/p/8706155.html 问题: azkaban.executor.ExecutorManagerException: No active executors found 没有找到活动的executors,需在MySQ
阅读全文
摘要:Hadoop资源调度器是负责将任务分配给各种DataNode上的可用YARN容器的组件。调度器是ResourceManager中的插件。可以将调度器视为工具,它使集群多个租户共享集群,并以有效和及时的方式使用集群资源(CPU和内存),同时它还注意集群的总分配容量。 容量调度器(Capacity Sc
阅读全文

浙公网安备 33010602011771号