摘要：
一、聚合日志介绍 日志聚集是YARN提供的日志中央化管理功能，它能将运行完成的Container任务日志上传到HDFS上，从而减轻NodeManager负载，且提供一个中央化存储和分析机制。默认情况下，Container 任务日志存在在各个NodeManager上，保存在"yarn.nodemana 阅读全文
posted @ 2020-05-25 14:30
笨小康u
阅读(1856)
评论(0)
推荐(0)
摘要：
一、Hive参数配置方式 Hive中提供三种改变环境变量的方法，分别是：（1）修改 ${HIVE_HOME}/conf/hive-site.xml 配置文件；（2）命令行参数；（3）进入Hive客户端后手动设置。下面以修改‘hive.exec.scratchdir’参数为例具体介绍这三种方式。 假设 阅读全文
posted @ 2020-02-26 18:43
笨小康u
阅读(2296)
评论(0)
推荐(0)
摘要：
一、Hive日志介绍 Hive日志记录了程序运行的过程，在Hive中，日志分为两种： 系统日志。记录了Hive的运行情况，错误状况。 Job日志。记录了Hive中Job的执行过程。 1、系统日志存储在什么地方呢？在 ${HIVE_HOME}/conf/hive-log4j.properties 文件 阅读全文
posted @ 2020-02-26 18:35
笨小康u
阅读(8779)
评论(0)
推荐(0)
摘要：
一、环境准备 presto环境节点规划： 10.21.58.94（coordinator服务） 10.21.58.95（worker服务） 10.21.58.96（worker服务） presto下载并解压： 部署的presto版本为0.223.1，下载路径为 /opt/bigdata/app/ 下 阅读全文
posted @ 2020-01-14 23:15
笨小康u
阅读(971)
评论(0)
推荐(0)
摘要：
一、介绍 pyenv 是 Python 版本管理工具。 pyenv 可以改变全局的 Python 版本，安装多个版本的 Python， 设置目录级别的 Python 版本，还能创建和管理 virtual python environments 。所有的设置都是用户级别的操作，不需要 sudo 命令。 阅读全文
posted @ 2019-09-28 22:59
笨小康u
阅读(610)
评论(0)
推荐(0)
摘要：
Centos 6.8系统镜像默认安装的 python 环境是 2.6.6，线上需求需要升级到 2.7.14 版本，网上找了相关资料，升级 python 版本比较容易，但 yum/pip 等命令的使用也会有问题，网上的资料是修改脚本 #!/usr/bin/python 的头文件，个人感觉麻烦，还是直接 阅读全文
posted @ 2019-09-28 22:53
笨小康u
阅读(590)
评论(0)
推荐(0)
摘要：
一、介绍 权限认证机制，顾名思义，就是对 InfluxDB 数据库添加权限访问控制，在默认情况下，InfluxDB 的权限认证机制是关闭的，也就是说所有用户都有所有权限。 老规矩，直接实践上手，下图是 InfluxDB 开启权限认证机制后，登录数据库后 'show databases;' 提示权限认 阅读全文
posted @ 2019-08-02 01:21
笨小康u
阅读(2730)
评论(0)
推荐(0)
摘要：
一、Grafana 配置 InfluxDB 数据源 1.1 登录 Granfana 界面选择 InfluxDB 数据源 在前面我们已经部署好相应监控环境，登录Grafana：http://10.223.1.199:3000/，登录密码默认是 admin / admin，初次登录时会要求修改密码。 进 阅读全文
posted @ 2019-08-02 00:42
笨小康u
阅读(2180)
评论(0)
推荐(0)
摘要：
一、单节点环境部署 机器节点信息及 InfluxDB、Grafana 版本选择： 节点 Linux版本 部署服务 10.223.1.198 Centos 6.8 InfluxDB 1.7.7 10.223.1.199 Centos 6.8 Grafana 5.4.4 1.1 InfluxDB 环境部 阅读全文
posted @ 2019-08-02 00:36
笨小康u
阅读(847)
评论(0)
推荐(0)
摘要：
以下操作均时基于 Centos 6.8 操作。 一、现象 在平时工作中，当需要修改主机名时，我们一般会这样操作： 第一步，通过 hostname 命令临时修改主机名。 第二步，修改配置文件，保证机器重启时主机名不会变。 以上操作确实是修改主机名的正确姿势，也能达到预期的效果，但为什么要这样操作呢，知 阅读全文
posted @ 2019-08-01 01:03
笨小康u
阅读(1789)
评论(0)
推荐(0)
浙公网安备 33010602011771号