06 2020 档案

数据采集flume kafka
摘要：需求：采集8类日志数据，并且进入es展示： 方案制定：目前数据采集通用flume+kafka模式，所以采用原有模式，一类服务进入一个topic，然后通过logstash进行数据清洗，最后进入es进行展示。 flume采用tadir 读取数据源，memory 进行缓存，kafka进行sink a1.s 阅读全文
posted @ 2020-06-26 21:07 bioamin 阅读(372) 评论(0) 推荐(0)
hive 自定义UDF
摘要：UDF ：user define function 用户自定义函数 一行输入,一行输出 定义Java类并实现org.apache.hadoop.hive.ql.exec.UDF——>覆写evaluate 需求： 将字符串类型的数据 2012-12-31 14:37:36 转换为 2012/12/31 阅读全文
posted @ 2020-06-26 16:29 bioamin 阅读(224) 评论(0) 推荐(0)
jieba分词
摘要：1.在github上对于jieba的介绍是非常全的，以后一定养成一个看官网的习惯！！学英语啊，学英语 中文分词是中文NLP的第一步，一个优秀的分词系统取决于足够的语料和完善的模型，很多机构和公司也都会开发和维护自己的分词系统，虽然jieba分词的性能并不是最优秀的，但它开源免费、使用简单、功能丰富， 阅读全文
posted @ 2020-06-25 22:02 bioamin 阅读(256) 评论(0) 推荐(0)
hue审计记录-记录用户的查询记录(用户前端删除,后端也不会删除)
摘要：原来用户执行sql会存储在desktop_document2表中，用户可以在前端界面对其进行删除，为了优化审计，建立一个新表desktop_document2_history，并建立一个触发器，实时更新。 添加一个触发器，记录所有用户的执行sql DROP TABLE IF EXISTS `desk 阅读全文
posted @ 2020-06-25 20:46 bioamin 阅读(2182) 评论(0) 推荐(0)
nginx1.16.1平滑升级到1.18
摘要：系统环境：redhat7.6 nginx版本：nginx1.16.1 1、到官网查看最新稳定版的安装包 http://nginx.org/en/download.html 2、查看已经安装nginx的版本以及安装模块 [dip@dip007 nginx]$ /user/local/nginx/sbi 阅读全文
posted @ 2020-06-22 20:46 bioamin 阅读(2122) 评论(0) 推荐(0)
mysql5.7.24升级到5.7.30 rpm部署模式 redhat7
摘要：一年一度的mysql安全月升级又开始了 CDH 元数据库升级 元数据库切换 之前使用cdh的元数据库使用的是切换节点部署模式，今年又要升级，计划在线直接升级： 1、环境描述： 系统环境：CentOS Linux release 7.4.1708 (Core） mysql环境：2.7.25 [root 阅读全文
posted @ 2020-06-05 15:54 bioamin 阅读(1818) 评论(0) 推荐(0)