摘要: 背景:笔者和团队的小伙伴近期在进行 数据治理/元数据管理 方向的探索, 在接下来的系列文章中, 会陆续与读者们进行分享在此过程中踩过的坑和收获。 元数据管理系列文章: "0] [使用Atlas进行元数据管理之Atlas简介" "1] [使用Atlas进行元数据管理之Glossary(术语)" "2]阅读全文
posted @ 2018-11-19 23:02 mantou叔叔 阅读(5) 评论(0) 编辑
摘要: 背景:笔者和团队的小伙伴近期在进行 数据治理/元数据管理 方向的探索, 在接下来的系列文章中, 会陆续与读者们进行分享在此过程中踩过的坑和收获。 元数据管理系列文章: "0] [使用Atlas进行元数据管理之Atlas简介" "1] [使用Atlas进行元数据管理之Glossary(术语)" "2]阅读全文
posted @ 2018-11-19 21:09 mantou叔叔 阅读(47) 评论(0) 编辑
摘要: 数据的真正价值在于数据驱动决策,通过数据指导运营。通过数据驱动的方法判断趋势,帮住我们发现问题,继而推动创新或产生新的解决方案。随着企业数据爆发式增长,数据体量越来越难以估量,我们很难说清楚我们到底拥有哪些数据,这些数据从哪里来,到哪里去,发生了什么变化,应该如何使用它们。因此元数据管理(数据治理)成为企业级数据湖不可或缺的重要组成部分。阅读全文
posted @ 2018-11-15 22:13 mantou叔叔 阅读(18) 评论(0) 编辑
摘要: 1.背景 互联网从来就不是一个安全的地方。很多时候我们过分依赖防火墙来解决安全的问题,不幸的是,防火墙是假设“坏人”是来自外部的,而真正具有破坏性的攻击事件都是往往都是来自于内部的。 近几年,在thehackernews等网站上总会时不时看到可以看到一些因为数据安全问题被大面积攻击、勒索的事件。在H阅读全文
posted @ 2018-11-03 20:40 mantou叔叔 阅读(194) 评论(1) 编辑
摘要: 在调试Kerberos的时候可能会有需要禁用的场景。以下是各组件禁用Kerberos的相关配置。 环境 CDH版本:5.11.2 Linux版本:7.4.1708 Docker版本:Docker version 18.06.0 ce JDK版本:1.8 Zookeeper : false 的Serv阅读全文
posted @ 2018-09-17 13:52 mantou叔叔 阅读(101) 评论(0) 编辑
摘要: 本文首先会简单介绍Kylin的安装配置,然后介绍启用Kerberos的CDH集群中如何部署及使用Kylin。阅读全文
posted @ 2018-09-14 18:22 mantou叔叔 阅读(155) 评论(0) 编辑
摘要: 1. 概述 Kerberos是一种计算机网络认证协议,它允许某实体在非安全网络环境下通信,向另一个实体以一种安全的方式证明自己的身份。它也指由麻省理工实现此协议,并发布的一套免费软件。它的设计主要针对客户 服务器模型,并提供了一系列交互认证——用户和服务器都能验证对方的身份。Kerberos协议可以阅读全文
posted @ 2018-08-11 18:57 mantou叔叔 阅读(499) 评论(0) 编辑
摘要: 1. JWT 介绍 JSON Web Token(JWT)是一个开放式标准(RFC 7519),它定义了一种紧凑(Compact)且自包含(Self contained)的方式,用于在各方之间以JSON对象安全传输信息。 这些信息可以通过数字签名进行验证和信任。 可以使用秘密(使用HMAC算法)或使阅读全文
posted @ 2018-05-05 12:19 mantou叔叔 阅读(6032) 评论(0) 编辑
摘要: 1. 简介 决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干,故称决策树。在机器学习中,决策树是一个预测模型,他阅读全文
posted @ 2018-04-21 11:27 mantou叔叔 阅读(384) 评论(0) 编辑
摘要: 1. 多元线性回归定义 在回归分析中,如果有两个或两个以上的自变量,就称为多元回归。事实上,一种现象常常是与多个因素相联系的,由多个自变量的最优组合共同来预测或估计因变量,比只用一个自变量进行预测或估计更有效,更符合实际。因此多元线性回归比一元线性回归的实用意义更大。 我们现在介绍方程的符号,我们可阅读全文
posted @ 2018-04-18 09:01 mantou叔叔 阅读(136) 评论(0) 编辑