10 2018 档案

CDH大数据集群安全风险汇总
摘要：一，风险分为内部和外部 首先内部： CDH大数据集群部署过程中会自动创建以服务命名的用户，如图所示 用户名(login_name)：口令位置(passwd)：用户标识号(UID)：用户组标识号(GID)：注释性描述(users)：主目录(home_directory)：登陆shell(Shell) 阅读全文
posted @ 2018-10-31 18:02 duaner92 阅读(808) 评论(0) 推荐(0)
大数据集群安全方案
摘要：一，简介 大数据平台安全体系的四个层次说起：外围安全、数据安全、访问安全以及访问行为监控。 外围安全技术多指传统意义上提到的网络安全技术，如防火墙，登陆认证等； 数据安全从狭义上说包括对用户数据的加解密，又可细分为存储加密和传输加密；还包括用户数据的脱敏，脱敏可以看做“轻量级”的数据加密。如某人的生 阅读全文
posted @ 2018-10-26 14:02 duaner92 阅读(738) 评论(0) 推荐(0)
资源下载汇总
摘要：centos 6.5 镜像：http://archive.kernel.org/centos-vault/6.5/isos/x86_64/ docker ：https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 阅读全文
posted @ 2018-10-25 15:56 duaner92 阅读(167) 评论(0) 推荐(0)
cloudera-scm-agent dead but pid file exists
摘要：问题一： 错误描述： /opt/cm-5.7.0/etc/init.d/cloudera-scm-agent status cloudera-scm-agent dead but pid file exists 查看日志/opt/cm-5.7.0/log/cloudera-scm-agent/clo 阅读全文
posted @ 2018-10-19 12:25 duaner92 阅读(2069) 评论(0) 推荐(1)
CDH 5.7.0安装，cm agent无法启动
摘要：我们在部署完CDH 5.7.0和CM 5.7.0后，开始启动CM Agent，但是会出现下面的错误：# cloudera-scm-agent startStarting cloudera-scm-agent: [FAILED] 问题查找# cat /opt/cloudera-manager/cm-5 阅读全文
posted @ 2018-10-12 12:20 duaner92 阅读(1178) 评论(0) 推荐(0)
kafka实时数据流写入HDFS
摘要：一、摘要 impala作为实时数据分析引擎，其源数据时效性要求不同，主要分为离线数据分析和实时数据分析。离线数据分析应用场景下，可以利用hive离线加载数据。实时数据分析则依靠kafka（高吞吐量的消息发布订阅系统）。 二、kafka介绍 kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理 阅读全文
posted @ 2018-10-10 14:43 duaner92 阅读(6243) 评论(0) 推荐(0)