随笔分类 -  大数据Hadoop+Spark

数据中台学习进度
摘要： 阅读全文
posted @ 2020-12-23 22:53 邓明晨 阅读(144) 评论(0) 推荐(0)
kafka 生产者源码解析
摘要： 阅读全文
posted @ 2020-12-03 10:29 邓明晨 阅读(359) 评论(0) 推荐(0)
centos7 如何关闭防护墙
摘要：centos7 如何关闭防护墙 使用命令查看防火墙状态 systemctl status firewalld.service 关闭防火墙 systemctl stop firewalld.service 禁止防火墙服务启动（防止开机重启） systemctl disable firewalld.se 阅读全文
posted @ 2020-07-13 15:48 邓明晨 阅读(355) 评论(0) 推荐(0)
单机环境
摘要：hadoop 3.1.3 官网 下载链接 1 .安装 ssh $ sudo apt-get install ssh $ sudo apt-get install pdsh 2.安装jdk (jdk1.8) 3.安装hadoop - 解压 tar.gz - 测试 bin/hadoop 阅读全文
posted @ 2020-06-15 17:47 邓明晨 阅读(178) 评论(0) 推荐(0)
配置Jupyter Notebook on Spark
摘要：配置jupyter notebook访问spark 配置步骤如下： 1)配合好hadoop,spark：spark和hadoop的bin要在path中，一会用到pyspark的命令 2)安装好anaconda 3)修改anaconda的配置文件 [hduser@master]$jupyter-not 阅读全文
posted @ 2020-06-05 15:39 邓明晨 阅读(723) 评论(0) 推荐(1)
《用户画像:方法论与工程化解决方案》
摘要：本书从技术维度讲解了用户画像的方和一些常见的工程化解决方案。 第一章 用户画像基础：讲述用户画像的一些基础概念、数据仓库架构、整个项目开发的流程、以及画像相关的表结构设计； 第二章 数据指标体系：从用户属性、用户行为、用户消费、控制等个维度详细罗列了常用到的用户标签，这些标签基本涵盖了大部分场景一半 阅读全文
posted @ 2020-05-28 11:21 邓明晨 阅读(916) 评论(0) 推荐(0)
Hadoop 3.x 相对于hadoop2.x 的新特性
摘要：![](https://img2020.cnblogs.com/blog/1701293/202005/1701293-20200522165942182-938602552.png) 相对于之前主要生产发布版本Hadoop 2，Apache Hadoop 3整合许多重要的增强功能。 Hadoop 阅读全文
posted @ 2020-05-22 17:00 邓明晨 阅读(493) 评论(0) 推荐(0)
Hive 中报错 FAILED: SemanticException [Error 10011]: Invalid function ifnull
摘要：Hive 不支持ifnull 函数 阅读全文
posted @ 2020-05-07 10:46 邓明晨 阅读(4958) 评论(1) 推荐(0)
构建和安装Apache Atlas1.0.0
摘要：[TOC] 构建和安装Apache Atlas 构建Apache Atlas 下载 Apache Atlas 1.0.0 发行版源码, apache atlas 1.0.0 sources.tar.gz, 从 "downloads" 下载. 然后按照以下说明构建Apache Atlas。 打包Apa 阅读全文
posted @ 2020-04-26 21:22 邓明晨 阅读(932) 评论(0) 推荐(1)
Spark 实战学习框架
摘要：整体大纲目录 阅读全文
posted @ 2020-04-14 10:58 邓明晨 阅读(107) 评论(0) 推荐(0)