摘要：
在生产环境下，Spark 集群的部署方式一般为 YARN-Cluster 模式，之后的内核分析内容中我们默认集群的部署方式为YARN-Cluster模式。 在上一篇博文中我们讲解了 Spark YARN-Cluster 模式下的任务提交流程，但是我们并没有具体说明 Driver 的工作流程， Dri 阅读全文
摘要：
RDD 是什么？ RDD全称Resilient Distributed Dataset，光看名字并不能理解它到底是个什么东西，其实，我们可以就把它当做是一个分布式的容器，每个容器都有很多的分区，一般情况下每个分区在不同的机器上。对RDD的操作就是对每个分区的操作。如下图 RDD 5大特性 在RDD的 阅读全文
摘要：
一、常见命令 （小技巧：输入命令的时候要常用tab键来补全） ls 显示文件或目录 ls -l 列出文件详细信息(list) 等价于 ：ll ls -a 列出当前目录下所有文件及目录，包括隐藏的a(all) cd 切换目录 cd .. 切换到上级目录 mkdir 创建新文件夹 rmdir 删除空文件 阅读全文
摘要：
Hive的数据类型 Hive 提供了基本数据类型和复杂数据类型 1.1 原始数据类型 整型 TINYINT — 微整型，只占用1个字节，只能存储0-255的整数。 SMALLINT– 小整型，占用2个字节，存储范围–32768 到 32767。 INT– 整型，占用4个字节，存储范围-2147483 阅读全文
摘要：
1、Hive 基本概念 Hive是基于Hadoop的一个 数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能； Hive是构建在Hadoop 之上的数据仓库； 使用HQL作为查询接口；使用HDFS存储；使用MapReduce计算； 简单来说，Hive就是在Hadoop上架了一层 阅读全文
摘要：
已经配置好hive，mysql作为元数据的数据库。在hive中执行drop语句出错： 错误提示如下： 我用的mysql-connctor版本是mysql-connector-java-5.1.17.jar 后来找到一个mysql-connector-java-5.1.34-bin.jar版本的， 将 阅读全文
摘要：
centos6.5 查看防火墙状态 ： service iptable status 临时关闭防火墙 ： servcie iptables stop 永久关闭防火墙 ：chkconfig iptables off centos7 停止firewall： systemctl stop firewall 阅读全文
摘要：
欢迎大家关注大数据开发入门公众号，本公众号的宗旨是为想入门大数据开发的指路，博主我也是从菜鸟过来的，想和大家分享入门的心得，资料，还有一些工作感悟。为大家少走一些弯路，能够早日找到心仪的工作，早日走上人生巅峰，实现人生理想。 阅读全文
摘要：
1、什么是代理模式 代理模式：就是为其他对象提供一种代理以控制对这个对象的访问。 代理可以在不改动目标对象的基础上，增加其他额外的功能（扩展功能）。 举个例子来说明代理的作用: 一般我们想邀请明星来当我们的代言人，我们并不能直接联系到明星，而是通过其经纪人，来告诉经纪人我们需要和明星进行合作，然后通 阅读全文
摘要：
一、什么是Maven Maven 是一个项目管理综合工具。其主要提供了一个项目对象模型（POM）来管理项目的构建，相关性和文档。其最强大的地方在于能够自动下载项目中所需的依赖库。 打个比方、之前我们在开发Java项目的时候，项目总得引入各种jar包吧，而各种jar包之间的依赖关系错综复杂，一不小心漏 阅读全文