黑泽君 - 博客园

2019年4月29日

大数据技术之_19_Spark学习_04_Spark Streaming 应用解析小结

摘要： Spark Streaming 是什么 1、SPark Streaming 是 Spark 中一个组件，基于 Spark Core 进行构建，用于对流式进行处理，类似于 Storm。2、Spark Streaming 能够和 Spark Core、Spark SQL 来进行混合编程。3、Spark 阅读全文

posted @ 2019-04-29 18:57 黑泽君阅读(364) 评论(0) 推荐(0) 编辑

大数据技术之_19_Spark学习_04_Spark Streaming 应用解析 + Spark Streaming 概述、运行、解析 + DStream 的输入、转换、输出 + 优化

摘要：第1章 Spark Streaming 概述1.1 什么是 Spark Streaming1.2 为什么要学习 Spark Streaming1.3 Spark 与 Storm 的对比第2章运行 Spark Streaming第3章架构与抽象第4章 Spark Streaming 解析4.1 初阅读全文

posted @ 2019-04-29 18:42 黑泽君阅读(896) 评论(0) 推荐(1) 编辑

2019年4月28日

Linux学习_012_Centos 6.8 安装 Netcat

摘要：测试中，需要通过 Netcat 发送数据。配置环境：CentOS 6.8 1、下载安装包到指定目录，例如本博主的是：/opt/software/ wget https://sourceforge.net/projects/netcat/files/netcat/0.7.1/netcat-0.7.1 阅读全文

posted @ 2019-04-28 17:42 黑泽君阅读(771) 评论(0) 推荐(0) 编辑

大数据技术之_19_Spark学习_03_Spark SQL 应用解析小结

摘要： Spark SQL 1、Spark SQL 是 Spark 的一个模块，可以和 RDD 进行混合编程、支持标准的数据源、可以集成和替代 Hive、可以提供 JDBC、ODBC 服务器功能。 2、Spark SQL 的特点：（1）和 Spark Core 的无缝集成，可以在写整个 RDD 应用的时候阅读全文

posted @ 2019-04-28 11:20 黑泽君阅读(475) 评论(0) 推荐(0) 编辑

大数据技术之_19_Spark学习_03_Spark SQL 应用解析 + Spark SQL 概述、解析、数据源、实战 + 执行 Spark SQL 查询 + JDBC/ODBC 服务器

摘要：第1章 Spark SQL 概述1.1 什么是 Spark SQL1.2 RDD vs DataFrames vs DataSet1.2.1 RDD1.2.2 DataFrame1.2.3 DataSet1.2.4 三者的共性1.2.5 三者的区别第2章执行 Spark SQL 查询2.1 命令行阅读全文

posted @ 2019-04-28 10:42 黑泽君阅读(1027) 评论(0) 推荐(0) 编辑

2019年4月26日

大数据技术之_19_Spark学习_02_Spark Core 应用解析小结

摘要： 1、RDD 全称弹性分布式数据集 Resilient Distributed Dataset它就是一个 class。 abstract class RDD[T: ClassTag]( @transient private var _sc: SparkContext, @transient priv 阅读全文

posted @ 2019-04-26 23:21 黑泽君阅读(435) 评论(0) 推荐(0) 编辑

大数据技术之_19_Spark学习_02_Spark Core 应用解析+ RDD 概念 + RDD 编程 + 键值对 RDD + 数据读取与保存主要方式 + RDD 编程进阶 + Spark Core 实例练习

摘要：第1章 RDD 概念1.1 RDD 为什么会产生1.2 RDD 概述1.2.1 什么是 RDD1.2.2 RDD 的属性1.3 RDD 弹性1.4 RDD 特点1.4.1 分区1.4.2 只读1.4.3 依赖1.4.4 缓存1.4.5 CheckPoint第2章 RDD 编程2.1 RDD 编程模型阅读全文

posted @ 2019-04-26 22:45 黑泽君阅读(832) 评论(0) 推荐(0) 编辑

2019年4月23日

【转载】Google 后 Hadoop 时代的新 “三驾马车” -- Caffeine(搜索)、Pregel(图计算)、Dremel(查询)

摘要：摘要：Google 在 2003 年到 2004 年公布了关于 GFS、MapReduce 和 BigTable 三篇技术论文（旧三驾马车），这也成为后来云计算发展的重要基石，如今 Google 在后 Hadoop 时代的新“三驾马车” -- Caffeine、Pregel、Dremel 再一次影响阅读全文

posted @ 2019-04-23 19:05 黑泽君阅读(1744) 评论(0) 推荐(0) 编辑

2019年4月22日

大数据技术之_19_Spark学习_01_Spark 基础解析小结（无图片）

摘要： 1、准备安装包 2、Spark Standalone 即独立模式 2.1、解压安装包到你安装的目录。 2.2、拷贝 conf 目录下的 slaves 文件，将 slave 节点的 hostname 写在文件中，每行一个。 2.3、拷贝 conf 目录下的 spark-env.sh 文件，将 SPAR 阅读全文

posted @ 2019-04-22 12:15 黑泽君阅读(472) 评论(0) 推荐(0) 编辑

2019年4月21日

【Hadoop & Ecilpse】Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=bruce, access=WRITE, inode="/out2/_temporary/0":atguigu:supergroup:drwxr-xr-x

摘要：问题再现：使用本机 Ecilpse (Windows环境) 去访问远程 hadoop 集群出现以下异常：问题原因：因为远程提交的情况下如果没有 hadoop 的系统环境变量，就会读取当前主机的用户名，所以 hadoop 集群的节点中没有该用户名的权限，所以出现的异常。问题解决： a、如果是测阅读全文

posted @ 2019-04-21 20:52 黑泽君阅读(1530) 评论(0) 推荐(0) 编辑

Bruce