摘要：
1.对json数组和json对象的操作在python中，一个 Json 对象里面包含了很多信息，那么如何从这些数据中拿到我们想要的呢？在之前的python对象与json格式的数据类型转化一文中已经说明如何操作一个json对象，本文是再补充一个常见的还有处理 Json 数组 的。python 的 js 阅读全文
posted @ 2019-11-21 10:49
初见微凉i
阅读(13722)
评论(0)
推荐(0)
摘要：
第一部分 安装准备 准备三台主机节点： hc11.spads 192.168.160.181 hc12.spads 192.168.160.182 hc13.spads 192.168.160.183 准备软件包： elasticsearch-2.2.0.tar.gz 注：将以上软件包上传至各主机节 阅读全文
posted @ 2019-02-27 15:38
初见微凉i
阅读(521)
评论(0)
推荐(0)
摘要：
在配置kafka和storm的时候, 经常的会出现一些问题, 主要在以下几个: 1. 打jar包上去storm集群的时候会出现jar包冲突,类似于log4j或者sf4j的报错信息. 2. kafka本地Java生产者和消费者无法消费数据 3. kafkaSpout的declareFields到底是什 阅读全文
posted @ 2019-02-26 16:40
初见微凉i
阅读(1874)
评论(0)
推荐(0)
摘要：
一、在IDEA新建一个maven项目： 1.[pom.xml]: 阅读全文
posted @ 2019-01-30 15:19
初见微凉i
阅读(980)
评论(0)
推荐(0)
摘要：
docs.microsoft.com 链接： SQL 一个应用场景与FOR XML PATH应用 首先呢！我们在增加一张学生表，列分别为（stuID,sName,hobby）,stuID代表学生编号，sName代表学生姓名，hobby列存学生的爱好！那么现在表结构如下： 这时，我们的要求是查询学生表 阅读全文
posted @ 2018-07-30 17:59
初见微凉i
阅读(1096)
评论(0)
推荐(0)
摘要：
DStream的各种transformation 可以看到很多都是在RDD中已经有的transformation算子操作，所以这里只关注transform、updateStateByKey和window函数 transformation之transform操作 DStream transform 1 阅读全文
posted @ 2018-07-30 15:47
初见微凉i
阅读(467)
评论(0)
推荐(0)
摘要：
实时WordCount案例 主要是监听网络端口中的数据，并实时进行wc的计算。 Java版 测试代码如下： 启动程序，同时在主机上使用nc命令进行操作： 输出结果如下： 同时也可以在Spark UI上查看相应的作业执行情况： 可以看到，每2秒就会执行一次计算，即每隔2秒采集一次数据，将数据打散成一个 阅读全文
posted @ 2018-07-30 15:46
初见微凉i
阅读(2950)
评论(0)
推荐(0)
摘要：
概述 大数据实时计算介绍 1、Spark Streaming，其实就是一种Spark提供的，对于大数据，进行实时计算的一种框架。它的底层，其实，也是基于我们之前讲解的Spark Core的。基本的计算模型，还是基于内存的大数据实时计算模型。而且，它的底层的核心组件还是我们在Spark Core中经常 阅读全文
posted @ 2018-07-30 15:45
初见微凉i
阅读(1577)
评论(0)
推荐(0)
摘要：
加载保存功能 数据加载（json文件、jdbc）与保存（json、jdbc） 测试代码如下： 当执行读操作时，输出结果如下： 当执行写操作时： Spark SQL和Hive的集成 需要先启动Hive，然后再进行下面的操作。 代码编写 测试代码如下： 打包、上传与配置 打包后上传到集群环境中，然后针对 阅读全文
posted @ 2018-07-30 15:44
初见微凉i
阅读(1356)
评论(0)
推荐(0)
摘要：
DataFrame原理与解析 Spark SQL和DataFrame 1、Spark SQL是Spark中的一个模块，主要用于进行结构化数据的处理。它提供的最核心的编程抽象，就是DataFrame。同时Spark SQL还可以作为分布式的SQL查询引擎。Spark SQL最重要的功能之一，就是从Hi 阅读全文
posted @ 2018-07-30 15:43
初见微凉i
阅读(399)
评论(0)
推荐(0)
浙公网安备 33010602011771号