摘要：
1. kafka介绍 相关术语介绍： Broker Kafka集群包含一个或多个服务器，这种服务器被称为broker[5] Topic 每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broke 阅读全文
posted @ 2018-01-31 11:19
anlcy
阅读(427)
评论(0)
推荐(0)
摘要：
本文记录了学习使用Spark Streaming通过JDBC操作数据库的过程，源数据从Kafka中读取。 Kafka从0.10版本提供了一种新的消费者API，和0.8不同，因此Spark Streaming也提供了两种API与之对应，其中spark-streaming-kafka-0-8支持Kafk 阅读全文
posted @ 2018-01-25 14:11
anlcy
阅读(991)
评论(0)
推荐(0)
摘要：
日志是应用软件中不可缺少的部分，Apache的开源项目 log4j 是一个功能强大的日志组件,提供方便的日志记录。 1.maven项目在pom.xml导入log4j依赖： <dependency> <groupId>log4j</groupId> <artifactId>log4j</artifac 阅读全文
posted @ 2018-01-23 10:37
anlcy
阅读(1101)
评论(0)
推荐(0)
摘要：
log4j简介 Log4j是Apache的一个开放源代码项目，通过使用Log4j，我们可以控制日志信息输送的目的地是控制台、文件等；我们也可以控制每一条日志的输出格式；通过定义每一条日志信息的级别，我们能够更加细致地控制日志的生成过程。 log4j三大组件 Log4j由三个重要的组件构成：日志信息的 阅读全文
posted @ 2018-01-23 10:31
anlcy
阅读(181)
评论(0)
推荐(0)
摘要：
方法一. mvn assembly 或 mvn package (一个jar包) 把依赖包和自己项目的文件打包如同一个jar包(这种方式对spring的项目不支持) <build> <plugins> <plugin> <artifactId>maven-assembly-plugin</artif 阅读全文
posted @ 2018-01-23 10:03
anlcy
阅读(1521)
评论(0)
推荐(0)
摘要：
Spark SQL中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。可以参考，Scala提供的DataFrame API。 本文中的代码基于Spark-1.6.2的文档实现。 一、DataFrame对象的生成 阅读全文
posted @ 2018-01-19 10:41
anlcy
阅读(1391)
评论(0)
推荐(0)
摘要：
随着Spark SQL的正式发布，以及它对DataFrame的支持，它可能会取代HIVE成为越来越重要的针对结构型数据进行分析的平台。在博客文章What’s new for Spark SQL in Spark 1.3中，Databricks的工程师Michael Armbrust着重介绍了改进了的 阅读全文
posted @ 2018-01-17 16:19
anlcy
阅读(4935)
评论(0)
推荐(0)
摘要：
Derbydb driver maven dependency<dependency> <groupId>org.apache.derby</groupId> <artifactId>derbyclient</artifactId> <version>10.2.2.0</version></depe 阅读全文
posted @ 2018-01-17 16:13
anlcy
阅读(1149)
评论(0)
推荐(0)
摘要：
pom作为项目对象模型。通过xml表示maven项目，使用pom.xml来实现。主要描述了项目：包括配置文件；开发者需要遵循的规则，缺陷管理系统，组织和licenses，项目的url，项目的依赖性，以及其他所有的项目相关因素。 <span style="padding:0px; margin:0px 阅读全文
posted @ 2018-01-17 14:25
anlcy
阅读(143)
评论(0)
推荐(0)
摘要：
一、基于 Spark 做 Spark Streaming 的思路 Spark Streaming 与 Spark Core 的关系可以用下面的经典部件图来表述： 在本节，我们先探讨一下基于 Spark Core 的 RDD API，如何对 streaming data 进行处理。理解下面描述的这个思 阅读全文
posted @ 2018-01-17 11:26
anlcy
阅读(318)
评论(0)
推荐(0)
浙公网安备 33010602011771号