2021年1月14日

spark提交任务的三种的方法

摘要：在学习Spark过程中，资料中介绍的提交Spark Job的方式主要有三种：第一种: 通过命令行的方式提交Job,使用spark 自带的spark-submit工具提交，官网和大多数参考资料都是已这种方式提交的，提交命令示例如下：./spark-submit --class com.learn.s 阅读全文

posted @ 2021-01-14 19:30 金色的鱼儿阅读(1313) 评论(0) 推荐(0)

实现LOGSTASH6.4.3 同步MYSQL数据到ELASTICSEARCH6.4.3

摘要：本文旨在实践把mysql已有的数据同步到elasticsearch中，使用的版本是6.4.3，对于其它6.x版本理应是一样的处理方式。本文目录： 1.初始化Elasticsearch 6.4.3 1.1 下载Elasticsearch 6.4.3 1.2 配置Elasticsearch 6.4.3 阅读全文

posted @ 2021-01-14 15:26 金色的鱼儿阅读(199) 评论(0) 推荐(0)

ELASTICSEARCH 三、 SPRINGBOOT 整合使用 ELASTICSEARCH6.4.3

摘要：一、ELASTICSEARCH 数据结构操作Elasticsearch6.4.3 类似于jpa 操作数据库一样，使用Crud 方式Elasticsearch6.4.3 是基于文档保存数据，mysql是基于行列保存数据关系数据库 ⇒ 数据库 ⇒ 表 ⇒ 行 ⇒ 列(Columns) Elastic 阅读全文

posted @ 2021-01-14 14:52 金色的鱼儿阅读(566) 评论(0) 推荐(0)

spark-streaming-连接kafka的两种方式

摘要：推荐系统的在线部分往往使用spark-streaming实现，这是一个很重要的环节。在线流程的实时数据一般是从kafka获取消息到spark streaming spark连接kafka两种方式在面试中会经常被问到，说明这是重点，下面为大家介绍一下这两种方法：第一种方式：Receiver模式又阅读全文

posted @ 2021-01-14 13:43 金色的鱼儿阅读(633) 评论(0) 推荐(0)

spark.streaming.kafka.maxRatePerPartition的理解

摘要： spark.streaming.kafka.maxRatePerPartition设定对目标topic每个partition每秒钟拉取的数据条数。假设此项设为1，批次间隔为10s，目标topic只有一个partition，则一次拉取的数据量为1*10*1=10。若有不对的地方，请指正。转载于：阅读全文

posted @ 2021-01-14 13:37 金色的鱼儿阅读(1796) 评论(1) 推荐(0)

spark streaming之 windowDuration、slideDuration、batchDuration

摘要： spark streaming 不同于sotm，是一种准实时处理系统。storm 中，把批处理看错是时间教程的实时处理。而在spark streaming中，则反过来，把实时处理看作为时间极小的批处理。 1、三个时间参数 spark streaming 中有三个关于时间的参数，分别如下：窗口时间w 阅读全文

posted @ 2021-01-14 13:29 金色的鱼儿阅读(440) 评论(0) 推荐(0)

Spark Streaming 性能调优

摘要：目录 1、合理的批次处理时间 2、合理的kafka拉取数据 3、缓存反复使用的Dstream(RDD) 4、其他一些优化策略 5、结果 1、合理的批次处理时间关于Spark Streaming的批处理时间设置是非常重要的，Spark Streaming在不断接收数据的同时，需要处理数据的时间，所以阅读全文

posted @ 2021-01-14 13:27 金色的鱼儿阅读(567) 评论(0) 推荐(0)

Spark Streaming的Batch Duration优化

摘要： Spark Streaming 是微批处理。 SparkConf sparkConf = new SparkConf().setAppName("SparkStreaming").setMaster("local[*]"); JavaStreamingContext javaStreamingCon 阅读全文

posted @ 2021-01-14 13:26 金色的鱼儿阅读(428) 评论(0) 推荐(0)

elasticsearch官网下载

摘要：一、官网下载地址： https://www.elastic.co/cn/downloads/elasticsearch 二、点击“past releases” ，然后找到对应的版本，点击Download。三、选择相应的系统版本进行下载。Elasticsearch 6.4.x对应的是lucene的7 阅读全文

posted @ 2021-01-14 10:24 金色的鱼儿阅读(3447) 评论(0) 推荐(0)

查看lucene和elasticsearch的版本对应关系

摘要：一、Maven仓库官网： https://mvnrepository.com/ 二、搜索elasticsearch，然后点击Server或者elasticsearch进入。三、点击相应的版本号进入。四、查看对应的lucene版本。 END 阅读全文

posted @ 2021-01-14 10:09 金色的鱼儿阅读(2348) 评论(0) 推荐(0)

lucene和solr的版本对应

摘要：在Solr1.4.x的时候，Solr和Lucene是独立发布的，Solr一般会在Lucene发布新版本后跟进发布一个新的版本。到了3.1的时候，两者代码做了合并，版本号统一了，并同时发布。具体情况如下Solr 1.4.0 Lucene 2.9.1Solr 1.4.1 Lucene 2.9.3Solr 阅读全文

posted @ 2021-01-14 09:35 金色的鱼儿阅读(306) 评论(0) 推荐(0)

elasticSearch 6和7的版本改变大坑

摘要： http://majiameng.com/article/2717.html 阅读全文

posted @ 2021-01-14 09:33 金色的鱼儿阅读(2885) 评论(0) 推荐(0)

2021年1月14日

公告