一剑侵心

摘要： 总的来说，需要考虑以下两点： 1. 有效地运用集群资源去减少每个批次处理的时间 2. 正确的设置batch size，以使得处理速度能跟上接收速度 一. 为了减少处理时间，主要有以下几个优化点： 1. 接收数据的并行度。 每个InputDStream只创建一个Receiver用于接收数据，如果接收数 阅读全文

摘要： 基于数据集的处理：从物理存储上加载数据，然后操作数据，然后写入物理存储设备。比如Hadoop的MapReduce。 缺点：1.不适合大量的迭代 2. 交互式查询 3. 不能复用曾经的结果或中间计算结果 基于工作集的处理：如Spark的RDD。RDD具有如下的弹性： 1. 自动的进行内存和磁盘数据存储 阅读全文

摘要： 为了实现容错，需要做checkpoint。以Streaming为例，checkpoint中有两种数据： 1. Metadata checkpointing：用于恢复driver端出错的情况。其中包含： （1） Configuration 用于创建Streaming应用所需要的配置信息 （2）DStr 阅读全文

摘要： Spark HA的配置网上很多，最近我在看王林的Spark的视频，要付费的。那个人牛B吹得很大，本事应该是有的，但是有本事，不一定就是好老师。一开始吹中国第一，吹着吹着就变成世界第一。就算你真的是世界第一，视频（2.Spark内核解密(11-43讲全)中的第12课）里关于spark.deploy.z 阅读全文

摘要： 一. local 模式 -- 所有程序都运行在一个JVM中，主要用于开发时测试 无需开启任何服务，可直接运行 ./bin/run-example 或 ./bin/spark-submit 如： ./bin/run-example SparkPi 10 ./bin/spark-submit --cla 阅读全文

摘要： 最近学习Spark，看了一个视频，里面有提到启动spark后，一般都会启动Spark History Server。视频里把 spark.history.fs.logDirectory 设置成了Hadoop上一个目录。配置的是hdfs://ubuntu1:9000/spark 啥的。我原来搭建的Ha 阅读全文

摘要： 在搜索中，我们搜索时，通常会自动返回一些相关的搜索。比如，你搜索了一本书，会自动返回作者信息加上他的其它书籍的数量。这种功能在Solr中称之为Facet。不太好翻译。下面对于参数的说明，我以搜索“手机”为例子，比较好说明一点。其中一些属性可能并不适用于中文。我的说明仅仅是举个例子。搜索"手机"时，可 阅读全文

摘要： Solr中提供了MoreLikeThis的功能，用于查询相似的文档 。应用场景（个人理解）：1. 你写的文章和别人文章相似度高的话，有一方是抄袭的可能性就很大。2. 查找相似的产品。 MoreLikeThis 可以作为searchComponent使用，也可以作为requestHandler使用。 阅读全文

摘要： 拼写检查也是搜索引擎必备的功能。Solr中提供了SpellCheckComponent 来实现此功能。我看过《Solr In Action》，是基于Solr4.X版本的，那时Suggestion 和 SpellCheck 用的是同一个组件。我个人感觉这两个其实也可以归为同一类概念。当你在搜索框中输入 阅读全文

摘要： 搜索结果高亮显示是搜索引擎中的常用功能，在Solr中，我们可以如下配置： 常用的一些属性： 不同的hl.method，还会有不同的参数。需要用到的时候再去查询文档。 当我们输入多个单词，希望在搜索结果里不同的单词用不同的背景色显示。在Solr的样例配置中，发现<searchComponent nam 阅读全文