摘要:什么是Apache Storm Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架,具有最高的摄取率。虽然Storm是无状态的,它通过Apache ZooKeeper管理分布式环境和集群状态。通过Storm可以并行地对实 阅读全文
posted @ 2019-07-07 13:47 阿凡卢 阅读 (94) 评论 (0) 编辑
摘要:版本配置: ES版本:6.2.4 OS内存64G。 一、安装部署: 1.ES jvm内存31G,预留一半的物理内存给文件系统缓存(file system cache)。 2.禁止内存交换: 修改/etc/sysctl.conf 中 vm.swappiness = 1 elasticsearch.ym 阅读全文
posted @ 2019-04-20 20:24 阿凡卢 阅读 (332) 评论 (0) 编辑
摘要:1、简介 Elasticsearch在5.3版本中引入了Cross Cluster Search(CCS 跨集群搜索)功能,用来替换掉要被废弃的Tribe Node。类似Tribe Node,Cross Cluster Search用来实现跨集群的数据搜索。 2、配置Cross Cluster Se 阅读全文
posted @ 2018-10-28 14:00 阿凡卢 阅读 (1685) 评论 (0) 编辑
摘要:一、索引管理 1、 创建索引 PUT test-2019-03 { "settings": { "index": { "number_of_shards": 10, "number_of_replicas": 1, "routing": { "allocation": { "include": { 阅读全文
posted @ 2018-08-25 10:42 阿凡卢 阅读 (745) 评论 (0) 编辑
摘要:ES版本:6.2.4 集群环境:7台机器,每台部署一个master节点。其中3台部署2个hot节点,另外4台部署2个warm节点。共21个节点。 1. 挂盘 按实际情况分盘,一个机子上的2个data节点均分数据磁盘。 通过UUID挂盘,以防止以后换盘,盘符移动(这里拿3个盘举例)。 2. 创建用户, 阅读全文
posted @ 2018-08-11 15:36 阿凡卢 阅读 (736) 评论 (1) 编辑
摘要:一 分布式系统特点 现今互联网界,分布式系统和微服务架构盛行。业界著名的CAP理论也告诉我们,在设计和实现一个分布式系统时,需要将数据一致性、系统可用性和分区容忍性放在一起考虑。 一 分布式系统特点 现今互联网界,分布式系统和微服务架构盛行。业界著名的CAP理论也告诉我们,在设计和实现一个分布式系统 阅读全文
posted @ 2018-04-14 17:09 阿凡卢 阅读 (6830) 评论 (1) 编辑
摘要:背景 前几个月,使用Vertx重构了公司的一个子系统,该系统负责公司核心数据subscriber的采集、处理、存储和搜索。这里介绍下重构该系统时的一些关键点。 架构 重构前系统部署图: 重构前系统主要有2部分组成,这2部分都会对Subscriber数据操作: Java APP: 是个定时任务触发的A 阅读全文
posted @ 2018-04-10 17:09 阿凡卢 阅读 (609) 评论 (0) 编辑
摘要:什么是ThreadLocal变量 ThreadLoal 变量,线程局部变量,同一个 ThreadLocal 所包含的对象,在不同的 Thread 中有不同的副本。这里有几点需要注意: 因为每个 Thread 内有自己的实例副本,且该副本只能由当前 Thread 使用。这是也是 ThreadLocal 阅读全文
posted @ 2018-04-08 14:29 阿凡卢 阅读 (4760) 评论 (1) 编辑
摘要:Vertx Vert.x is a tool-kit for building reactive applications on the JVM.(Vertx是运行在JVM上用来构建reactive application的工具集) Vertx Design 响应式的(Responsive):一个响 阅读全文
posted @ 2017-10-19 17:18 阿凡卢 阅读 (14354) 评论 (0) 编辑
摘要:环境安装: Flask 是一个Python的微服务的框架,基于Werkzeug, 一个 WSGI 类库。 Flask 优点: Written in Python (that can be an advantage); Simple to use; Flexible; Multiple good de 阅读全文
posted @ 2017-09-18 15:08 阿凡卢 阅读 (8674) 评论 (0) 编辑
摘要:Supervisor (http://supervisord.org) 是一个用 Python 写的进程管理工具,可以很方便的用来启动、重启、关闭进程(不仅仅是 Python 进程)。除了对单个进程的控制,还可以同时启动、关闭多个进程,比如很不幸的服务器出问题导致所有应用程序都被杀死,此时可以用 s 阅读全文
posted @ 2017-09-13 13:24 阿凡卢 阅读 (3296) 评论 (1) 编辑
摘要:实验环境: DB is PostgreSQL version 8.2.15 JDK1.8 测试一 使用JDBC查询一个SQL: 结果: Start query1:Using Time: 11519 ms 测试二 使用JDBC PreparedStatement 查询相同的SQL: 结果: Start 阅读全文
posted @ 2017-07-07 14:17 阿凡卢 阅读 (738) 评论 (1) 编辑
摘要:Elasticsearch虽然定位为Search Engine,但是因其可以持久化数据,很多时候,我们把Elasticsearch当成Database用,但是Elasticsearch不支持SQL,就需要把SQL逻辑转换成代码实现对应的功能。 以下列举了一些常用的SQL转换成对应的Java代码。 1 阅读全文
posted @ 2017-05-08 17:43 阿凡卢 阅读 (594) 评论 (0) 编辑
摘要:简介 Spark的 RDD、DataFrame 和 SparkSQL的性能比较。 简介 Spark的 RDD、DataFrame 和 SparkSQL的性能比较。 2方面的比较 单条记录的随机查找 aggregation聚合并且sorting后输出 使用以下Spark的三种方式来解决上面的2个问题, 阅读全文
posted @ 2017-02-14 15:54 阿凡卢 阅读 (1738) 评论 (0) 编辑
摘要:当你开始编写 Apache Spark 代码或者浏览公开的 API 的时候,你会遇到各种各样术语,比如transformation,action,RDD(resilient distributed dataset) 等等。 了解到这些是编写 Spark 代码的基础。 同样,当你任务开始失败或者你需要 阅读全文
posted @ 2017-02-02 16:07 阿凡卢 阅读 (1712) 评论 (0) 编辑
摘要:Apache HttpClient是Java中经常使用的Http Client,总结下HttpClient4中经常使用的post请求用法。 1 Basic Post 使用2个参数进行post请求: 2 POST with Authorization 使用Post进行Basic Authenticat 阅读全文
posted @ 2016-12-12 17:13 阿凡卢 阅读 (1470) 评论 (1) 编辑
摘要:简介 Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。 Kafka架构 它的架构包括以下组件: 话题(Topic):是特定类型的消息流。消息是字 阅读全文
posted @ 2016-05-14 15:24 阿凡卢 阅读 (27162) 评论 (5) 编辑
摘要:MySQL和Lucene都可以对数据构建索引并通过索引查询数据,一个是关系型数据库,一个是构建搜索引擎(Solr、ElasticSearch)的核心类库。两者的索引(index)有什么区别呢?以前写过一篇《Solr与MySQL查询性能对比》,只是简单的对比了下查询性能,对于内部原理却没有解释,本文简 阅读全文
posted @ 2016-05-02 16:03 阿凡卢 阅读 (5170) 评论 (2) 编辑
摘要:1、背景 最近在搜索Netty和Zookeeper方面的文章时,看到了这篇文章《轻量级分布式 RPC 框架》,作者用Zookeeper、Netty和Spring写了一个轻量级的分布式RPC框架。花了一些时间看了下他的代码,写的干净简单,写的RPC框架可以算是一个简易版的dubbo。这个RPC框架虽小 阅读全文
posted @ 2016-03-13 16:43 阿凡卢 阅读 (43562) 评论 (35) 编辑
摘要:1、背景 在离线环境下(局域网中)的GIS系统中如何使用地图?这里的地图主要指的是地图底图,有了底图切片数据,我们就可以看到地图,在上面加上自己的业务数据图层,进行相关操作。 要在离线环境下看到GIS地图,就要有底图切片数据,地图的底图切片数据在一定时间内是不会变化的,可以使用一些地图下载器下载地图 阅读全文
posted @ 2015-12-05 21:29 阿凡卢 阅读 (26108) 评论 (74) 编辑