摘要: 什么是Apache Storm Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架,具有最高的摄取率。虽然Storm是无状态的,它通过Apache ZooKeeper管理分布式环境和集群状态。通过Storm可以并行地对实阅读全文
posted @ 2019-07-07 13:47 阿凡卢 阅读(40) 评论(0) 编辑
摘要: 版本配置: ES版本:6.2.4 OS内存64G。 一、安装部署: 1.ES jvm内存31G,预留一半的物理内存给文件系统缓存(file system cache)。 2.禁止内存交换: vi /etc/sysctl.conf vm.swappiness = 1 elasticsearch.yml阅读全文
posted @ 2019-04-20 20:24 阿凡卢 阅读(210) 评论(0) 编辑
摘要: 1、简介 Elasticsearch在5.3版本中引入了Cross Cluster Search(CCS 跨集群搜索)功能,用来替换掉要被废弃的Tribe Node。类似Tribe Node,Cross Cluster Search用来实现跨集群的数据搜索。 2、配置Cross Cluster Se阅读全文
posted @ 2018-10-28 14:00 阿凡卢 阅读(1329) 评论(0) 编辑
摘要: 一、索引管理 1、 创建索引 PUT test-2019-03 { "settings": { "index": { "number_of_shards": 10, "number_of_replicas": 1, "routing": { "allocation": { "include": { 阅读全文
posted @ 2018-08-25 10:42 阿凡卢 阅读(522) 评论(0) 编辑
摘要: ES版本:6.2.4 集群环境:7台机器,每台部署一个master节点。其中3台部署2个hot节点,另外4台部署2个warm节点。共21个节点。 1. 挂盘 按实际情况分盘,一个机子上的2个data节点均分数据磁盘。 通过UUID挂盘,以防止以后换盘,盘符移动(这里拿3个盘举例)。 2. 创建用户,阅读全文
posted @ 2018-08-11 15:36 阿凡卢 阅读(617) 评论(1) 编辑
摘要: 一 分布式系统特点 现今互联网界,分布式系统和微服务架构盛行。业界著名的CAP理论也告诉我们,在设计和实现一个分布式系统时,需要将数据一致性、系统可用性和分区容忍性放在一起考虑。 一 分布式系统特点 现今互联网界,分布式系统和微服务架构盛行。业界著名的CAP理论也告诉我们,在设计和实现一个分布式系统阅读全文
posted @ 2018-04-14 17:09 阿凡卢 阅读(5441) 评论(1) 编辑
摘要: 背景 前几个月,使用Vertx重构了公司的一个子系统,该系统负责公司核心数据subscriber的采集、处理、存储和搜索。这里介绍下重构该系统时的一些关键点。 架构 重构前系统部署图: 重构前系统主要有2部分组成,这2部分都会对Subscriber数据操作: Java APP: 是个定时任务触发的A阅读全文
posted @ 2018-04-10 17:09 阿凡卢 阅读(514) 评论(0) 编辑
摘要: 什么是ThreadLocal变量 ThreadLoal 变量,线程局部变量,同一个 ThreadLocal 所包含的对象,在不同的 Thread 中有不同的副本。这里有几点需要注意: 因为每个 Thread 内有自己的实例副本,且该副本只能由当前 Thread 使用。这是也是 ThreadLocal阅读全文
posted @ 2018-04-08 14:29 阿凡卢 阅读(3605) 评论(1) 编辑
摘要: Vertx Vert.x is a tool-kit for building reactive applications on the JVM.(Vertx是运行在JVM上用来构建reactive application的工具集) Vertx Design 响应式的(Responsive):一个响阅读全文
posted @ 2017-10-19 17:18 阿凡卢 阅读(13812) 评论(0) 编辑
摘要: 环境安装: Flask 是一个Python的微服务的框架,基于Werkzeug, 一个 WSGI 类库。 Flask 优点: Written in Python (that can be an advantage); Simple to use; Flexible; Multiple good de阅读全文
posted @ 2017-09-18 15:08 阿凡卢 阅读(7933) 评论(0) 编辑
摘要: Supervisor (http://supervisord.org) 是一个用 Python 写的进程管理工具,可以很方便的用来启动、重启、关闭进程(不仅仅是 Python 进程)。除了对单个进程的控制,还可以同时启动、关闭多个进程,比如很不幸的服务器出问题导致所有应用程序都被杀死,此时可以用 s阅读全文
posted @ 2017-09-13 13:24 阿凡卢 阅读(3050) 评论(1) 编辑
摘要: 实验环境: DB is PostgreSQL version 8.2.15 JDK1.8 测试一 使用JDBC查询一个SQL: 结果: Start query1:Using Time: 11519 ms 测试二 使用JDBC PreparedStatement 查询相同的SQL: 结果: Start阅读全文
posted @ 2017-07-07 14:17 阿凡卢 阅读(692) 评论(1) 编辑
摘要: Elasticsearch虽然定位为Search Engine,但是因其可以持久化数据,很多时候,我们把Elasticsearch当成Database用,但是Elasticsearch不支持SQL,就需要把SQL逻辑转换成代码实现对应的功能。 以下列举了一些常用的SQL转换成对应的Java代码。 1阅读全文
posted @ 2017-05-08 17:43 阿凡卢 阅读(578) 评论(0) 编辑
摘要: 简介 Spark的 RDD、DataFrame 和 SparkSQL的性能比较。 简介 Spark的 RDD、DataFrame 和 SparkSQL的性能比较。 2方面的比较 单条记录的随机查找 aggregation聚合并且sorting后输出 使用以下Spark的三种方式来解决上面的2个问题,阅读全文
posted @ 2017-02-14 15:54 阿凡卢 阅读(1680) 评论(0) 编辑
摘要: 当你开始编写 Apache Spark 代码或者浏览公开的 API 的时候,你会遇到各种各样术语,比如transformation,action,RDD(resilient distributed dataset) 等等。 了解到这些是编写 Spark 代码的基础。 同样,当你任务开始失败或者你需要阅读全文
posted @ 2017-02-02 16:07 阿凡卢 阅读(1610) 评论(0) 编辑
摘要: Apache HttpClient是Java中经常使用的Http Client,总结下HttpClient4中经常使用的post请求用法。 1 Basic Post 使用2个参数进行post请求: 2 POST with Authorization 使用Post进行Basic Authenticat阅读全文
posted @ 2016-12-12 17:13 阿凡卢 阅读(1440) 评论(1) 编辑
摘要: 简介 Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。 Kafka架构 它的架构包括以下组件: 话题(Topic):是特定类型的消息流。消息是字阅读全文
posted @ 2016-05-14 15:24 阿凡卢 阅读(26798) 评论(5) 编辑
摘要: MySQL和Lucene都可以对数据构建索引并通过索引查询数据,一个是关系型数据库,一个是构建搜索引擎(Solr、ElasticSearch)的核心类库。两者的索引(index)有什么区别呢?以前写过一篇《Solr与MySQL查询性能对比》,只是简单的对比了下查询性能,对于内部原理却没有解释,本文简阅读全文
posted @ 2016-05-02 16:03 阿凡卢 阅读(4807) 评论(2) 编辑
摘要: 1、背景 最近在搜索Netty和Zookeeper方面的文章时,看到了这篇文章《轻量级分布式 RPC 框架》,作者用Zookeeper、Netty和Spring写了一个轻量级的分布式RPC框架。花了一些时间看了下他的代码,写的干净简单,写的RPC框架可以算是一个简易版的dubbo。这个RPC框架虽小阅读全文
posted @ 2016-03-13 16:43 阿凡卢 阅读(42184) 评论(31) 编辑
摘要: 1、背景 在离线环境下(局域网中)的GIS系统中如何使用地图?这里的地图主要指的是地图底图,有了底图切片数据,我们就可以看到地图,在上面加上自己的业务数据图层,进行相关操作。 要在离线环境下看到GIS地图,就要有底图切片数据,地图的底图切片数据在一定时间内是不会变化的,可以使用一些地图下载器下载地图阅读全文
posted @ 2015-12-05 21:29 阿凡卢 阅读(25340) 评论(72) 编辑