摘要：
(1)select==>时间复杂度O(n) 它仅仅知道了，有I/O事件发生了，却并不知道是哪那几个流（可能有一个，多个，甚至全部），我们只能无差别轮询所有流，找出能读出数据，或者写入数据的流，对他们进行操作。所以select具有O(n)的无差别轮询复杂度，同时处理的流越多，无差别轮询时间就越长。 ( 阅读全文
posted @ 2019-07-09 10:18
Bigben
阅读(198)
评论(0)
推荐(0)
摘要：
来源：http://tinyurl.com/y4gnzbje 第一部分：调优索引速度 第二部分-调优搜索速度 第三部分：通用的一些建议 英文原文：https://www.elastic.co/guide/en/elasticsearch/reference/current/how-to.html E 阅读全文
posted @ 2019-07-08 16:21
Bigben
阅读(4031)
评论(0)
推荐(0)
摘要：
从Elasticsearch来看分布式系统架构设计 mp.weixin.qq.com 从Elasticsearch来看分布式系统架构设计 mp.weixin.qq.com mp.weixin.qq.com 点击上方“匠心零度”，选择“设为星标” 做积极的人，而不是积极废人 来源：https://dw 阅读全文
posted @ 2019-07-04 14:14
Bigben
阅读(733)
评论(0)
推荐(0)
摘要：
一直在写中间件相关的代码，提供SDK给业务方使用，但很多业务方还一直停留在1.7版本，迟迟不升级，为了兼容性，不敢在代码中使用Java8的一些新特性，比如Stream之类的，虽然不能用，但还是要学一下。 Stream 是什么 Stream 是Java 8中添加的一个新特性，它与 java.io 包里 阅读全文
posted @ 2019-07-02 15:01
Bigben
阅读(149)
评论(0)
推荐(0)
摘要：
对应rule的一些公用规则，可以放到一个或者多个头文件中。主的rule yaml文件引入即可。文件名随意，最好别用yaml后缀，要不会被当做一个rule。另外import在rule文件中只能出现一次。多个头文件的话可以import文件中引入另外一个import。 示例： 主的myrule.yaml: 阅读全文
posted @ 2019-06-28 15:23
Bigben
阅读(356)
评论(0)
推荐(0)
摘要：
https://blog.csdn.net/liu0808/article/details/81169173 https://blog.csdn.net/f110300641/article/details/82657972 https://blog.csdn.net/sweetfather/art 阅读全文
posted @ 2019-06-25 21:42
Bigben
阅读(151)
评论(0)
推荐(0)
摘要：
PART1： java中使用jna替代jni调用c++/c生成的 dll/so库文件需要做的事项 1、引入JNA依赖或者直接下载JNAjar包 <!-- https://mvnrepository.com/artifact/net.java.dev.jna/jna --> <dependency> 阅读全文
posted @ 2019-06-25 18:17
Bigben
阅读(2733)
评论(0)
推荐(0)
摘要：
query string search GET /ecommerce/product/_search //查询所有数据 { "took": 4,//耗费几毫秒 "timed_out": false,//是否超时 "_shards": {//数据拆分成5个分片，对所有请求都会打到所有primary s 阅读全文
posted @ 2019-06-24 10:59
Bigben
阅读(44657)
评论(0)
推荐(1)
摘要：
cd /etc ll *release cat cat os-release cat centos-releaseCentOS Linux release 7.5.1804 (Core) 阅读全文
posted @ 2019-06-19 16:33
Bigben
阅读(559)
评论(0)
推荐(0)
摘要：
The 10 Best Studio Headphones of 2019 https://www.outeraudio.com/category/list/ https://www.outeraudio.com/studio-headphones/ January 16, 2019 1 comme 阅读全文
posted @ 2019-06-12 10:44
Bigben
阅读(282)
评论(0)
推荐(0)
摘要：
乱码问题一直是一件让人头疼的事情，乱码就是编码格式不统一产生的，下面将一些常见的解决思路整理： 先Xshell连接上数据库，查看数据的编码格式： 一般需要看这么几个地方（附修改命令）： 1、数据库的编码（4种方式视情况而定） 1 命令1、show variables like 'character_ 阅读全文
posted @ 2019-06-11 15:21
Bigben
阅读(637)
评论(0)
推荐(0)
摘要：
转 replace 与 update 区分本文主要对比一下 Sqlite 中的 replace 语句和 update 语句 。 在本例中使用如下数据库表： 图1 该表的表名为student， 存储学生信息。 所有字段的数据类型都是TEXT 。 其中id和name作为复合主键。 email字段加上了唯 阅读全文
posted @ 2019-06-10 15:29
Bigben
阅读(8837)
评论(0)
推荐(0)
摘要：
文档目录： https://www.elastic.co/guide/index.html GET /hs_server_ahc_task*/_search{ "query": { "bool": { "must": [ { "bool": { "should": [ { "match": { "L 阅读全文
posted @ 2019-06-04 18:26
Bigben
阅读(4835)
评论(0)
推荐(0)
摘要：
《让·德·弗洛莱特》电影剧本文/〔法〕马赛尔·巴涅尔译/苏原编者按：《让·德·弗洛莱特》和《甘泉，玛侬》是根据法国著名作家马赛尔·巴涅尔的同名小说改编的电影。马赛尔·巴涅尔是法国二十世纪享有盛名的作家。1895年生于法国南部普鲁旺斯省的奥巴涅小镇。极富浪漫气息的普鲁旺斯的乡村生活为他提供了源源不断的 阅读全文
posted @ 2019-05-28 11:01
Bigben
阅读(1923)
评论(0)
推荐(0)
摘要：
原 《实战Java高并发程序设计》读书笔记（四）：锁的优化与注意事项 第四章 锁的优化及注意事项 4.1 有助于提高锁性能的几点建议 1、减少锁持有时间 即只在必要的时候进行同步。 2、减小锁粒度 如ConcurrentHashMap中并不是对整个HashMap进行加锁，而是对其分段，每段分别加锁。 阅读全文
posted @ 2019-05-27 11:06
Bigben
阅读(286)
评论(0)
推荐(0)
摘要：
https://baijiahao.baidu.com/s?id=1610644333184173190&wfr=spider&for=pc DataPipeline ｜ApacheKafka实战作者胡夕：Apache Kafka监控与调优 DataPipeline ｜ApacheKafka实战作者 阅读全文
posted @ 2019-05-21 16:43
Bigben
阅读(546)
评论(0)
推荐(0)
摘要：
https://www.zhihu.com/question/43557507 https://baijiahao.baidu.com/s?id=1610644333184173190&wfr=spider&for=pc 本文将从，Kafka、RabbitMQ、ZeroMQ、RocketMQ、Act 阅读全文
posted @ 2019-05-21 16:34
Bigben
阅读(410)
评论(0)
推荐(0)
摘要：
kafka真实环境部署规划 1. 操作系统选型 因为kafka服务端代码是Scala语言开发的，因此属于JVM系的大数据框架，目前部署最多的3类操作系统主要由Linux ，OS X 和Windows,但是部署在Linux数量最多，为什么呢？因为I/O模型的使用和数据网络传输效率两点。 第一：Kafk 阅读全文
posted @ 2019-05-14 15:06
Bigben
阅读(300)
评论(0)
推荐(0)
摘要：
logback不同业务的日志打印到不同文件 logback不同业务的日志打印到不同文件 logback不同业务的日志打印到不同文件 logback不同业务的日志打印到不同文件 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/mggwct/articl 阅读全文
posted @ 2019-05-13 14:24
Bigben
阅读(772)
评论(0)
推荐(0)
摘要：
作者博客地址 https://muggle.javaboy.org。 并行相关概念 同步和异步 同步和异步通常来形容一次方法的调用。同步方法一旦开始，调用者必须等到方法结束才能执行后续动作；异步方法则是在调用该方法后不必等到该方法执行完就能执行后面的代码，该方法会在另一个线程异步执行，异步方法总是伴 阅读全文
posted @ 2019-05-08 10:26
Bigben
阅读(244)
评论(0)
推荐(0)
摘要：
大数据分析常用去重算法分析『Bitmap 篇』 mp.weixin.qq.com 大数据分析常用去重算法分析『Bitmap 篇』 mp.weixin.qq.com mp.weixin.qq.com 去重分析在企业日常分析中的使用频率非常高，如何在大数据场景下快速地进行去重分析一直是一大难点。在近期的 阅读全文
posted @ 2019-05-08 10:23
Bigben
阅读(3174)
评论(0)
推荐(0)
摘要：
一.查看kafka集群的broker的堆内存使用情况 1>.使用jstat查看gc的信息([root@kafka116 ~]# jstat -gc 12698 1s 30） 参数说明：S0C：第一个幸存区的大小 S1C：第二个幸存区的大小 S0U：第一个幸存区的使用大小 S1U：第二个幸存区的使用大 阅读全文
posted @ 2019-05-07 09:58
Bigben
阅读(307)
评论(0)
推荐(0)
摘要：
必读 | 大规模使用 Apache Kafka 的20个最佳实践 配图来源：书籍《深入理解Kafka》 必读 | 大规模使用 Apache Kafka 的20个最佳实践 配图来源：书籍《深入理解Kafka》 配图来源：书籍《深入理解Kafka》 Apache Kafka是一款流行的分布式数据流平台， 阅读全文
posted @ 2019-04-29 10:24
Bigben
阅读(285)
评论(0)
推荐(0)
摘要：
es定期删除数据 1、定期删除索引 使用sentinl报警后，会产生大量如下索引，虽然不占空间，但时间久了也不好，故写个脚本定期删除 脚本如下： 1 #!/bin/bash 2 #只保留5天内的日志索引 3 LAST_DATA=`date -d "-5 days" "+%Y.%m.%d"` 4 #删 阅读全文
posted @ 2019-04-26 15:07
Bigben
阅读(12226)
评论(1)
推荐(1)
摘要：
输入内容中最好不要出现 "type":"..."，key为type的json。它会覆盖配置文件中的type。导致type不相等，不执行output es操作。 比如json：{"type":"123"} logstash配置文件为： 自动重新加载配置 为了可以自动检测配置文件的变动和自动重新加载配置 阅读全文
posted @ 2019-04-25 14:09
Bigben
阅读(1885)
评论(0)
推荐(0)
摘要：
使用logstash同步MySQL数据到ES 版权声明：【分享也是一种提高】个人转载请在正文开头明显位置注明出处，未经作者同意禁止企业/组织转载，禁止私自更改原文，禁止用于商业目的。 https://blog.csdn.net/u010887744/article/details/86708490 阅读全文
posted @ 2019-04-17 11:06
Bigben
阅读(4746)
评论(2)
推荐(1)
摘要：
mp.weixin.qq.com mp.weixin.qq.com mp.weixin.qq.com 点击上方“方志朋”，选择“置顶或者星标” 你的关注意义重大！ 首发：cnblogs.com/JavaArchitect/p/10011253.html 上周，密集面试了若干位Java后端候选人，工作 阅读全文
posted @ 2019-04-17 10:33
Bigben
阅读(1014)
评论(0)
推荐(0)
摘要：
“搜索”的原理，架构，实现，实践，面试不用再怕了（值得收藏）！！！ mp.weixin.qq.com “搜索”的原理，架构，实现，实践，面试不用再怕了（值得收藏）！！！ mp.weixin.qq.com mp.weixin.qq.com 可能99%的同学不做搜索引擎，但99%的同学一定实现过检索功能 阅读全文
posted @ 2019-04-17 10:10
Bigben
阅读(879)
评论(0)
推荐(0)
摘要：
超详细的Guava RateLimiter限流原理解析 mp.weixin.qq.com 超详细的Guava RateLimiter限流原理解析 mp.weixin.qq.com mp.weixin.qq.com 点击上方“方志朋”，选择“置顶或者星标” 你的关注意义重大！ 限流是保护高并发系统的三 阅读全文
posted @ 2019-04-17 10:09
Bigben
阅读(959)
评论(0)
推荐(0)
摘要：
https://mp.weixin.qq.com/s?__biz=MzU0OTE4MzYzMw==&mid=2247486301&idx=2&sn=f6d45860269b614f90c345d87ff27581&chksm=fbb282a3ccc50bb5117cfa102f3e76ecea555 阅读全文
posted @ 2019-04-17 10:05
Bigben
阅读(281)
评论(0)
推荐(0)
摘要：
Spring Boot整合Elasticsearch Spring Boot整合Elasticsearch Elasticsearch是一个全文搜索引擎，专门用于处理大型数据集。根据描述，自然而然使用它来存储和搜索应用程序日志。与Logstash和Kibana一起，它是强大的解决方案Elastic 阅读全文
posted @ 2019-04-11 15:50
Bigben
阅读(437)
评论(0)
推荐(0)
摘要：
说说你对ZooKeeper集群与Leader选举的理解？ 说说你对ZooKeeper集群与Leader选举的理解？ ZooKeeper是一个开源分布式协调服务、分布式数据一致性解决方案。可基于ZooKeeper实现命名服务、集群管理、Master选举、分布式锁等功能。 高可用 为了保证ZooKeep 阅读全文
posted @ 2019-04-10 14:10
Bigben
阅读(4362)
评论(0)
推荐(0)
摘要：
需求：需要利用同一logstash进程采集不同日志，输出到es的不同index，各输入输出隔离； 需求：需要利用同一logstash进程采集不同日志，输出到es的不同index，各输入输出隔离； 需求：需要利用同一logstash进程采集不同日志，输出到es的不同index，各输入输出隔离； 需求： 阅读全文
posted @ 2019-04-04 17:28
Bigben
阅读(4553)
评论(1)
推荐(0)
摘要：
logstash作为一个数据输入端。提供http服务，接收客户端的http请求，获取发送的内容。 在config目录下新建文件： vim config/http-input.yml 启动： bin/logstash -f ./config/http-input.yml 启动后输出： 另外，logst 阅读全文
posted @ 2019-04-04 17:20
Bigben
阅读(735)
评论(0)
推荐(0)
摘要：
根据输入的json字段，分别建立索引。循环生成注册log和登录log保存到testlog文件中,结果如下: {"method":"register","user_id":2933,"user_name":"name_91","level":27,"login_time":1470179550}{"m 阅读全文
posted @ 2019-04-03 18:13
Bigben
阅读(16635)
评论(0)
推荐(0)
摘要：
使用CentOS6.5官方镜像安装完毕之后，默认的主机名为localhost，不便管理，我们需要根据实际情况修改。 此处我准备讲默认的主机名 localhost 改为 comex01-ct65 第一步：修改系统网络配置文件 首先备份待修改的文件： cp /etc/sysconfig/network 阅读全文
posted @ 2019-04-03 16:55
Bigben
阅读(1104)
评论(0)
推荐(0)
摘要：
作者：王帅@CodeSheep 写在前面 关于 Spring Security Web系统的认证和权限模块也算是一个系统的基础设施了，几乎任何的互联网服务都会涉及到这方面的要求。在Java EE领域，成熟的安全框架解决方案一般有 Apache Shiro、Spring Security等两种技术选型 阅读全文
posted @ 2019-04-03 14:39
Bigben
阅读(614)
评论(0)
推荐(0)
摘要：
问题 问题 用过 Kafka 的同学用过都知道，每个 Topic 一般会有很多个 partitions。为了使得我们能够及时消费消息，我们也可能会启动多个 Consumer 去消费，而每个 Consumer 又会启动一个或多个streams去分别消费 Topic 里面的数据。我们又知道，Kafka 阅读全文
posted @ 2019-04-02 10:04
Bigben
阅读(1376)
评论(1)
推荐(0)
摘要：
转自：https://blog.csdn.net/felix_yujing/article/details/78930389 转自：https://blog.csdn.net/felix_yujing/article/details/78930389 转自：https://blog.csdn.net 阅读全文
posted @ 2019-03-28 14:59
Bigben
阅读(2565)
评论(0)
推荐(0)
摘要：
1，pom.xml 2, spring-logback.xml 3, 添加一个mdc在logback 4，添加切面 intercept 参考： logback 手册：https://logback.qos.ch/manual/layouts.html http://www.importnew.com 阅读全文
posted @ 2019-03-28 10:24
Bigben
阅读(9511)
评论(0)
推荐(0)
浙公网安备 33010602011771号