正文内容加载中...
posted @ 2018-03-20 10:43 Bigben 阅读(66) 评论(0) 编辑
摘要: cd /etc ll *release cat cat os-release cat centos-releaseCentOS Linux release 7.5.1804 (Core)阅读全文
posted @ 2019-06-19 16:33 Bigben 阅读(1) 评论(0) 编辑
摘要: The 10 Best Studio Headphones of 2019 https://www.outeraudio.com/category/list/ https://www.outeraudio.com/studio-headphones/ January 16, 2019 1 comme阅读全文
posted @ 2019-06-12 10:44 Bigben 阅读(6) 评论(0) 编辑
摘要: 乱码问题一直是一件让人头疼的事情,乱码就是编码格式不统一产生的,下面将一些常见的解决思路整理: 先Xshell连接上数据库,查看数据的编码格式: 一般需要看这么几个地方(附修改命令): 1、数据库的编码(4种方式视情况而定) 1 命令1、show variables like 'character_阅读全文
posted @ 2019-06-11 15:21 Bigben 阅读(4) 评论(0) 编辑
摘要: 转 replace 与 update 区分本文主要对比一下 Sqlite 中的 replace 语句和 update 语句 。 在本例中使用如下数据库表: 图1 该表的表名为student, 存储学生信息。 所有字段的数据类型都是TEXT 。 其中id和name作为复合主键。 email字段加上了唯阅读全文
posted @ 2019-06-10 15:29 Bigben 阅读(4) 评论(0) 编辑
摘要: 文档目录: https://www.elastic.co/guide/index.html阅读全文
posted @ 2019-06-04 18:26 Bigben 阅读(9) 评论(0) 编辑
摘要: 《让·德·弗洛莱特》电影剧本文/〔法〕马赛尔·巴涅尔译/苏原编者按:《让·德·弗洛莱特》和《甘泉,玛侬》是根据法国著名作家马赛尔·巴涅尔的同名小说改编的电影。马赛尔·巴涅尔是法国二十世纪享有盛名的作家。1895年生于法国南部普鲁旺斯省的奥巴涅小镇。极富浪漫气息的普鲁旺斯的乡村生活为他提供了源源不断的阅读全文
posted @ 2019-05-28 11:01 Bigben 阅读(78) 评论(0) 编辑
摘要: 原 《实战Java高并发程序设计》读书笔记(四):锁的优化与注意事项 第四章 锁的优化及注意事项 4.1 有助于提高锁性能的几点建议 1、减少锁持有时间 即只在必要的时候进行同步。 2、减小锁粒度 如ConcurrentHashMap中并不是对整个HashMap进行加锁,而是对其分段,每段分别加锁。阅读全文
posted @ 2019-05-27 11:06 Bigben 阅读(9) 评论(0) 编辑
摘要: https://baijiahao.baidu.com/s?id=1610644333184173190&wfr=spider&for=pc DataPipeline |ApacheKafka实战作者胡夕:Apache Kafka监控与调优 DataPipeline |ApacheKafka实战作者阅读全文
posted @ 2019-05-21 16:43 Bigben 阅读(15) 评论(0) 编辑
摘要: https://www.zhihu.com/question/43557507 https://baijiahao.baidu.com/s?id=1610644333184173190&wfr=spider&for=pc 本文将从,Kafka、RabbitMQ、ZeroMQ、RocketMQ、Act阅读全文
posted @ 2019-05-21 16:34 Bigben 阅读(11) 评论(0) 编辑
摘要: kafka真实环境部署规划 1. 操作系统选型 因为kafka服务端代码是Scala语言开发的,因此属于JVM系的大数据框架,目前部署最多的3类操作系统主要由Linux ,OS X 和Windows,但是部署在Linux数量最多,为什么呢?因为I/O模型的使用和数据网络传输效率两点。 第一:Kafk阅读全文
posted @ 2019-05-14 15:06 Bigben 阅读(6) 评论(0) 编辑
摘要: logback不同业务的日志打印到不同文件 logback不同业务的日志打印到不同文件 logback不同业务的日志打印到不同文件 logback不同业务的日志打印到不同文件 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/mggwct/articl阅读全文
posted @ 2019-05-13 14:24 Bigben 阅读(8) 评论(0) 编辑
摘要: 作者博客地址 https://muggle.javaboy.org。 并行相关概念 同步和异步 同步和异步通常来形容一次方法的调用。同步方法一旦开始,调用者必须等到方法结束才能执行后续动作;异步方法则是在调用该方法后不必等到该方法执行完就能执行后面的代码,该方法会在另一个线程异步执行,异步方法总是伴阅读全文
posted @ 2019-05-08 10:26 Bigben 阅读(7) 评论(0) 编辑
摘要: 大数据分析常用去重算法分析『Bitmap 篇』 mp.weixin.qq.com 大数据分析常用去重算法分析『Bitmap 篇』 mp.weixin.qq.com mp.weixin.qq.com 去重分析在企业日常分析中的使用频率非常高,如何在大数据场景下快速地进行去重分析一直是一大难点。在近期的阅读全文
posted @ 2019-05-08 10:23 Bigben 阅读(53) 评论(0) 编辑
摘要: 一.查看kafka集群的broker的堆内存使用情况 1>.使用jstat查看gc的信息([root@kafka116 ~]# jstat -gc 12698 1s 30) 参数说明:S0C:第一个幸存区的大小 S1C:第二个幸存区的大小 S0U:第一个幸存区的使用大小 S1U:第二个幸存区的使用大阅读全文
posted @ 2019-05-07 09:58 Bigben 阅读(4) 评论(0) 编辑
摘要: 必读 | 大规模使用 Apache Kafka 的20个最佳实践 配图来源:书籍《深入理解Kafka》 必读 | 大规模使用 Apache Kafka 的20个最佳实践 配图来源:书籍《深入理解Kafka》 配图来源:书籍《深入理解Kafka》 Apache Kafka是一款流行的分布式数据流平台,阅读全文
posted @ 2019-04-29 10:24 Bigben 阅读(26) 评论(0) 编辑
摘要: es定期删除数据 1、定期删除索引 使用sentinl报警后,会产生大量如下索引,虽然不占空间,但时间久了也不好,故写个脚本定期删除 脚本如下: 1 #!/bin/bash 2 #只保留5天内的日志索引 3 LAST_DATA=`date -d "-5 days" "+%Y.%m.%d"` 4 #删阅读全文
posted @ 2019-04-26 15:07 Bigben 阅读(49) 评论(0) 编辑
摘要: 输入内容中最好不要出现 "type":"...",key为type的json。它会覆盖配置文件中的type。导致type不相等,不执行output es操作。 比如json:{"type":"123"} logstash配置文件为: 自动重新加载配置 为了可以自动检测配置文件的变动和自动重新加载配置阅读全文
posted @ 2019-04-25 14:09 Bigben 阅读(78) 评论(0) 编辑
摘要: 使用logstash同步MySQL数据到ES 版权声明:【分享也是一种提高】个人转载请在正文开头明显位置注明出处,未经作者同意禁止企业/组织转载,禁止私自更改原文,禁止用于商业目的。 https://blog.csdn.net/u010887744/article/details/86708490 阅读全文
posted @ 2019-04-17 11:06 Bigben 阅读(230) 评论(0) 编辑
摘要: mp.weixin.qq.com mp.weixin.qq.com mp.weixin.qq.com 点击上方“方志朋”,选择“置顶或者星标” 你的关注意义重大! 首发:cnblogs.com/JavaArchitect/p/10011253.html 上周,密集面试了若干位Java后端候选人,工作阅读全文
posted @ 2019-04-17 10:33 Bigben 阅读(18) 评论(0)  编辑
摘要: “搜索”的原理,架构,实现,实践,面试不用再怕了(值得收藏)!!! mp.weixin.qq.com “搜索”的原理,架构,实现,实践,面试不用再怕了(值得收藏)!!! mp.weixin.qq.com mp.weixin.qq.com 可能99%的同学不做搜索引擎,但99%的同学一定实现过检索功能阅读全文
posted @ 2019-04-17 10:10 Bigben 阅读(13) 评论(0) 编辑
摘要: 超详细的Guava RateLimiter限流原理解析 mp.weixin.qq.com 超详细的Guava RateLimiter限流原理解析 mp.weixin.qq.com mp.weixin.qq.com 点击上方“方志朋”,选择“置顶或者星标” 你的关注意义重大! 限流是保护高并发系统的三阅读全文
posted @ 2019-04-17 10:09 Bigben 阅读(19) 评论(0) 编辑
摘要: https://mp.weixin.qq.com/s?__biz=MzU0OTE4MzYzMw==&mid=2247486301&idx=2&sn=f6d45860269b614f90c345d87ff27581&chksm=fbb282a3ccc50bb5117cfa102f3e76ecea555阅读全文
posted @ 2019-04-17 10:05 Bigben 阅读(17) 评论(0) 编辑
摘要: Spring Boot整合Elasticsearch Spring Boot整合Elasticsearch Elasticsearch是一个全文搜索引擎,专门用于处理大型数据集。根据描述,自然而然使用它来存储和搜索应用程序日志。与Logstash和Kibana一起,它是强大的解决方案Elastic 阅读全文
posted @ 2019-04-11 15:50 Bigben 阅读(12) 评论(0) 编辑
摘要: 说说你对ZooKeeper集群与Leader选举的理解? 说说你对ZooKeeper集群与Leader选举的理解? ZooKeeper是一个开源分布式协调服务、分布式数据一致性解决方案。可基于ZooKeeper实现命名服务、集群管理、Master选举、分布式锁等功能。 高可用 为了保证ZooKeep阅读全文
posted @ 2019-04-10 14:10 Bigben 阅读(30) 评论(0) 编辑
摘要: 需求:需要利用同一logstash进程采集不同日志,输出到es的不同index,各输入输出隔离; 需求:需要利用同一logstash进程采集不同日志,输出到es的不同index,各输入输出隔离; 需求:需要利用同一logstash进程采集不同日志,输出到es的不同index,各输入输出隔离; 需求:阅读全文
posted @ 2019-04-04 17:28 Bigben 阅读(120) 评论(0) 编辑
摘要: logstash作为一个数据输入端。提供http服务,接收客户端的http请求,获取发送的内容。 在config目录下新建文件: vim config/http-input.yml 启动: bin/logstash -f ./config/http-input.yml 启动后输出: 另外,logst阅读全文
posted @ 2019-04-04 17:20 Bigben 阅读(29) 评论(0) 编辑
摘要: 根据输入的json字段,分别建立索引。循环生成注册log和登录log保存到testlog文件中,结果如下: {"method":"register","user_id":2933,"user_name":"name_91","level":27,"login_time":1470179550}{"m阅读全文
posted @ 2019-04-03 18:13 Bigben 阅读(138) 评论(0) 编辑
摘要: 使用CentOS6.5官方镜像安装完毕之后,默认的主机名为localhost,不便管理,我们需要根据实际情况修改。 此处我准备讲默认的主机名 localhost 改为 comex01-ct65 第一步:修改系统网络配置文件 首先备份待修改的文件: cp /etc/sysconfig/network 阅读全文
posted @ 2019-04-03 16:55 Bigben 阅读(23) 评论(0) 编辑
摘要: 作者:王帅@CodeSheep 写在前面 关于 Spring Security Web系统的认证和权限模块也算是一个系统的基础设施了,几乎任何的互联网服务都会涉及到这方面的要求。在Java EE领域,成熟的安全框架解决方案一般有 Apache Shiro、Spring Security等两种技术选型阅读全文
posted @ 2019-04-03 14:39 Bigben 阅读(50) 评论(0) 编辑
摘要: 问题 问题 用过 Kafka 的同学用过都知道,每个 Topic 一般会有很多个 partitions。为了使得我们能够及时消费消息,我们也可能会启动多个 Consumer 去消费,而每个 Consumer 又会启动一个或多个streams去分别消费 Topic 里面的数据。我们又知道,Kafka 阅读全文
posted @ 2019-04-02 10:04 Bigben 阅读(34) 评论(0) 编辑
摘要: 转自:https://blog.csdn.net/felix_yujing/article/details/78930389 转自:https://blog.csdn.net/felix_yujing/article/details/78930389 转自:https://blog.csdn.net阅读全文
posted @ 2019-03-28 14:59 Bigben 阅读(29) 评论(0) 编辑
摘要: 1,pom.xml 2, spring-logback.xml 3, 添加一个mdc在logback 4,添加切面 intercept 参考: logback 手册:https://logback.qos.ch/manual/layouts.html http://www.importnew.com阅读全文
posted @ 2019-03-28 10:24 Bigben 阅读(310) 评论(0) 编辑
摘要: 在SpringBoot项目中添加logback的MDC 在SpringBoot项目中添加logback的MDC 在SpringBoot项目中添加logback的MDC 在SpringBoot项目中添加logback的MDC 先看下MDC是什么 Mapped Diagnostic Context,用于阅读全文
posted @ 2019-03-25 10:14 Bigben 阅读(44) 评论(0) 编辑
摘要: 假设日志文件中的每一行记录格式为json的,如: {"Method":"JSAPI.JSTicket","Message":"JSTicket:kgt8ON7yVITDhtdwci0qeZg4L-Dj1O5WF42Nog47n_0aGF4WPJDIF2UA9MeS8GzLe6MPjyp2WlzvsL阅读全文
posted @ 2019-03-21 15:33 Bigben 阅读(48) 评论(0) 编辑
摘要: 最近碰到很多通过巧妙着运用位运算来巧妙解决复杂问题的算法,今天分享的这道题,或许能够开拓你的一些算法思维。 题目描述 有一组存放 ID 的数据。并且 ID 取值为 0 - (N-1) 之间,其中只有一个 ID 出现的次数为 1,其他的 ID 出现的次数都等于 2,问如何找到这个次数为 1 的 ID 阅读全文
posted @ 2019-03-19 10:44 Bigben 阅读(59) 评论(0) 编辑
摘要: spring boot下使用logback或log4j生成符合Logstash标准的JSON格式 一、依赖 由于配置中使用了json格式的日志输出,所以需要引入如下依赖 "net.logstash.logback:logstash-logback-encoder:4.11", <!-- https:阅读全文
posted @ 2019-03-14 15:14 Bigben 阅读(112) 评论(0) 编辑
摘要: https://blog.51cto.com/tryingstuff/2052271 场景需求 场景需求 在有些不需要安装java环境的服务器如Nginx,php等为主的web 应用可以使用filebeat来对这些服务日志进行收集。Filebeat用于收集本地文件的日志数据。 它作为服务器上的代理安阅读全文
posted @ 2019-03-13 16:58 Bigben 阅读(64) 评论(0) 编辑
摘要: Filebeat的配置文件是/etc/filebeat/filebeat.yml,遵循YAML语法。具体可以配置如下几个项目: Filebeat Output Shipper Logging(可选) Run Options(可选) 这个Blog主要讲解Filebeat的配置部分,其他部分后续会有新的阅读全文
posted @ 2019-03-13 16:20 Bigben 阅读(56) 评论(0) 编辑
摘要: 一、关于两种英语教学法的争议 在英语教学方面,主要有纠错式教学法(目前主要对应国内听说读写四位一体的教学法)和鼓励式教学法(目前对应国内听说为主的教学法),这两种教学方法其实是各有千秋,各有利弊的。1. 纠错式教学法(四位一体的教学)代表人物:乐加乐、剑桥国际、优学汇、北外青少的英系教学优点:听说读阅读全文
posted @ 2019-03-11 15:17 Bigben 阅读(30) 评论(0) 编辑
摘要: 转 转 旧金山严格意义上不算是硅谷的一部分,它其实坐落于硅谷以北。城市的占地面积不大,百分之九十是一马平川的居民区。东北角的Financial District是这里唯一高楼耸立的区域,人如川流,在他们之中不少都是科技工作者。贯穿整个Financial District的是Market Street阅读全文
posted @ 2019-03-08 17:06 Bigben 阅读(13) 评论(0) 编辑