2021年8月4日
摘要: 优点: ClickHouse写入吞吐量大,单服务器日志写入量在50MB到200MB/s,每秒写入超过60w记录数,是ES的5倍以上。 查询速度快,官方宣称数据在pagecache中,单服务器查询速率大约在2-30GB/s;没在pagecache的情况下,查询速度取决于磁盘的读取速率和数据的压缩率。。 阅读全文
posted @ 2021-08-04 20:47 熊哥club 阅读(13548) 评论(5) 推荐(3) 编辑
  2019年11月29日
摘要: 前两天有同事打电话问我,说ES删除数据有没有什么坑? 我当时就问,是删索引还是删索引里的数据?她回答说是删数据,我说查出这些数据直接删除就好了,没有什么坑。。。 后来想想,关于ES数据的删除,之前确实遇到过很多删除场景,如果真要说有没有所谓的坑,细想一下,还真有。 我维护过的ES集群最大规模是180 阅读全文
posted @ 2019-11-29 17:27 熊哥club 阅读(34566) 评论(1) 推荐(1) 编辑
  2018年7月30日
摘要: 我们往已经部署好的Kafka集群里面添加机器是最正常不过的需求,而且添加起来非常地方便,我们需要做的事是从已经部署好的Kafka节点中复制相应的配置文件,然后把里面的broker id修改成全局唯一的,最后启动这个节点即可将它加入到现有Kafka集群中。 但是问题来了,新添加的Kafka节点并不会自 阅读全文
posted @ 2018-07-30 13:07 熊哥club 阅读(6777) 评论(0) 推荐(0) 编辑
  2018年5月25日
摘要: 简介: Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。Kafka如下特性,受到诸多公司的青睐。 1、高吞吐量:即使是非常普通的硬件Kafka也可以支持每秒数百万的消息(核心目标之一)。 2、支持通过Kafka服务器和消费机集群来分区消息 ………… 场 阅读全文
posted @ 2018-05-25 10:34 熊哥club 阅读(7879) 评论(3) 推荐(1) 编辑
  2018年5月21日
摘要: kafka的log内容格式还不没怎么了解,想快速浏览消息内容的话,除了使用它自带的kafka-console-consumer.sh脚本,还可以直接去看log文件本身,不过内容里有部分二进制字符,通过命令看的话会有乱码。 strings 命令可以过滤掉二进制编码,但默认它也会过滤掉中文字符,只留有英 阅读全文
posted @ 2018-05-21 12:17 熊哥club 阅读(1594) 评论(0) 推荐(0) 编辑
  2018年5月11日
摘要: Kafka集群管理、状态保存是通过zookeeper实现,所以先要搭建zookeeper集群 zookeeper集群搭建 一、软件环境: zookeeper集群需要超过半数的的node存活才能对外服务,所以服务器的数量应该是2*N+1,这里使用3台node进行搭建zookeeper集群。 1. 3台 阅读全文
posted @ 2018-05-11 13:58 熊哥club 阅读(6692) 评论(0) 推荐(2) 编辑
  2018年4月20日
摘要: 0、引言 本文翻译自Elasticsearch20170918热乎的官方博客,原作者:Christian Dahlqvist。 在构建Elasticsearch集群的初期如果集群分片设置不合理,可能在项目的中后期就会出现性能问题。 Elasticsearch是一个非常通用的平台,支持各种各样的用例, 阅读全文
posted @ 2018-04-20 11:14 熊哥club 阅读(6796) 评论(0) 推荐(1) 编辑
  2018年3月5日
摘要: 索引分片: 从策略层面,控制分片分配的选择 磁盘限额 为了保护节点数据安全,ES 会定时(cluster.info.update.interval,默认 30 秒)检查一下各节点的数据目录磁盘使用情况。在达到 cluster.routing.allocation.disk.watermark.low 阅读全文
posted @ 2018-03-05 15:19 熊哥club 阅读(2484) 评论(0) 推荐(1) 编辑
摘要: 近es集群磁盘空间告警,日志又没地方可以迁移,然后申请了新的服务器,一次性加入8台新的服务器 新增了32个新的数据节点,至此,我们的主集群已经到达85个数据节点的规模,整个集群数据已达到PB级别,终于可以跟别人炫耀我是做大数据的了。O(∩_∩)O哈哈~ 但是随着集群节点的不断壮大,问题也随之而来,刚 阅读全文
posted @ 2018-03-05 11:37 熊哥club 阅读(6578) 评论(0) 推荐(0) 编辑
  2018年2月5日
摘要: 如果ES是集群,那么需要使用共享存储,支持的存储有:a、shared file systemb、S3c、HDFS 我使用的是第一种,NFS共享文件系统。这里要说一下权限问题,ES一般是使用 elasticsearch 用户启动的,要保证共享目录对 elasticsearch 用户有读写权限,要不然创 阅读全文
posted @ 2018-02-05 13:54 熊哥club 阅读(671) 评论(0) 推荐(0) 编辑
  2018年1月30日
摘要: ################### Filebeat Configuration Example ######################### ############################# Filebeat ###################################### filebeat: # List of prospectors to fetch ... 阅读全文
posted @ 2018-01-30 16:49 熊哥club 阅读(4349) 评论(0) 推荐(0) 编辑
  2017年12月5日
摘要: Jcseg是什么? Jcseg是什么? Jcseg是基于mmseg算法的一个轻量级中文分词器,同时集成了关键字提取,关键短语提取,关键句子提取和文章自动摘要等功能,并且提供了一个基于Jetty的web服务器,方便各大语言直接http调用,同时提供了最新版本的lucene, solr, elastic 阅读全文
posted @ 2017-12-05 10:01 熊哥club 阅读(757) 评论(0) 推荐(0) 编辑
摘要: 记得好像ES默认线程池配置是1000,然后我开启了1000个线程去查询。直接es集群就挂了。。呵呵 阅读全文
posted @ 2017-12-05 09:56 熊哥club 阅读(14375) 评论(0) 推荐(0) 编辑
  2017年12月4日
摘要: 以球员信息为例,player索引的player type包含5个字段,姓名,年龄,薪水,球队,场上位置。index的mapping为: 索引中的全部数据: 首先,初始化Builder: 接下来举例说明各种聚合操作的实现方法,因为在es的api中,多字段上的聚合操作需要用到子聚合(subAggrega 阅读全文
posted @ 2017-12-04 10:40 熊哥club 阅读(57241) 评论(5) 推荐(18) 编辑
  2017年8月3日
摘要: apache日志分析可以获得很多有用的信息,现在来试试最基本的,获取最多访问的前10个IP地址及访问次数。 既然是统计,那么awk是必不可少的,好用而高效。 命令如下: awk '{a[$1] += 1;} END {for (i in a) printf("%d %s\n", a[i], i);} 阅读全文
posted @ 2017-08-03 19:57 熊哥club 阅读(4534) 评论(0) 推荐(1) 编辑
  2017年7月31日
摘要: mysql导出用户权限 mysql中直接通过授权即可使用对应用户,不必使用创建用户命令(如CREATE USER 'xxx'@'%' IDENTIFIED BY 'XXX';)先建用户再授权。 方法一:该脚本可以将所有授权数据到当前目录下的sql脚本(grants.sql)中,使用grants.sq 阅读全文
posted @ 2017-07-31 10:31 熊哥club 阅读(885) 评论(0) 推荐(0) 编辑
  2017年7月27日
摘要: 相关概念 面向对象的三个特征 封装,继承,多态.这个应该是人人皆知.有时候也会加上抽象. 多态的好处 允许不同类对象对同一消息做出响应,即同一消息可以根据发送对象的不同而采用多种不同的行为方式(发送消息就是函数调用).主要有以下优点: 代码中如何实现多态 实现多态主要有以下三种方式: 1. 接口实现 阅读全文
posted @ 2017-07-27 18:37 熊哥club 阅读(370) 评论(0) 推荐(0) 编辑
摘要: Java集合类主要分为以下三类: 第一类:Array、Arrays 第二类:Collection :List、Set第三类:Map :HashMap、HashTable 一、Array , Arrays Java所有“存储及随机访问一连串对象”的做法,array是最有效率的一种。 1、效率高,但容量 阅读全文
posted @ 2017-07-27 10:24 熊哥club 阅读(11962) 评论(0) 推荐(2) 编辑
  2017年7月26日
摘要: AWS的ubuntu主机登录用户是ubuntu 只能通过秘钥的方式登录 如果在linux终端通过ssh远程登录步骤如下: 假如申请EC2主机的时候下载的key名称叫my-key.pem,并保存在本地linux主机/home/key下面 1.使用chmod命令确保您的私有密钥不是公开可见的 2. 3. 阅读全文
posted @ 2017-07-26 13:50 熊哥club 阅读(1778) 评论(0) 推荐(0) 编辑
  2017年7月18日
摘要: Docker资源 Docker官方英文资源: docker官网:http://www.docker.com Docker windows入门:https://docs.docker.com/windows/ Docker Linux 入门:https://docs.docker.com/linux/ 阅读全文
posted @ 2017-07-18 10:08 熊哥club 阅读(631) 评论(0) 推荐(0) 编辑
  2017年7月6日
摘要: ubuntu14.04安装前准备工作,为了保证安装顺利,请先执行apt-get update 然后安装make 和gcc(已安装的可忽略) 下载Redis的安装包 wget http://download.redis.io/releases/redis-2.8.9.tar.gz 编译安装后可以进行测 阅读全文
posted @ 2017-07-06 17:22 熊哥club 阅读(232) 评论(0) 推荐(0) 编辑
  2017年7月4日
摘要: 结果报错: 貌似只能在jdk1.8环境下才行。 可是我的环境是jdk1.7 然后我又下载了个低版本的jenkins.war 地址:http://mirrors.tuna.tsinghua.edu.cn/jenkins/war-stable/2.19.1/ 直接部署在tomcat下面就好了 Jenki 阅读全文
posted @ 2017-07-04 15:48 熊哥club 阅读(2236) 评论(0) 推荐(0) 编辑
  2017年6月27日
摘要: port:50187 阅读全文
posted @ 2017-06-27 19:13 熊哥club 阅读(274) 评论(0) 推荐(0) 编辑
摘要: web.xml加入如下配置 web.xml同级目录下新建dwr.xml MessagePush类 DwrScriptSessionManagerUtil工具类 TestPush类 引入JavaScript文件,具体如下: 接收消息html页面具体内容代码如下: 发送消息html页面具体内容代码如下: 阅读全文
posted @ 2017-06-27 15:57 熊哥club 阅读(366) 评论(0) 推荐(0) 编辑
  2017年6月23日
摘要: 使用Timeline做性能分析 Timeline面板记录和分析了web应用运行时的所有活动情况,这是研究和查找性能问题的最佳途径。###Timeline面板概览 Timeline面板主要有三个部分构成:顶部的概述部分、记录视图和工具栏。 点击开始/停止切换按钮,开始或停止记录(参考记录) 点击清理按 阅读全文
posted @ 2017-06-23 10:06 熊哥club 阅读(635) 评论(0) 推荐(0) 编辑
  2017年6月8日
摘要: package com.xsw.test; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; i... 阅读全文
posted @ 2017-06-08 16:36 熊哥club 阅读(1298) 评论(0) 推荐(0) 编辑
摘要: 最近遇到一个奇怪的问题。maven项目再进行junit单元测试的时候发现无法加载配置文件。一会能加载一会又不能加载。然后试了在src/main/resource下面的配置文件放到src/test/resource下,这样每次都能加载了。 但是理论上不用放在test下也是可以加载的。 后来发现用ecl 阅读全文
posted @ 2017-06-08 10:54 熊哥club 阅读(5167) 评论(0) 推荐(0) 编辑
  2017年5月19日
摘要: html页面中添加以上代码默认打开为页面视图而不是web视图 poi将html导出为word import java.io.BufferedReader;import java.io.ByteArrayInputStream;import java.io.File;import java.io.Fi 阅读全文
posted @ 2017-05-19 11:04 熊哥club 阅读(8183) 评论(0) 推荐(0) 编辑
摘要: //检验金额合法性 只能是正数 或小数 function checkMoney(fileds){ $(fileds).keyup(function () { var reg = $(this).val().match(/\d+\.?\d{0,2}/); var txt = ''; if (reg ! 阅读全文
posted @ 2017-05-19 11:03 熊哥club 阅读(311) 评论(0) 推荐(0) 编辑
摘要: 腾讯云工程师 : 2017-05-18 18:16:13 腾讯云工程师 : 2017-05-18 18:16:13 您好!您的域名已经有备案号,现在指向腾讯云国内服务器,按照管局要求需要做转接入备案的,在转入过程中如果着急访问的话,通过初审就可以给您开通临时访问的权限的,初审是一个工作日,后续流程需 阅读全文
posted @ 2017-05-19 10:57 熊哥club 阅读(188) 评论(0) 推荐(0) 编辑

熊哥club Fork me on GitHub