Go语言mgo使用情况
摘要：文重点介绍mgo使用,仅简单介绍mongodb。 mongodb特性 mongdb简单介绍 mongdb简单介绍 注意: 上图已经告知我们mongo不支持事务，在开发项目应用时，想要保证数据的完整性请考虑关系型数据库（经典例子银行转账）。 mongo提供了许多原子操作，比如文档的保存，修改，删除等，
阅读全文
posted @ 2019-08-30 18:35
08 2019 档案
golang基础学习-MongoDB使用
摘要：1.系统环境 Golang:go version go1.10.3 darwin/amd64 OS:MacOS MongoDB: version: 3.4.4 2.Golang使用MongoDB 使用：gopkg.in/mgo.v2 mgo简介 3.简单使用MongoDB 3.1 数据设计 3.1.
阅读全文
posted @ 2019-08-30 18:28
golang：mgo剖析之Session
摘要：golang操作mongo使用的包是"gopkg.in/mgo.v2"，coding过程中需要并发读写mongo数据库，简单观摩了下源码，记录下自己的一些理解，如有错误，敬请斧正。 一般来说，我们直接这样创建一个session： Session, err = mgo.Dial(URL) if err
阅读全文
posted @ 2019-08-30 18:25
Go语言入门 不错
摘要：Go入门 Go介绍 部落图鉴之Go：爹好还这么努力？ 环境配置 安装 下载源码编译安装 下载相应平台的安装包安装 下载地址:https://golang.org/dl/ Linux上的apt-get,yum，Mac上的homebrew 安装 安装完成后命令行输入go，如果显示帮助信息则安装成功 GO
阅读全文
posted @ 2019-08-30 18:11
Go语言 异常panic和恢复recover用法
摘要：背景：Go语言追求简洁优雅，所以，Go语言不支持传统的 try…catch…finally 这种异常，因为Go语言的设计者们认为，将异常与控制结构混在一起会很容易使得代码变得混乱。因为开发者很容易滥用异常，甚至一个小小的错误都抛出一个异常。在Go语言中，使用多值返回来返回错误。不要用异常代替错误，更
阅读全文
posted @ 2019-08-30 18:07
go语言的defer语句
摘要：go语言defer语句的用法 defer的语法 defer后面必须是函数调用语句，不能是其他语句，否则编译器会出错。 这个例子中defer后面使用的是n++指令，不是一个函数调用语句，编译器就报错： defer的基本功能 defer后面的函数在defer语句所在的函数执行结束的时候会被调用；我们查看
阅读全文
posted @ 2019-08-30 18:01
golang remote debug和docker debug
摘要：在编写 Go 代码的时候，因为很多时候都是需要调试服务器上的代码的，作为一个年长的工程师，肯定不能用 log.Printf 来调试问题，所以我选择了 delve 这个工具，通过 delve 我可以像本地调试代码一样在 Goland 中调试 Go 代码，很是惬意。如果要说缺点的话，那就是在服务端启动
阅读全文
posted @ 2019-08-30 12:38
ETH 全节点的远程Debug环境搭建
摘要：ETH全节点还是很浪费资源的，尤其是在同步下来所有区块链，如果你打算在本地进行全节点的Debug吗，有点不现实。这个文档 编译，在要运行的机器上面安装devel，一般的方法是，编译好之后，放到服务器上面，安装delve Debug工具 ： https://github.com/derekparker
阅读全文
posted @ 2019-08-29 22:10
GoLand远程Linux开发环境搭建
摘要：Goland 远程调试本文介绍如何从本机的goland连接远端server上的go代码进行调试 goland下载安装 建议购买正版，科学使用自行搜索。 需要安装插件，确保可以访问官网，不然配置下proxy preference->plugins->install jetbrain plugins
阅读全文
posted @ 2019-08-29 21:39
Linux下配置Golang开发环境
摘要：前几天无意间看到了微信推送的golang开发的消息，看到golang那么牛逼，突然心血来潮想学习一下go。工欲善其事必先利其器，想做go开发，必须先配置好go的开发环境（就像开发Java先安装配置jdk一样）。在网上找了半天，一直没有找到满意的教程（看来golang在国内还是不火）遂自己摸索，踩了不
阅读全文
posted @ 2019-08-29 21:08
什么是 go vendor
摘要：go vendor 是golang引入管理包依赖的方式，1.5版本开始引进，1.6正式引进。 基本原理其实就是将依赖的包，特指外部包，复制到当前工程下的vendor目录下，这样go build的时候，go会优先从vendor目录寻找依赖包。 优点将依赖的外部包引进工程下的vendor目录，可以直接在
阅读全文
posted @ 2019-08-29 18:59
Golang包管理工具之govendor的使用
摘要：1. govendor简介 golang工程的依赖包经常使用go get命令来获取，例如：go get github.com/kardianos/govendor ，会将依赖包下载到GOPATH的路径下。 常用的依赖包管理工具有godep，govendor等，在Golang1.5之后，Go提供了 G
阅读全文
posted @ 2019-08-29 18:55
国内的go get问题的解决
摘要：go get golang.org/x 包失败解决方法 由于各种问题，国内使用 go get 安装 golang 官方包可能会失败，如我自己在安装 collidermain 时，出现了以下报错： $ go get collidermain package golang.org/x/net/webso
阅读全文
posted @ 2019-08-29 18:52
集群、限流、缓存 BAT 大厂无非也就是这么做
摘要：前言 前阵子有网友询问，如何优化网站？这个问题真的很大，跟他简单的聊了一下，随便说了几点，觉得有必要整理一篇文章出来，正好前阵子在做爬虫博客，于是把大体思路分享出来，与大家互通有无，共同进步。 优化 版本一 系统开始是这样子的，一个 Tomcat 拖着一个 MySql 服务，跑在一个 2C 4G 的
阅读全文
posted @ 2019-08-29 18:36
Gin框架中文文档
摘要：Gin 是一个 go 写的 web 框架，具有高性能的优点。官方地址：https://github.com/gin-gonic/gin 带目录请移步 http://xf.shuangdeyu.com/movie/content.html?mid=25，简书markdown不支持目录生成 目录 [TO
阅读全文
posted @ 2019-08-29 18:32
GO——beego简单开发实例（二）
摘要：在新建项目成功之后我们可以做一个简单的动态增删查改。 1.在models文件夹下新建models.go,根据模型新建表 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
阅读全文
posted @ 2019-08-25 21:40
goland搭建beego开发环境
摘要：1.安装最新的go软件 ，当前版本1.122.下载goland开发工具3.安装bee工具 go get github.com/beego/bee4.通过bee api dsh -tables="" -driver=mysql -conn="root:K2pass!!@tcp(172.18.8.11:
阅读全文
posted @ 2019-08-24 18:48
beego框架学习(三) -orm的使用
摘要：2 3 4 5 6 7 8 9 10 11 目前beego-orm支持的数据有: - MySQL：https://github.com/go-sql-driver/mysql - PostgreSQL：https://github.com/lib/pq - Sqlite3：https://githu
阅读全文
posted @ 2019-08-23 19:08
beego框架学习(二) -路由设置
摘要：路由设置 什么是路由设置呢？前面介绍的 MVC 结构执行时，介绍过 beego 存在三种方式的路由:固定路由、正则路由、自动路由，接下来详细的讲解如何使用这三种路由。 基础路由 从beego1.2版本开始支持了基本的RESTful函数式路由,应用中的大多数路由都会定义在 routers/router
阅读全文
posted @ 2019-08-23 19:03
GO——beego安装及新建项目（一）
摘要：beego简介 Beego是一个快速开发Go应用的http框架，可用于快速开发Api、web及后端服务等各种应用，是一个RESTful框架。 beego的架构 Beego由八个独立模块构建，是一个高度解耦的应用，用户可以不是用beego的http逻辑使用里面的任意模块。具体架构设计如下: beego
阅读全文
posted @ 2019-08-23 19:02
logstash 写入数据到elasticsearch 索引相差8小时解决办法
摘要：问题说明 Logstash用的UTC时间, logstash在按每天输出到elasticsearch时，因为时区使用utc，造成每天8:00才创建当天索引，而8:00以前数据则输出到昨天的索引 # 使用logstash写入elasticsearch时的配置output { elasticsearch
阅读全文
posted @ 2019-08-21 22:11
Python日期存入elasticsearch的坑
摘要：今天在消费kafka数据到elasticsearch（以下简称es）中的时候遇到一个问题，也是一个坑，折腾了半天，后来发现得来全不费工夫，全是白忙活啊！！！ 问题如下： kafka数据中有一个字段是时间字符串，格式为：‘2018-05-31 16：33:45：234’ 为了方便以后根据日期检索数据，
阅读全文
posted @ 2019-08-21 22:10
Elasticsearch - 简介
摘要：Elasticsearch 是一个分布式、可扩展、开源的全文搜索与数据分析引擎。它可以存储、搜索、分析 PB 级别的近实时数据。Elasticsearch 使用 Lucene 作为其核心来实现所有的索引和搜索功能，通过简单的Restful API 隐藏 Lucene 的复杂性，从而让全文搜索变得简单
阅读全文
posted @ 2019-08-20 22:42
elasticsearch mappings之dynamic的三种状态
摘要：目录 前言 动态映射（dynamic：true） 静态映射（dynamic：false） 严格模式（dynamic：strict） 目录 前言 动态映射（dynamic：true） 静态映射（dynamic：false） 严格模式（dynamic：strict） 前言 动态映射（dynamic：tr
阅读全文
posted @ 2019-08-20 22:40
Elastic search中使用nested类型的内嵌对象
摘要：在大数据的应用环境中，往往使用反范式设计来提高读写性能。 假设我们有个类似简书的系统，系统里有文章，用户也可以对文章进行赞赏。在关系型数据库中，如果按照数据库范式设计，需要两张表：一张文章表和一张赞赏历史记录表，赞赏历史记录表包括了赞赏者姓名和赞赏金额。 在Elastic search中，由于都是j
阅读全文
posted @ 2019-08-20 22:37
ElasticSearch的中文分词器ik
摘要：一、前言 为什么要在elasticsearch中要使用ik这样的中文分词呢，那是因为es提供的分词是英文分词，对于中文的分词就做的非常不好了，因此我们需要一个中文分词器来用于搜索和使用。 二、IK分词器的安装和使用 2.1、安装ik 我们可以从官方github上下载该插件，我们下载对应于我们使用的e
阅读全文
posted @ 2019-08-20 22:30
elasticsearch 修改 mapping
摘要：Elasticsearch的mapping一旦创建，只能增加字段，而不能修改已经mapping的字段。但现实往往并非如此啊，有时增加一个字段，就好像打了一个补丁，一个可以，但是越补越多，最后自己都觉得惨不忍睹了。怎么办？？ 这里有一个方法修改mapping，那就是重新建立一个index，然后创建一个
阅读全文
posted @ 2019-08-20 21:59
Elasticsearch 安装 Head 插件
摘要：引子：在上一篇文章Elasticsearch入门（一）：CentOS 7.6 安装ES 7.0.0中，我们讲了如何在CentOS 7.6环境下安装 Elasticsearch 7.0。下面，我将讲一讲，如何安装ES必备插件之——elasticsearch-head，并且记录下在安装过程中所遇到的问题
阅读全文
posted @ 2019-08-19 21:45
elasticsearch head + xpack 用户名密码访问
摘要：修改配置文件elasticsearch.yml，增加http.cors.allow-headers: Authorization 访问head时，url如下所示：http://192.168.100.100:9100/?auth_user=elastic&auth_password=changeme
阅读全文
posted @ 2019-08-19 21:17
IK分词器的安装与使用IK分词器创建索引
摘要：之前我们创建索引，查询数据，都是使用的默认的分词器，分词效果不太理想，会把text的字段分成一个一个汉字，然后搜索的时候也会把搜索的句子进行分词，所以这里就需要更加智能的分词器IK分词器了。 1. ik分词器的下载和安装，测试 第一： 下载地址：https://github.com/medcl/el
阅读全文
posted @ 2019-08-19 20:59
Mongo-Connector 安装及使用文档
摘要：# Mongo-Connector 安装及使用文档 > * 工具介绍> * 安装前准备> * 安装步骤> * 命令详解> * 有可能的坑> * 其他文档 ###工具介绍mongo-connector工具创建一个从MongoDB簇到一个或多个目标系统的管道，目标系统包括：Solr，Elasticsea
阅读全文
posted @ 2019-08-19 16:08
CentOS7上安装配置破解Elasticsearch+Kibana 6.4.2-6.5.1全过程
摘要：最近正在学习服务器应用平台的搭建的相关知识。有幸从朋友与书上了解到Elastic套件的使用，我花了两天的时间把最新的套件部署在我的服务器上，中间踩了数不清的坑。我把整个过程都记录了下来与各位有需要的朋友们分享一下。 Update经过测试该安装破解方案已兼容Elasticsearch6.4.2至Kib
阅读全文
posted @ 2019-08-19 01:30
[不错]A step-by-step guide to enabling security, TLS/SSL, and PKI authentication in Elasticsearch
摘要：Now posted on the Elastic blog December 12, 2018 update: This article has been published on Elastic’s website as: https://www.elastic.co/blog/elastics
阅读全文
posted @ 2019-08-19 01:14
asp.net core 从单机到集群
摘要：asp.net core 从单机到集群 Intro# 这篇文章主要以我的活动室预约的项目作为示例，看一下一个 asp.net core 应用从单机应用到分布式应用需要做什么。 示例项目# 活动室预约提供了两个版本，集群版 和 单机版 单机版方便部署，不依赖其他环境，数据库使用的是 sqlite，详细
阅读全文
posted @ 2019-08-18 20:53
Redlock：Redis分布式锁最牛逼的实现
摘要：普通实现 说道Redis分布式锁大部分人都会想到：setnx+lua，或者知道set key value px milliseconds nx。后一种方式的核心实现命令如下： - 获取锁（unique_value可以是UUID等） SET resource_name unique_value NX
阅读全文
posted @ 2019-08-18 20:51
es为什么要取消type? 或者为什么一个index下多个type会有问题
摘要：同一个index下的不同的type下的相同的filed,在同一个index下其实会被认为是同一个filed. 同一个index下的不同的type下的相同的filed,在同一个index下其实会被认为是同一个filed. 否则，不同type中的相同字段名称就会在处理中出现冲突的情况，导致Lucene处
阅读全文
posted @ 2019-08-18 20:49
【不错】MySQL 事务隔离级别
摘要：一、事务描述 1、事务的四个特性 ACID 1. A：原子性 = 一个事务或者都成功、或者都失败； 2. C：一致性 = 在整个事务的生命周期里面，查询到的数据是一致的； MVCC多版本并发控制：利用undo保存某一时刻数据快照，通过版本号来减少锁的争用，保证各个事务互不影响。 3. I： 隔离性
阅读全文
posted @ 2019-08-18 20:43
布隆过滤器简述及应用
摘要：一、布隆过滤器 1、维基百科 布隆过滤器（Bloom Filter）是1970年由布隆提出的。 实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。 优点是不需要存储 key，节省空间，空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除
阅读全文
posted @ 2019-08-18 20:40
bootstrap.memory_lock: true导致Elasticsearch启动失败问题
摘要：elasticsearch官网建议生产环境需要设置bootstrap.memory_lock: true 重新启动elasticsearch，报错信息如下： [baoshan@test-43.dev.rokid-inc.com /home/baoshan/elk/elasticsearch-5.3.
阅读全文
posted @ 2019-08-15 20:18
jenkins中通过Publish Over SSH将项目部署到远程机器上
摘要：Publish Over SSH插件使用在使用Publish Over SSH之前，需要制作SSH私钥。机器间做免密登录配置。假设机器A,ip为192.168.AA.AAA,机器B: 192.168.BB.BBB,机器A能够免密登录机器B,机器B能够免密登录机器A,制作方式是： 进入A机器，执行：
阅读全文
posted @ 2019-08-14 20:24
GitHub 开源的 MySQL 在线更改 Schema 工具【转】
摘要：本文来自：https://segmentfault.com/a/1190000006158503 原文：gh-ost: GitHub's online schema migration tool for MySQL MySQL在线更改schema的工具很多，如Percona的pt-online-sc
阅读全文
posted @ 2019-08-14 14:18
MySQL ProxySQL读写分离实践
摘要：目的 在上一篇文章MySQL ProxySQL读写分离使用初探里初步介绍了ProxySQL的使用，本文继续介绍它的一些特点和DBProxy的性能差异。深入一些去了解ProxySQL，通过例子来说明ProxySQL的一些特性和用sysbench对其进行测试来对比分析说明。 环境： 测试 本文测试环境是
阅读全文
posted @ 2019-08-14 14:16
MySQL ProxySQL读写分离使用初探
摘要：目的 在美团点评DBProxy读写分离使用说明文章中已经说明了使用目的，本文介绍ProxySQL的使用方法以及和DBProxy的性能差异。具体的介绍可以看官网的相关说明，并且这个中间件也是percona推的一款中间件。其特性和其他读写分离的中间件差距不大，具体的会在文中介绍。本文大致简单的介绍在使用
阅读全文
posted @ 2019-08-14 14:15
Redis Codis 部署安装
摘要：背景 关于Redis的高可用除了只身的Sentinel和Cluster之外，还有一个用的比较多的是Codis，由于公司的Redis大部分都使用Codis，本文就针对Codis进行相关的安装部署进行说明，来好好的认识Codis。 介绍 Codis 是一个分布式 Redis 解决方案, 对于上层的应用来
阅读全文
posted @ 2019-08-14 14:14
LVS+Keepalived实现DBProxy的高可用
摘要：背景 在上一篇文章美团点评DBProxy读写分离使用说明实现了读写分离，但在最后提了二个问题：一是代理不管MySQL主从的复制状态，二是DBProxy本身是一个单点的存在。对于第一个可以通过自己定义的检测规则进行操作Admin接口，实现主从状态异常的处理。而对于第二个问题，需要再起一个DBProx
阅读全文
posted @ 2019-08-14 14:14
使用codis-admin搭建codis集群
摘要：目的 在Redis Codis 部署安装的文章中，介绍了通过fe在web上搭建codis的基本步骤和方法，也介绍了codis-admin的相关说明，为了更好的熟悉codis-admin的使用，本文将使用codis-admin直接搭建codis集群（和fe进行相关的对比）。这样做的另一个目的是为实现
阅读全文
posted @ 2019-08-14 14:13
elasticsearch7.0安装及配置优化
摘要：简单讲ES开箱即用，不用任何配置也能玩转搜索引擎；以下内容是根据易企秀线上实际使用场景进行的安装和配置，支持冷热数据分离 1、安装 Linux 环境下载安装包 curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasti
阅读全文
posted @ 2019-08-14 13:03
ELK详细安装部署
摘要：一、前言 ? 日志主要包括系统日志和应用程序日志，运维和开发人员可以通过日志了解服务器中软硬件的信息，检查应用程序或系统的故障，了解故障出现的原因，以便解决问题。分析日志可以更清楚的了解服务器的状态和系统安全状况，从而可以维护服务器稳定运行。 ? 但是日志通常都是存储在各自的服务器中。如果管理数十台
阅读全文
posted @ 2019-08-09 19:05
filebeat安装部署
摘要：简单概述 最近在了解ELK做日志采集相关的内容，这篇文章主要讲解通过filebeat来实现日志的收集。日志采集的工具有很多种，如fluentd, flume, logstash,betas等等。首先要知道为什么要使用filebeat呢？因为logstash是jvm跑的，资源消耗比较大，启动一个log
阅读全文
posted @ 2019-08-09 18:43
ElasticSearch-5.3.1集群环境搭建，安装ElasticSearch-head插件，安装错误解决
摘要：说起来甚是惭愧，博主在写这篇文章的时候，还没有系统性的学习一下ES，只知道可以拿来做全文检索，功能很牛逼，但是接到了任务不想做也不行， leader让我搭建一下分布式的ES集群环境，用来支持企业信用数据的检索，刚开始宝宝一脸蒙逼，只是之前自己本地搭建过一个测试玩过，开发任务也是忙的不行， 一直也没时
阅读全文
posted @ 2019-08-09 18:39
手把手教你搭建一个 Elasticsearch 集群
摘要：为何要搭建 Elasticsearch 集群 凡事都要讲究个为什么。在搭建集群之前，我们首先先问一句，为什么我们需要搭建集群？它有什么优势呢？ 高可用性 Elasticsearch 作为一个搜索引擎，我们对它的基本要求就是存储海量数据并且可以在非常短的时间内查询到我们想要的信息。所以第一步我们需要保
阅读全文
posted @ 2019-08-09 18:33
ES 集群管理（集群规划、集群搭建、集群管理）
摘要：一、集群规划 搭建一个集群我们需要考虑如下几个问题： 1. 我们需要多大规模的集群？ 2. 集群中的节点角色如何分配？ 3. 如何避免脑裂问题？ 4. 索引应该设置多少个分片？ 5. 分片应该设置几个副本？ 下面我们就来分析和回答这几个问题 1、我们需要多大规模的集群？ 需要从以下两个方面考虑： 1
阅读全文
posted @ 2019-08-09 17:26
Elasticsearch如何关掉服务
摘要：1.使用head插件找到想关掉的节点进行关停 2.使用命令kill杀掉服务器的ES进程即可1.查找ES进程ps -ef | grep elastic 2.杀掉ES进程kill -9 2382（进程号） 3.重启ESsh elasticsearch -d 需要对ES节点进行重新启动或正常关机的时候，有
阅读全文
posted @ 2019-08-09 17:08
测算Redis处理实际生产请求的QPS/TPS
摘要：内容目录： Benchmark工具 测算redis处理实际生产请求的QPS/TPS 内容目录： Benchmark工具 测算redis处理实际生产请求的QPS/TPS 测算Redis处理实际生产请求的QPS/TPS Benchmark工具 redis发布版本中自带了redis-benchmark性能
阅读全文
posted @ 2019-08-09 15:19
filebeat直连elasticsearch利用pipeline提取message中的字段
摘要：这里使用filebeat直连elasticsearch的形式完成数据传输，由于没有logstash，所有对于原始数据的过滤略显尴尬（logstash的filter非常强大）。 但是由于业务需求，还是需要将message（原始数据）中的某些字段进行提取，具体方式如下： 1. /path/目录下建立pi
阅读全文
posted @ 2019-08-08 21:34
python连接 elasticsearch 查询数据，支持分页
摘要：使用python连接es并执行最基本的查询 from elasticsearch import Elasticsearch es = Elasticsearch(["localhost:9200"]) para = {"_source":"message"} es.search(index=inde
阅读全文
posted @ 2019-08-08 21:33
python 查询 elasticsearch 常用方法（Query DSL）
摘要：1. 建立连接 from elasticsearch import Elasticsearch es = Elasticsearch(["localhost:9200"]) 2. 查询所有数据 # 方式1： es.search(index="index_name", doc_type="type_n
阅读全文
posted @ 2019-08-08 21:31
es笔记---新建es索引
摘要：es对索引的一堆操作都是用restful api去进行的，参数时一堆json，一年前边查边写搞过一次，这回搞迁移，发现es都到6.0版本了，也变化了很多，写个小笔记记录一下。 创建一个es索引很简单，一个put请求。 PUT /my_index { "settings": { ... any set
阅读全文
posted @ 2019-08-08 20:37
ES（ElasticSearch） 索引创建
摘要：个人分类： ElasticSearchindex 个人分类： ElasticSearchindex 个人分类： ElasticSearchindex 个人分类： ElasticSearchindex 个人分类： ElasticSearchindex 环境：ES 6.2.2 os：Centos 7 k
阅读全文
posted @ 2019-08-08 20:23
Python 操作 ElasticSearch
摘要：官方文档：https://elasticsearch-py.readthedocs.io/en/master/ 1、介绍 python提供了操作ElasticSearch 接口，因此要用python来操作ElasticSearch，首先要安装python的ElasticSearch包，用命令 pip
阅读全文
posted @ 2019-08-08 19:48
redis4支持内存碎片清理功能使用
摘要：最近看到redis4支持内存碎片清理了, 之前一直期待有这么一个功能, 因为之前遇到内存碎片的解决办法就是重启, 现在终于有了优雅的解决方案.\^o^/, 这个功能其实oranagra 在2017年1月1日已经提交pr了, 相关地址: https://github.com/antirez/redis
阅读全文
posted @ 2019-08-08 18:48
Linux下安装Elasticsearch6.5
摘要：1、安装JDK8(Elastic 需要 Java 8 环境) 1）下载jdk8文件：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html\ 2）解压文件：tar -zxvf jdk-8u
阅读全文
posted @ 2019-08-08 18:30
Linux iostat命令详解
摘要：Linux系统出现了性能问题，一般我们可以通过top、iostat、free、vmstat等命令来查看初步定位问题。在一个以前看到系统监控工具，总在想那些监控工具的代理，如何收集系统性能信息，io性能，cpu使用，带宽使用等信息，偶然发现，不同系统均提供有性能分析工具的，代理可通过这些命令获取系统性
阅读全文
posted @ 2019-08-06 20:11
flask-profiler, 监视端点调用并尝试进行某些分析的Flask 事件探查器
摘要：源代码名称:flask-profiler 源代码网址:http://www.github.com/muatik/flask-profiler flask-profiler源代码文档 flask-profiler源代码下载 Git URL: 复制代码 git://www.github.com/muat
阅读全文
posted @ 2019-08-05 14:57
ELK是什么
摘要：为什么做日志系统 通常当系统发生故障时，工程师需要登录到各个服务器上，使用 grep / sed / awk 等 Linux 脚本工具去日志里查找故障原因。在没有日志系统的情况下，首先需要定位处理请求的服务器，如果这台服务器部署了多个实例，则需要去每个应用实例的日志目录下去找日志文件。每个应用实例还
阅读全文
posted @ 2019-08-03 22:52
linux下elasticsearch 安装、配置及示例
摘要：<!-- flowchart 箭头图标 勿删 --> 简介 开始学es，我习惯边学边记，总结出现的问题和解决方法。本文是在两台linux虚拟机下，安装了三个节点。本次搭建es同时实践了两种模式——单机模式和分布式模式。条件允许的话，可以在多台机器上配置es节点，如果你机器性能有限，那么可以在一台虚拟
阅读全文
posted @ 2019-08-03 20:50
合理设置redis主从buffer 不错
摘要：背景 某次抢购时，一个redis集群的某个分片，从实例响应时间陡增到几十秒，报警后运维将其中一个本应该下线的slave下掉，问题减轻但没有解决，又把另一个正常的slave下线掉，问题消失。 master日志 09:59:11.842 # Client id=19768058 addr=xx.xxx.
阅读全文
posted @ 2019-08-03 16:05
Elasticsearch入门（一）
摘要：简介 ElasticSearch是一个开源的分布式搜索引擎，具备高可靠性，支持非常多的企业级搜索用例。像Solr4一样，是基于Lucene构建的。支持时间时间索引和全文检索。官网：http://www.elasticsearch.org 它对外提供一系列基于java和http的api，用于索引、检索
阅读全文
posted @ 2019-08-02 18:08
Elasticsearch入门（二）
摘要：基础概念 Elasticsearch有几个核心概念，从一开始理解这些概念会对整个学习过程有莫大的帮助。 接近实时（NRT） Elasticsearch是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是1秒）。 集群（cluster） 一个集群就是由一个
阅读全文
posted @ 2019-08-02 18:06
ES快速入门
摘要：一、概念 1.ES基础概念 ES是ElasticSearch的缩写。ES是基于Apache Lucene的开源搜索引擎，是一款实时分布式搜索和分析引擎，提供RestfulAPI可以进行可视化的交互。具有如下特点： 1) 提供分布式的实时文件存储，每个字段都被索引并可被搜索； 2)实时分析的分布式搜索
阅读全文
posted @ 2019-08-02 18:05
Flink消费Kafka数据并把实时计算的结果导入到Redis
摘要：1. 完成的场景 在很多大数据场景下，要求数据形成数据流的形式进行计算和存储。上篇博客介绍了Flink消费Kafka数据实现Wordcount计算，这篇博客需要完成的是将实时计算的结果写到redis。当kafka从其他端获取数据立刻到Flink计算，Flink计算完后结果写到Redis，整个过程就像
阅读全文
posted @ 2019-08-01 20:34
Filebeat+Kafka+Logstash+ElasticSearch+Kibana搭建完整版
摘要：1. 了解各个组件的作用 Filebeat是一个日志文件托运工具，在你的服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读）Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据Logstash是
阅读全文
posted @ 2019-08-01 20:33
Flink+kafka实现Wordcount实时计算
摘要：1. Flink Flink介绍： Flink 是一个针对流数据和批数据的分布式处理引擎。它主要是由 Java 代码实现。目前主要还是依靠开源社区的贡献而发展。对 Flink 而言，其所要处理的主要场景就是流数据，批数据只是流数据的一个极限特例而已。再换句话说，Flink 会把所有任务当成流来处理，
阅读全文
posted @ 2019-08-01 20:33
API设计风格（RRC、REST、GraphQL、服务端驱动）
摘要：阅读目录 一、创建资源使用PUT还是POST 二、异常处理的HTTP响应状态码 三、返回数据是否需要包装 四、URI的设计层级是否超过两层 五、参考资料 阅读目录 一、创建资源使用PUT还是POST 二、异常处理的HTTP响应状态码 三、返回数据是否需要包装 四、URI的设计层级是否超过两层 五、参
阅读全文
posted @ 2019-08-01 19:44
微服务架构
摘要：阅读目录 一、Dubbo 二、Tars 三、gRPC 四、Motan 五、Spring Cloud 阅读目录 一、Dubbo 二、Tars 三、gRPC 四、Motan 五、Spring Cloud 阅读目录 微服务架构到底应该如何选择？ 阅读目录 微服务架构到底应该如何选择？ 回到目录 微服务架构
阅读全文
posted @ 2019-08-01 19:42
python自定义logger handler
摘要：_filefmt=os.path.join("logs","%Y-%m-%d.log") class MyLoggerHandler(logging.Handler): def __init__(self,filefmt=None): self.filefmt=filefmt if filefmt
阅读全文
posted @ 2019-08-01 17:54
浙公网安备 33010602011771号