摘要: 一、遇到的问题 与大多数分布式系统一样,Elasticsearch按照一定的Hash规则把用户数据切分成多个分片,然后打散到不同机器进行存储,从而实现大规模数据的分布式存储。 cluster.png 然而在一些复杂的应用场景中使用Elasticsearch,经常会遇到分片过多引发的一系列问题。起初我 阅读全文
posted @ 2019-04-26 17:33 星朝 阅读(455) 评论(0) 推荐(0)
摘要: 原文地址:https://qbox.io/blog/optimizing elasticsearch how many shards per index大多数ElasticSearch用户在创建索引时通用会问的一个重要问题是:我需要创建多少个分片?在本文中, 我将介绍在分片分配时的一些权衡以及不同设 阅读全文
posted @ 2019-04-26 17:09 星朝 阅读(391) 评论(0) 推荐(0)
摘要: 从我们在elasticsearch复合框输入搜索语句到结果显示,展现给我们的是一个按score得分从高到底排好序的结果集。下面就来学习下elasticsearch怎样计算得分。 Lucene(或 Elasticsearch)使用 布尔模型(Boolean model) 查找匹配文档, 并用一个名为 阅读全文
posted @ 2019-04-26 17:08 星朝 阅读(3678) 评论(0) 推荐(0)
摘要: 序言 后面有大量类似于mysql的sum, group by查询 elk === elk总体架构 https://www.elastic.co/cn/products Beat 基于go语言写的轻量型数据采集器,读取数据,迅速发送到Logstash进行解析,亦或直接发送到Elasticsearch进 阅读全文
posted @ 2019-04-26 16:41 星朝 阅读(587) 评论(0) 推荐(0)
摘要: MySQL 默认有个root用户,但是这个用户权限太大,一般只在管理数据库时候才用。如果在项目中要连接 MySQL 数据库,则建议新建一个权限较小的用户来连接。 在 MySQL 命令行模式下输入如下命令可以为 MySQL 创建一个新用户: ?1CREATE USER username IDENTIF 阅读全文
posted @ 2019-04-26 16:28 星朝 阅读(638) 评论(0) 推荐(0)
摘要: 本文主要向大家介绍了MySQL数据库权限体系,通过具体的内容向大家展现,希望对大家学习MySQL数据库有所帮助。一、权限体系简介:MySQL的权限体系在实现上比较简单,相关权限信息主要存储在mysql.User、mysql.db、mysql.Host、mysql_table_priv和mysql.c 阅读全文
posted @ 2019-04-26 16:25 星朝 阅读(1398) 评论(0) 推荐(0)
摘要: <! flowchart 箭头图标 勿删 本文主要内容: 1、路由一个文档到一个分片 2、新建、索引和删除请求 3、取回单个文档 4、局部单个文档 5、多文档模式 6、理解一下ES深度分页(from size)的劣势 路由一个文档到一个分片 当索引一个文档的时候,文档会被存储到一个主分片中。 Ela 阅读全文
posted @ 2019-04-26 16:06 星朝 阅读(1987) 评论(0) 推荐(0)
摘要: Exception 【一个故障引发的话题】 最近,项目中的短信模块收到一个故障日志,要求我协助调查一下: 2010 05 07 09:22:07,221 [?:?] INFO  httpclient.HttpMethodDirector Retrying request :org.apac 阅读全文
posted @ 2019-04-26 14:38 星朝 阅读(3902) 评论(0) 推荐(0)
摘要: Jmeter测试报告生成 本文使用的 Jmeter 版本为 apache jmeter 3.2 1. 命令行模式将 jtl 文件转成测试图表 注意: 这种方式只适用于jmeter3.0以后的版本 1.1 在测试的过程中将 jtl 转换成测试报告 可以执行如下命令: jmeter n t test_r 阅读全文
posted @ 2019-04-26 14:25 星朝 阅读(813) 评论(0) 推荐(0)
摘要: 官网地址查阅:http://jmeter.apache.org/usermanual/generating dashboard.html 最近在压测过程中使用 Generating Report Dashboard生成测试报告,快捷又方便。 第一章节:我来演示如何使用。 1、首先根据官网的 阅读全文
posted @ 2019-04-26 14:24 星朝 阅读(1361) 评论(0) 推荐(0)
摘要: <! flowchart 箭头图标 勿删 MySQL备份工具之mysqldump使用说明 一、备份分类 根据能否停用数据库,将备份类型分为: 1. 冷备:数据库服务停止后备份 2. 温备:只能对数据库进行读操作,不能进行写操作 3. 热备:在线备份,可以对数据库进行读写操作 根据是直接备份数据库文件 阅读全文
posted @ 2019-04-26 14:14 星朝 阅读(1152) 评论(0) 推荐(0)
摘要: 1.navicat 方式一:选中表,右键转储;(含有表结构和数据)   方式二:选择右上角工具,点击数据传输,在这个页面右侧选择数据库,左侧选择文件。  点击下一步,选择导出的表名和各种函数什么的,然后点击开始,ok。(含有表结构和数据)   方式三:写下导出表的sql 阅读全文
posted @ 2019-04-26 14:04 星朝 阅读(4579) 评论(0) 推荐(0)
摘要: 下面收集了两种解决办法,一种是把数据库分文件导出然后再导入,另一种是修改my.ini配置文件。 导入1G的数据,但是在怎么都导入不了,用命令行就可以轻松搞定了。用mysql source命令可以导入比较大的文件。  代码如下 复制代码 mysql>use dbtest; mysql& 阅读全文
posted @ 2019-04-26 14:01 星朝 阅读(6155) 评论(0) 推荐(0)
摘要: XX市邮政微商城的项目数据库,300多M,约220万条数据,source命令导入花了20个小时左右,太不可思议。 速度慢原因:220多万条数据,就 insert into 了220多万次,下图: 这是用 navicat 导出来的数据结构。 后面用 mysqldump 工具导出,唯一区别是insert 阅读全文
posted @ 2019-04-26 13:54 星朝 阅读(2665) 评论(0) 推荐(0)
摘要: 相对于Loadrunner,Jmeter其实也是可以有测试报告产出的,虽然一般都不用(没有Loadrunner的报告那么强大是一方面),还是顺手写一下吧,其实方法在用命令运行jmeter的时候就已经说明了: 1、准备脚本文件   2、cmd中运行一下命令 ——jmeter  n& 阅读全文
posted @ 2019-04-26 13:48 星朝 阅读(354) 评论(0) 推荐(0)
摘要: 现场在实施过程中,基于安全考虑(用户名和密码之前暴露给其他公司了),需要对用户密码进行修改。 修改过程很简单(alter user [username] identified by [password];),但是在修改之后出现该用户被锁定的问题。 原因:数据库参数文件中设置了输错密码的次数,登录时当 阅读全文
posted @ 2019-04-26 12:52 星朝 阅读(7743) 评论(0) 推荐(1)
摘要: 最近做百万次通讯测试,在做并发测试时发现eclipse的控制台输出超过10万条信息时开始有报错内容Address already in use : connect  这种错误多了后紧接着eclipse不断弹出有          阅读全文
posted @ 2019-04-26 11:53 星朝 阅读(6332) 评论(0) 推荐(0)
摘要: Ramp up Period(in seconds) 【1】决定多长时间启动所有线程。如果使用10个线程,ramp up period是100秒,那么JMeter用100秒使所有10个线程启动并运行。每个线程会在上一个线程启动后10秒(100/10)启动。Ramp up需要要充足长以避免在启动测试时 阅读全文
posted @ 2019-04-26 11:49 星朝 阅读(918) 评论(0) 推荐(0)
摘要: 最近在实现接口压力测试的时候遇到这样的一个问题 当线程数持续上升到一个点的时候,运行脚本的时候有很多报错,如图: java.net.BindException: Address already in use: connect 开始以为是单机运行脚本运行不过来,所以另加了一台负载机同时运行脚本 分布式 阅读全文
posted @ 2019-04-26 11:36 星朝 阅读(630) 评论(0) 推荐(0)
摘要: 最近在学习spring cloud,由于学习资料具有普遍性,部分应个人原因导致的小细节问题,往往很难找到解决的办法。这特别记录一下自己遇到的一些问题。 一、eureka server加入security做基础访问控制报错Batch update failure with HTTP status co 阅读全文
posted @ 2019-04-26 11:32 星朝 阅读(910) 评论(0) 推荐(0)
摘要: 配置: 1、新建一个线程组: 然后设置线程数、运行时间、重复次数。 2、新建Http请求: 设置服务器域名,路径,方法,编码格式,数据内容。 可以在函数助手中,编辑所需要的变量,比如本例中的随机生成电话号码。 3、添加HTTP信息头管理器 然后信息头添加一条名称为 Content Type,值为 a 阅读全文
posted @ 2019-04-26 11:26 星朝 阅读(2657) 评论(0) 推荐(1)
摘要:  ◆版权声明:本文出自胖喵~的博客,转载必须注明出处。  转载请注明出处:http://www.cnblogs.com/by dream/p/5611555.html      我知道我迟早是要踏上了后台测试之路的,只是没想到来的这么突然。新接手了一 阅读全文
posted @ 2019-04-26 11:15 星朝 阅读(4378) 评论(0) 推荐(0)
摘要: 问题: 最近在做性能测试,造数据,发现insert好慢,只有几十条每秒,很奇怪,最后再网上找到了原因。 网文如下: MY SQL insert 速度过慢 最近在用MySQL做存储,测试中发现插入数据太慢了,插入速度只有20 30 条/秒,后来查资料后,将MySQL的1个参数:innodb_flush 阅读全文
posted @ 2019-04-26 10:43 星朝 阅读(5410) 评论(0) 推荐(0)
摘要: innodb_flush_log_at_trx_commit=0,在提交事务时,InnoDB不会立即触发将缓存日志写到磁盘文件的操作,而是每秒触发一次缓存日志回写磁盘操作,并调用操作系统fsync刷新IO缓存。 innodb_flush_log_at_trx_commit=1,在每个事务提交时,In 阅读全文
posted @ 2019-04-26 10:42 星朝 阅读(13309) 评论(0) 推荐(3)
摘要: 一、参数解释 0:log buffer将每秒一次地写入log file中,并且log file的flush(刷到磁盘)操作同时进行。该模式下在事务提交的时候,不会主动触发写入磁盘的操作。 1:每次事务提交时MySQL都会把log buffer的数据写入log file,并且flush(刷到磁盘)中去 阅读全文
posted @ 2019-04-26 10:41 星朝 阅读(408) 评论(0) 推荐(0)
摘要: Jquery中文网 >  数据库  >  mysql  >  正文 MySQL mysqldump与source导入慢的解决方法 MySQL mysqldump与source导入慢的解决方法 发布时间:2017 02 26 阅读全文
posted @ 2019-04-26 10:37 星朝 阅读(3229) 评论(0) 推荐(0)
摘要: 1.导出整个数据库mysqldump u 用户名 p 数据库名 > 导出的文件名mysqldump u dbuser p dbname > dbname.sql2.导出一个表mysqldump u 用户名 p 数据库名 表名> 导出的文件名mysqldump u dbuser p 阅读全文
posted @ 2019-04-26 10:33 星朝 阅读(8023) 评论(0) 推荐(0)
摘要: 数据库操作中如何批量执行多个sql文件?1.应用场景:在历史数据导入过程中,会发现有很多个表形成的.sql文件,要是一个一个文件去手动执行,实在是费时间,所以采取以下方法。2.将文件放在一定位置,执行代码获取sql文件名,代码下载地址:https://download.csdn.net/downlo 阅读全文
posted @ 2019-04-26 09:44 星朝 阅读(4660) 评论(0) 推荐(0)
摘要: <! flowchart 箭头图标 勿删 方法1 若有SQL脚本a.sql, b.sql, 其目录在f盘根目录下, 则可再写一个SQL脚本c.sql(假设其目录也在f盘根目录下, 也可以在其他路径下)如下: source f:/a.sql; source f:/b.sql; 然后执行source f 阅读全文
posted @ 2019-04-26 09:37 星朝 阅读(8229) 评论(0) 推荐(0)