02 2017 档案
摘要：关于秒杀 随着双11活动的不断发展，小米饥饿营销模式的兴起，“秒杀”已经成为一个热点词汇。在一些活动中，热销商品会以惊人的速度售罄，比如最近本人在抢购美图M4手机，12点开卖，1分钟之内就被售罄。 秒杀的实现 对于关注数据库的本人来说，更关心的是如何高效的实现秒杀应用。之前淘宝在2013年的数据库大
阅读全文
摘要：背景说明 近期北京理财频道反馈用来存放股市实时数据的MongoDB数据库写响应请求很慢，难以跟上业务写入速度水平。我们分析了线上现场的情况,发现去年升级到SSD磁盘后，数据持久化的磁盘IO开销已经不是瓶颈.通过日志分析，线上单次写入(更新)请求大多在数十毫秒这个级别，数据库端观察几个主要的db在繁忙
阅读全文
摘要：关于数据库连接池DBCP的关注源于刚刚结束的一轮测试，测试内容是衡量某Webserver服务创建用户接口的性能。这是一款典型的tomcat应用，使用的测试工具是Grinder。DBCP作为tomcat服务器常用的数据库连接池，其性能表现直接关乎应用的性能。 1.遇到的问题 当并发量增加到100时，该
阅读全文
摘要：初识中间件之消息队列 1 消息队列概述 消息队列是分布式系统中的重要组件，主要解决应用耦合，异步消息，流量削锋等问题，以实现高性能，高可用，可伸缩和最终一致性架构，是大型分布式系统中不可缺少的中间件。 目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ
阅读全文
摘要：前言： 近阶段都在探索android性能测试方面的东西，其中一个很重要的指标就是内存。对于内存，主要是一些gc是不是及时，或者说一些引用有没有及时释放，有没有导致oom或者内存持续增加导致卡顿，有没有大规模的内存抖动。近期项目由于个别模块大改，所以也就想把性能测试的东西在实际项目中实践进去，本文就是
阅读全文
摘要：之前产品线上发生过若干次因为tomcat连接池被耗尽而导致宕机的故障，而具体根源原因则各不尽相同。有因为调用和被调用的服务申请相同的分布式锁而导致死锁的，有因为发送内部或外部的JMS消息发生堵塞的，有因为某个存在性能问题的接口被较多调用导致的，还有某些超高频接口没有做好专门优化而导致的。。。 所有上
阅读全文
摘要：前言： RDS系统致力于MySQL数据的高可用，高可靠，高性能以及在线扩展功能，实现这些特性的主要逻辑功能都运行在管理服务器上，一旦管理服务器宕机，数据库的在线扩展功能／备份功能／故障恢复功能等都无从谈起。然而，之前RDS系统管理服务器却是单点服务，为了保证整个系统的稳定性，管理服务器需要实现高可用
阅读全文
摘要：概述 之所以想写这篇文章，其实是因为最近有不少系统出现了栈溢出导致进程crash的问题，并且很隐蔽，根本原因还得借助coredump才能分析出来，于是想从JVM实现的角度来全面分析下栈溢出的这类问题，或许你碰到过如下的场景: 日志里出现了StackOverflowError的异常 进程突然消失了，但
阅读全文
摘要：为什么要做引流测试 目前为止大部分的测试是在测试环境下，通过模拟用户的行为来对系统进行验证，包括功能以及性能。在这个过程中，你可能会遇到以下问题: 用户访问行为比较复杂，模拟很难和用户行为一致，模拟不够真实; 线下模拟场景有限，会出现业务覆盖不全的情况。引流测试就是为了解决以上问题，通过把线上的真实
阅读全文
摘要：概述 在日常测试中，我们会去重点观察java的内存使用情况，比如：进程会抛出OOM异常，不再接收新的请求；响应时间在固定时间段内变长，超时或者不响应，CPU使用率时常像过山车一样等。有时候JVM还会发生欺骗你的场景， JVM不停的在垃圾回收，可是每次回收完后堆却还是满的，很明显程序内存被使用完了，已
阅读全文
摘要：上一篇文章《公司HBase基准性能测试之准备篇》中详细介绍了本次性能测试的基本准备情况，包括测试集群架构、单台机器软硬件配置、测试工具以及测试方法等，在此基础上本篇文章主要介绍HBase在各种测试场景下的性能指标（主要包括单次请求平均延迟和系统吞吐量）以及对应的资源利用情况，并对各种测试结果进行分析
阅读全文
摘要：本次测试主要评估线上HBase的整体性能，量化当前HBase的性能指标，对各种场景下HBase性能表现进行评估，为业务应用提供参考。 测试环境 测试环境包括测试过程中HBase集群的拓扑结构、以及需要用到的硬件和软件资源，硬件资源包括：测试机器配置、网络状态等等，软件资源包括操作系统、HBase相关
阅读全文
摘要：大数据时代，HBase作为一款扩展性极佳的分布式存储系统，越来越多地受到各种业务的青睐，以求在大数据存储的前提下实现高效的随机读写操作。对于业务方来讲，一方面关注HBase本身服务的读写性能，另一方面也需要更多地关注HBase客户端参数的具体意义。这篇文章就从一个具体的HBase客户端异常入手，定位
阅读全文
摘要：HTTP协议是如今互联网与服务端技术的基石，HTTP协议的演进也从侧面反应了互联网技术的快速发展。这两天在准备一次关于HTTP1.1协议特性的技术分享过程中，顺便了解了下各版本HTTP协议的特点，在这里做个简单的总结。 HTTP协议到现在为止总共经历了3个版本的演化，第一个HTTP协议诞生于1989
阅读全文
摘要：TPS下降问题分析 某产品为方便用户使用开发SDK接口，对HTTP API进行了包装。测试过程中，SDK接口与直接使用HTTP API访问的性能对比，发现在同样的压力测试场景下SDK的TPS下降很多。 使用工具Nprofile定位发现代码中调用连接池管理部分代码消耗时间比HTTP API长，进一步查
阅读全文
摘要：纯通过Jmeter的界面进行Web的接口测试，效率低下。为此将Jmeter的接口测试与Jenkins联合，实现持续集成。配置完成后，只需修改运行的Jmeter脚本即可，运行结束后测试结果发送到指定邮箱，方便快捷，提高测试回归的效率。 A、Maven项目的建立与配置 1、新建Maven项目 2、添加
阅读全文
摘要：一、背景介绍 最近在做日志服务的稳定性测试，大约跑一个小时左右一直报OOM，使用的测试java代码结构跟NDIR稳定性测试使用的基本上是一致的，但是NDIR稳定性测试做过很多次了，没有出现过类似问题，由于急着做稳定性测试，这个事情让我很头疼，于是花了一些时间去分析了一下内存情况。 二、问题分析 1.
阅读全文
摘要：笑话（1） 项目经理是一个认为九个女人可以在一个月之内生出一个孩子的人。 开发人员是一个认为需要18个月才能生出一个孩子的人。 现场协调员是一个认为一个女人可以在一个月内生出一个孩子的人 客户是一个不知道他为什么要一个孩子的人。 市场经理是一个认为他可以在即使没有男人和 c女人的情况下也可以生出一个
阅读全文
摘要：android常见内存泄漏主要有以下几类： 一、Handler 引起的内存泄漏。 在Android开发中，我们经常会使用Handler来控制主线程UI程序的界面变化，使用非常简单方便，但是稍不注意，很容易引发内存泄漏。 我们知道，Handler、Message、MessageQueue是相互关联在一
阅读全文
摘要：之前有人说，不要羡慕大公司干活的人，你在大公司学不到东西，尽量去小公司，一切自己从头开始，你可以自己学到很多东西。个人十分的不赞成这句话，大公司有大公司病，小公司有小公司的坑。原因如下： 1.俗话说，人活一张脸，树活一张皮。人在职场，多少总得披上那么一层皮，多少人一听我是BAT出来而心生羡慕。对，没
阅读全文
摘要：对文件某列求和： -F，用，号分隔，求第3行的和 awk -F, '{sum += $3};END {print sum}' test
阅读全文
摘要：脚本功能： 1. 将指定的报告文件按照指定的字段、切库切表策略切分 2. 将切分后的文件并发导入到对应的Mongodb中 3. 生成日志文件和done标识文件 使用手册： -h 打印帮助信息,并退出"; -f 需要切分的数据文件"; -g 清理昨日或历史全部数据： 1 昨日数据 2 历史全部数据";
阅读全文
摘要：一些概念 一个mongod服务可以有建立多个数据库，每个数据库可以有多张表，这里的表名叫collection，每个collection可以存放多个文档（document），每个文档都以BSON（binary json）的形式存放于硬盘中，因此可以存储比较复杂的数据类型。它是以单文档为单位存储的，你可
阅读全文
摘要：mongodb数据如下： db.cpc_0103.find() { "a" : 8, "b" : "108177_200701010000", "c" : 108177, "d" : 180, "e" : 1404917, "f" : "U盘", "g" : 184543, "h" : "U盘网上批
阅读全文
摘要：到公司工作快三年了，比我后来的同事陆续得到了升职的机会，我却原地不动，心里颇不是滋味。终于有一天，冒着被解聘的危险，我找到老板理论。 “老板，我有过迟到、早退或乱章违纪的现象吗？”我问。 老板干脆地回答：“没有。” “那是公司对我有偏见吗？”老板先是一怔，继而说：“当然没有。”? “为什么比我资历浅
阅读全文
摘要：一、服务器角色 服务器角色 172.18.35.29 10.160.22.14 (MySQL Master) 10.160.22.47 (MySQL Slave) 监控点 YES NO NO 被监控点 NO YES YES 二、慢查询配置 1、在被监控服务器安装如下组件 http://cpan.me
阅读全文
摘要：一、环境说明 1、服务器角色 服务器角色 172.18.35.29 10.160.22.14 (MySQL Master) 10.160.22.47 (MySQL Slave) 监控点 YES NO NO 被监控点 NO YES YES 2、系统环境 CentOS 6.2 x86_64 3、环境要求
阅读全文
摘要：apache+tomcat上篇文章，实现了负载均衡，现在我们实现session共享 一、tomcat集群配置，session 同步配置： tomcat1配置 A、修改Engine节点信息： <Engine name="Catalina" defaultHost="localhost" jvmRout
阅读全文
摘要：1.首先安装apache，编译完成后，通过IP:端口就行访问，如果返回“it workers”证明Apache启动成功（注意apache的工程路径要正确） 2.下载JK，下载地址为http://mirror.bjtu.edu.cn/apache/tomcat/tomcat-connectors/jk
阅读全文
摘要：企业服务器对于企业业务持续性意义重大，系统管理员需要密切关注企业服务器以确保一切正常运行。当发现问题的时候，他们需要知道问题开始出现时的状况，因此调查可以重点放在问题出现的时候，这就意味着定期记录信息以及快速分析信息数据是很必要的，本文将介绍几个web界面的服务器检测工具。 每个工具都略有不同的侧重
阅读全文
摘要：版权声明：原创作品，如需转载，请与作者联系。否则将追究法律责任。 Web安全问题，很多时候会被人所忽略，安全漏洞造成了很多不必要的维护和开发任务，产生的问题有时候更是致命的。 实际上，只要我们养成一些习惯，知道一些安全问题的基本原理，可以很大程度避免问题的出现，这也是一个优秀Web程序员的必备素质。
阅读全文
摘要：apache比较常用的工作模式有worker以及prefork两种方式。 如果在编译时候不指定，系统默认的是prefork模式；如果需要换成worker模式，需要在编译的时候带上编译参数：--with-mpm=worker 查看apache的用的什么方式：apachectl -l 有同学跟我说，编译
阅读全文
摘要：【使用最佳选择器】 使用JQuery时，你可以使用多种选择器，选择同一个元素，各种方法之间的性能是不一样的，有时候差异会特别大。 通常比较常用的选择器有以下几个： ID选择器 $("#id") 标签选择器 $("td") 类选择器 $(".target") 属性选择器 $("td[target='t
阅读全文
摘要：前端日志分析介绍 前端日志分析是通过搜集访客访问网站的行为数据，然后在这些用户日志数据的基础上通过定量和定性分析，来改善用户的浏览体验及网站性能，最终提升商业回报的过程，通常，前端日志分析遵循以下步骤： 前端日志分析对性能测试的意义： 能确定性能指标，包括系统的并发量、响应时间、要测试的功能等 通过
阅读全文
摘要：第一篇 著名函数之单值函数 注：N表示数字型，C表示字符型，D表示日期型，[]表示内中参数可被忽略，fmt表示格式 数值类型函数 数值型函数输入数字型参数并返回数值型的值。多数该类函数的返回值支持38位小数点，诸如：COS, COSH, EXP, LN, LOG, SIN, SINH, SQRT,
阅读全文
摘要：原文出自阿里巴巴技术专家公直的个人博客,文章写得非常诚恳,对于招聘者和测试人来讲都能从中获得一些很受用的东西,各位跟随笔者一起感受一下吧。 最近一段时间都在做集中招聘，参加了许多面试，累个半死。加上之前在团队中最近几年也做了不少面试，关于测试工程师招聘的话题，刚才没事特意google了一下，除了一些
阅读全文
摘要：1、redis-benchmarkredis基准信息，redis服务器性能检测 redis-benchmark -h localhost -p 6379 -c 100 -n 100000100个并发连接，100000个请求，检测host为localhost 端口为6379的redis服务器性能 2、
阅读全文
摘要：explain显示了mysql如何使用索引来处理select语句以及连接表。可以帮助选择更好的索引和写出更优化的查询语句。 使用方法，在select语句前加上explain就可以了： 如： explain select surname,first_name form a,b where a.id=b
阅读全文
摘要：MySQL越来越被更多企业接受，随着企业发展，MySQL存储数据日益膨胀，MySQL的性能分析、监控预警、容量扩展议题越来越多。“工欲善其事，必先利其器”，那么我们如何在进行MySQL性能分析、监控预警、容量扩展问题上得到更好的解决方案，就要利用各种工具来对MySQL各种指标进行分析。本文是读书笔记
阅读全文
摘要：性能分析工具gprof介绍Ver：1.0目录1. GPROF介绍 42. 使用步骤 43. 使用举例 43.1 测试环境 43.2 测试代码 43.3 数据分析 53.3.1 flat profile模式 63.3.2 call graph模式 74. 链接库中的函数 75. 使用局限 86. 分析
阅读全文
摘要：如果有 SUPER 权限，则可以看到全部的线程，否则，只能看到自己发起的线程（这是指，当前对应的 MySQL 帐户运行的线程）。 mysql> show processlist; +—–+————-+——————–+ | Id | User | Host | db | Command | Time|
阅读全文
摘要：1、实例化一个浏览器WebDriver driver = new FirefoxDriver();2、driver.get() get传参数到浏览器中3、常用定位方法webelement XX=driver.findElement(by.XX)3.1 by.id("value");3.2 by.am
阅读全文
摘要：nginx可以根据客户端IP进行负载均衡，在upstream里设置ip_hash，就可以针对同一个C类地址段中的客户端选择同一个后端服务器，除非那个后端服务器宕了才会换一个。 nginx的upstream目前支持的5种方式的分配 1、轮询（默认）每个请求按时间顺序逐一分配到不同的后端服务器，如果后端
阅读全文
摘要：方法一： 既然是脚本串行执行,那在场景设计中必然是要用多个脚本,要注意的是需要将Scenario Schedule中的Schedule by设置为Group的模式.然后按实际需要依次设置每个脚本的Schedule.要事先计算好每个脚本的整个执行时间,方便定义后续脚本的开始时间(设置Start Gro
阅读全文
摘要：设置mysql远程连接root权限 在远程连接mysql的时候应该都碰到过，root用户无法远程连接mysql，只可以本地连，对外拒绝连接。 需要建立一个允许远程登录的数据库帐户，这样才可以进行在远程操作数据库。 方法如下： 默认情况下MYSQL数据库的系统数据库mysql系统表user内用户权限只
阅读全文
摘要：java memory = direct memory（直接内存） + jvm memory(MaxPermSize +Xmx) 1)直接内存跟堆 直接内存则是一块由程序本身管理的一块内存空间，它的效率要比标准内存池要高，主要用于存放网络通信时数据缓冲和磁盘数据交换时的数据缓冲。 DirectMem
阅读全文
摘要：根据oracle网站上的文档，本地使用jconsole没有问题。但当我从windows连接到linux时（centos5.4)时，老是连接不上）。 原因是Linux上JVM给jconsole的RMI配置文件不对， jvm使用了hostname -i的IP地址，我的/etc/hosts上127.0.0
阅读全文
浙公网安备 33010602011771号