关注清哥聊技术公众号,了解更多技术文章,作者的原创文章,转载须注明出处。原创文章归作者所有,欢迎转载,但是保留版权。对于转载了博主的原创文章,不标注出处的,作者将依法追究版权,请尊重作者的成果。
摘要: 报错日志: 2018-12-17 10:01:19,688 ERROR [io.undertow.request] (default task-3) UT005023: Exception handling request to /xxx/app/bannerMaterialManager/uplo 阅读全文
posted @ 2019-01-02 09:13 张永清 阅读(2765) 评论(0) 推荐(0)
摘要: 转载自http://yangyangmyself.iteye.com/blog/2321759 1、Druid 查询概述 上一节完成数据导入后,接下来讲讲Druid如何查询及统计分析导入的数据。 Druid的查询是使用REST风格的HTTP请求查询服务节点(Broker、Historical、Rea 阅读全文
posted @ 2018-11-07 15:53 张永清 阅读(1404) 评论(0) 推荐(0)
摘要: 一、SynchronousQueue简介 Java 6的并发编程包中的SynchronousQueue是一个没有数据缓冲的BlockingQueue,生产者线程对其的插入操作put必须等待消费者的移除操作take,反过来也一样。 不像ArrayBlockingQueue或LinkedListBloc 阅读全文
posted @ 2018-10-03 23:08 张永清 阅读(524) 评论(0) 推荐(0)
摘要: 性能测试中除了需要做好性能测试外,我们还需要做性能测试后的,性能调优,需要发现性能问题,也需要做性能调优,在做性能调优中,jvm的性能调优是经常遇到的一个。 随着jdk版本的迅速变化,jdk里面的GC算法也是发生了很多变化,新版的jdk中,G1的已经成了jdk的默认算法了,性能测试中,我们经常关注的 阅读全文
posted @ 2018-10-02 23:29 张永清 阅读(1307) 评论(0) 推荐(0)
摘要: This sample file is meant as a guide only. Do not copy/paste the entire content into your application; rather pick only the properties that you need. 阅读全文
posted @ 2018-09-07 21:03 张永清 阅读(818) 评论(0) 推荐(0)
摘要: 自动转开发后,就很少关注性能测试方面的东西,最近在帮朋友做一个性能压测,由于朋友那边的公司比较小,环境比较简单,而且是对http服务进行的压测,所以最终 选用了jmeter来实现这个压测。 如下就是我们的场景,多个并发用户,每个用户需要先登录,而且只需要登录一次,每个并发登录成功后,会产生一个acc 阅读全文
posted @ 2018-07-22 16:11 张永清 阅读(6553) 评论(0) 推荐(1)
摘要: Selenium出来已经有很多年了,从最初的Selenium1到后来的Selenium2,也变得越来越成熟,而且也已经被很多公司广泛使用。Selenium发展的过程中,分了很多模块,这里我们主要介绍Webdriver,Webdriver已经被很多浏览器所兼容。WebDriver在自动化脚本和浏览器之 阅读全文
posted @ 2018-07-22 15:05 张永清 阅读(6702) 评论(0) 推荐(1)
摘要: 在很多高并发请求的情况下,我们经常需要对系统进行限流,而且需要对应用集群进行全局的限流,那么我们如何类实现呢。 我们可以利用redis的缓存来进行实现,并且结合mysql数据库一起,先来看一个流程图。 这个就是一个典型的对http请求进行全局限流的流程图。 入口通过请求拦截器进行拦截(filter) 阅读全文
posted @ 2018-06-16 14:24 张永清 阅读(3777) 评论(0) 推荐(1)
摘要: 阅读全文
posted @ 2018-05-01 16:28 张永清 阅读(4000) 评论(0) 推荐(0)
摘要: etcd 和zookeeper 很像,都可以用来做配置管理。并且etcd可以在目前流行的Kubernetes中使用。 但是etcd 提供了v2版本合v3的版本的两种api。我们现在分别来介绍一下这两个版本api的使用。 一、Etcd V2版本API 1、java工程中使用maven引入 etcd v 阅读全文
posted @ 2018-04-28 14:45 张永清 阅读(11622) 评论(0) 推荐(1)
摘要: 前言: 在新增的Concurrent包中,BlockingQueue很好的解决了多线程中,如何高效安全“传输”数据的问题。通过这些高效并且线程安全的队列类,为我们快速搭建高质量的多线程程序带来极大的便利。本文详细介绍了BlockingQueue家庭中的所有成员,包括他们各自的功能以及常见使用场景。 阅读全文
posted @ 2018-04-18 15:06 张永清 阅读(294) 评论(0) 推荐(0)
摘要: 文章来源:https://zhuanlan.zhihu.com/p/25539690 Java的性能优化,整理出一篇文章,供以后温故知新。 JVM GC(垃圾回收机制) 在学习Java GC 之前,我们需要记住一个单词:stop-the-world 。它会在任何一种GC算法中发生。stop-the- 阅读全文
posted @ 2018-03-16 17:17 张永清 阅读(4680) 评论(0) 推荐(0)
摘要: 阅读全文
posted @ 2018-03-10 22:41 张永清 阅读(11682) 评论(2) 推荐(0)
摘要: top命令是Linux下常用的性能分析工具,能够实时显示系统中各个进程的资源占用状况,常用于服务端性能分析。 top命令说明 统计信息:前五行是系统整体的统计信息; 进程信息:统计信息下方类似表格区域显示的是各个进程的详细信息,默认5秒刷新一次。 第1行:Top 任务队列信息(系统运行状态及平均负载 阅读全文
posted @ 2018-02-01 17:03 张永清 阅读(468) 评论(0) 推荐(0)
摘要: 1. 在linux下,查看一个运行中的程序, 占用了多少内存, 一般的命令有 (1). ps aux: 其中 VSZ(或VSS)列 表示,程序占用了多少虚拟内存。 RSS列 表示, 程序占用了多少物理内存。 虚拟内存可以不用考虑,它并不占用实际物理内存。 #ps auxUSER PID %CPU % 阅读全文
posted @ 2017-10-23 19:47 张永清 阅读(13277) 评论(0) 推荐(0)
摘要: 原文出处: 海子 volatile这个关键字可能很多朋友都听说过,或许也都用过。在Java 5之前,它是一个备受争议的关键字,因为在程序中使用它往往会导致出人意料的结果。在Java 5之后,volatile关键字才得以重获生机。 volatile关键字虽然从字面上理解起来比较简单,但是要用好不是一件 阅读全文
posted @ 2017-09-26 15:17 张永清 阅读(237) 评论(0) 推荐(0)
摘要: 【转载自https://yq.aliyun.com/articles/87510?t=t1】 Storm 系统中包含以下几个基本概念: 译者注:由于 Storm 的几个基础概念无论是直译还是意译均不够清晰,而且还会让习惯了 Storm 编程模型的读者感到困惑,因此后文在提及这些概念时大多还会以英文原 阅读全文
posted @ 2017-09-25 14:46 张永清 阅读(279) 评论(0) 推荐(0)
摘要: vmstat是Linux中常用的一个命令,尤其是在进行性能测试时,使用该命令,往往能辅助我们进行性能问题定位。 我们先看一下这个命令执行得到的数据。 [root@xxx ~]# vmstat 1 10procs memory swap-- io --system-- cpu r b swpd fre 阅读全文
posted @ 2017-09-13 19:36 张永清 阅读(1686) 评论(0) 推荐(0)
摘要: 1、 Spark运行架构 1.1 术语定义 lApplication:Spark Application的概念和Hadoop MapReduce中的类似,指的是用户编写的Spark应用程序,包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor代码; lDriver:Spa 阅读全文
posted @ 2017-09-13 19:06 张永清 阅读(462) 评论(0) 推荐(0)
摘要: 待测试的私有方法: 阅读全文
posted @ 2017-09-13 19:04 张永清 阅读(1870) 评论(0) 推荐(0)
摘要: 调试资源分配 Spark 的用户邮件邮件列表中经常会出现 “我有一个500个节点的集群,为什么但是我的应用一次只有两个 task 在执行”,鉴于 Spark 控制资源使用的参数的数量,这些问题不应该出现。但是在本章中,你将学会压榨出你集群的每一分资源。推荐的配置将根据不同的集群管理系统(YARN、M 阅读全文
posted @ 2017-08-31 19:38 张永清 阅读(269) 评论(0) 推荐(0)
摘要: 当你开始编写 Apache Spark 代码或者浏览公开的 API 的时候,你会遇到各种各样术语,比如 transformation,action,RDD 等等。 了解到这些是编写 Spark 代码的基础。 同样,当你任务开始失败或者你需要透过web界面去了解自己的应用为何如此费时的时候,你需要去了 阅读全文
posted @ 2017-08-31 19:35 张永清 阅读(249) 评论(0) 推荐(0)
摘要: 首先是一张Spark的部署图: 节点类型有: 1. master 节点: 常驻master进程,负责管理全部worker节点。2. worker 节点: 常驻worker进程,负责管理executor 并与master节点通信。dirvier:官方解释为: The process running t 阅读全文
posted @ 2017-08-31 19:27 张永清 阅读(277) 评论(0) 推荐(0)
摘要: 在开发完Spark作业之后,就该为作业配置合适的资源了。Spark的资源参数,基本都可以在spark-submit命令中作为参数设置。很多Spark初学者,通常不知道该设置哪些必要的参数,以及如何设置这些参数,最后就只能胡乱设置,甚至压根儿不设置。资源参数设置的不合理,可能会导致没有充分利用集群资源 阅读全文
posted @ 2017-08-30 17:47 张永清 阅读(1215) 评论(0) 推荐(0)
摘要: 我们接着 Neo4J图库的基础介绍(一) 继续介绍Neo4J图库。 JAX-RS是一个用于构建REST资源的Java API,可以使用JAX-RS注解装饰每一个扩展类,从而让服务器处理对应的http请求,附加注解可以用来控制请求和响应的格式,http头和URI模板的格式。 下面看一个服务器扩展实现的 阅读全文
posted @ 2017-08-25 22:02 张永清 阅读(1327) 评论(0) 推荐(0)
摘要: 关于软件性能分析调优,可以加微信号yq597365581或者微信号hqh345932,进入专业的性能分析调优群进行交流沟通。 阅读全文
posted @ 2017-08-23 19:27 张永清 阅读(760) 评论(0) 推荐(0)
摘要: •Neo4j是一个高性能的,NOSQL图形数据库,它完全支持ACID(原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability))数据库事务属性,采用JAVA语音编写,由于其良好的图数据模型设计,Neo4j的速度非常快。对于连接的数据 阅读全文
posted @ 2017-08-21 12:28 张永清 阅读(7831) 评论(0) 推荐(0)
摘要: 阅读全文
posted @ 2017-08-21 12:02 张永清 阅读(3218) 评论(0) 推荐(0)
摘要: 阅读全文
posted @ 2017-08-14 23:16 张永清 阅读(8249) 评论(0) 推荐(0)
摘要: 1 Kettle总体步骤 更多数据实时同步方案,请参考笔者的另一篇博文:大数据时代,数据实时同步解决方案的思考—最全的数据同步总结 由于Kettle自身的特殊性以及在多个步骤中kettle自身处理数据库事务的特殊性,尝试了很多种方案,最终确定暂使用如下方案。 1、使用此方案可以解决kettle本身数 阅读全文
posted @ 2017-08-14 22:54 张永清 阅读(13987) 评论(0) 推荐(2)
摘要: 阅读全文
posted @ 2017-08-14 22:13 张永清 阅读(2106) 评论(0) 推荐(0)
摘要: 阅读全文
posted @ 2017-08-13 22:27 张永清 阅读(7467) 评论(0) 推荐(0)
关注清哥聊技术公众号,了解更多技术文章,作者的原创文章,转载须注明出处。原创文章归作者所有,欢迎转载,但是保留版权。对于转载了博主的原创文章,不标注出处的,作者将依法追究版权,请尊重作者的成果。