关注清哥聊技术公众号,了解更多技术文章,作者的原创文章,转载须注明出处。原创文章归作者所有,欢迎转载,但是保留版权。对于转载了博主的原创文章,不标注出处的,作者将依法追究版权,请尊重作者的成果。
摘要: 文章来源:https://zhuanlan.zhihu.com/p/25539690 Java的性能优化,整理出一篇文章,供以后温故知新。 JVM GC(垃圾回收机制) 在学习Java GC 之前,我们需要记住一个单词:stop-the-world 。它会在任何一种GC算法中发生。stop-the- 阅读全文
posted @ 2018-03-16 17:17 张永清 阅读(4656) 评论(0) 推荐(0)
摘要: 阅读全文
posted @ 2018-03-10 22:41 张永清 阅读(11625) 评论(2) 推荐(0)
摘要: top命令是Linux下常用的性能分析工具,能够实时显示系统中各个进程的资源占用状况,常用于服务端性能分析。 top命令说明 统计信息:前五行是系统整体的统计信息; 进程信息:统计信息下方类似表格区域显示的是各个进程的详细信息,默认5秒刷新一次。 第1行:Top 任务队列信息(系统运行状态及平均负载 阅读全文
posted @ 2018-02-01 17:03 张永清 阅读(445) 评论(0) 推荐(0)
摘要: 1. 在linux下,查看一个运行中的程序, 占用了多少内存, 一般的命令有 (1). ps aux: 其中 VSZ(或VSS)列 表示,程序占用了多少虚拟内存。 RSS列 表示, 程序占用了多少物理内存。 虚拟内存可以不用考虑,它并不占用实际物理内存。 #ps auxUSER PID %CPU % 阅读全文
posted @ 2017-10-23 19:47 张永清 阅读(13171) 评论(0) 推荐(0)
摘要: 原文出处: 海子 volatile这个关键字可能很多朋友都听说过,或许也都用过。在Java 5之前,它是一个备受争议的关键字,因为在程序中使用它往往会导致出人意料的结果。在Java 5之后,volatile关键字才得以重获生机。 volatile关键字虽然从字面上理解起来比较简单,但是要用好不是一件 阅读全文
posted @ 2017-09-26 15:17 张永清 阅读(217) 评论(0) 推荐(0)
摘要: 【转载自https://yq.aliyun.com/articles/87510?t=t1】 Storm 系统中包含以下几个基本概念: 译者注:由于 Storm 的几个基础概念无论是直译还是意译均不够清晰,而且还会让习惯了 Storm 编程模型的读者感到困惑,因此后文在提及这些概念时大多还会以英文原 阅读全文
posted @ 2017-09-25 14:46 张永清 阅读(268) 评论(0) 推荐(0)
摘要: vmstat是Linux中常用的一个命令,尤其是在进行性能测试时,使用该命令,往往能辅助我们进行性能问题定位。 我们先看一下这个命令执行得到的数据。 [root@xxx ~]# vmstat 1 10procs memory swap-- io --system-- cpu r b swpd fre 阅读全文
posted @ 2017-09-13 19:36 张永清 阅读(1663) 评论(0) 推荐(0)
摘要: 1、 Spark运行架构 1.1 术语定义 lApplication:Spark Application的概念和Hadoop MapReduce中的类似,指的是用户编写的Spark应用程序,包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor代码; lDriver:Spa 阅读全文
posted @ 2017-09-13 19:06 张永清 阅读(426) 评论(0) 推荐(0)
摘要: 待测试的私有方法: 阅读全文
posted @ 2017-09-13 19:04 张永清 阅读(1860) 评论(0) 推荐(0)
摘要: 调试资源分配 Spark 的用户邮件邮件列表中经常会出现 “我有一个500个节点的集群,为什么但是我的应用一次只有两个 task 在执行”,鉴于 Spark 控制资源使用的参数的数量,这些问题不应该出现。但是在本章中,你将学会压榨出你集群的每一分资源。推荐的配置将根据不同的集群管理系统(YARN、M 阅读全文
posted @ 2017-08-31 19:38 张永清 阅读(250) 评论(0) 推荐(0)
摘要: 当你开始编写 Apache Spark 代码或者浏览公开的 API 的时候,你会遇到各种各样术语,比如 transformation,action,RDD 等等。 了解到这些是编写 Spark 代码的基础。 同样,当你任务开始失败或者你需要透过web界面去了解自己的应用为何如此费时的时候,你需要去了 阅读全文
posted @ 2017-08-31 19:35 张永清 阅读(242) 评论(0) 推荐(0)
摘要: 首先是一张Spark的部署图: 节点类型有: 1. master 节点: 常驻master进程,负责管理全部worker节点。2. worker 节点: 常驻worker进程,负责管理executor 并与master节点通信。dirvier:官方解释为: The process running t 阅读全文
posted @ 2017-08-31 19:27 张永清 阅读(257) 评论(0) 推荐(0)
摘要: 在开发完Spark作业之后,就该为作业配置合适的资源了。Spark的资源参数,基本都可以在spark-submit命令中作为参数设置。很多Spark初学者,通常不知道该设置哪些必要的参数,以及如何设置这些参数,最后就只能胡乱设置,甚至压根儿不设置。资源参数设置的不合理,可能会导致没有充分利用集群资源 阅读全文
posted @ 2017-08-30 17:47 张永清 阅读(1166) 评论(0) 推荐(0)
摘要: 我们接着 Neo4J图库的基础介绍(一) 继续介绍Neo4J图库。 JAX-RS是一个用于构建REST资源的Java API,可以使用JAX-RS注解装饰每一个扩展类,从而让服务器处理对应的http请求,附加注解可以用来控制请求和响应的格式,http头和URI模板的格式。 下面看一个服务器扩展实现的 阅读全文
posted @ 2017-08-25 22:02 张永清 阅读(1312) 评论(0) 推荐(0)
摘要: 关于软件性能分析调优,可以加微信号yq597365581或者微信号hqh345932,进入专业的性能分析调优群进行交流沟通。 阅读全文
posted @ 2017-08-23 19:27 张永清 阅读(724) 评论(0) 推荐(0)
摘要: •Neo4j是一个高性能的,NOSQL图形数据库,它完全支持ACID(原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability))数据库事务属性,采用JAVA语音编写,由于其良好的图数据模型设计,Neo4j的速度非常快。对于连接的数据 阅读全文
posted @ 2017-08-21 12:28 张永清 阅读(7799) 评论(0) 推荐(0)
摘要: 阅读全文
posted @ 2017-08-21 12:02 张永清 阅读(3182) 评论(0) 推荐(0)
摘要: 阅读全文
posted @ 2017-08-14 23:16 张永清 阅读(8187) 评论(0) 推荐(0)
摘要: 1 Kettle总体步骤 更多数据实时同步方案,请参考笔者的另一篇博文:大数据时代,数据实时同步解决方案的思考—最全的数据同步总结 由于Kettle自身的特殊性以及在多个步骤中kettle自身处理数据库事务的特殊性,尝试了很多种方案,最终确定暂使用如下方案。 1、使用此方案可以解决kettle本身数 阅读全文
posted @ 2017-08-14 22:54 张永清 阅读(13942) 评论(0) 推荐(2)
摘要: 阅读全文
posted @ 2017-08-14 22:13 张永清 阅读(2064) 评论(0) 推荐(0)
摘要: 阅读全文
posted @ 2017-08-13 22:27 张永清 阅读(7367) 评论(0) 推荐(0)
摘要: 二维码扫码已经是一个很通用的技术了,也有很多的开源项目可以实现,比如Zxing项目。https://github.com/zxing 这里重点不是介绍Zxing中是怎么样来实现二维码扫码的,而是来介绍一下,微信上的快速扫码技术是如何来做到优化体验的。 要实现在光线不足时,手机自动进行补光,其实很简单 阅读全文
posted @ 2017-08-07 20:22 张永清 阅读(4388) 评论(0) 推荐(0)
摘要: 阅读全文
posted @ 2017-08-04 21:20 张永清 阅读(3298) 评论(0) 推荐(0)
摘要: 阅读全文
posted @ 2017-08-01 21:48 张永清 阅读(2519) 评论(0) 推荐(0)
摘要: 阅读全文
posted @ 2017-07-30 21:06 张永清 阅读(15964) 评论(0) 推荐(1)
摘要: 阅读全文
posted @ 2017-07-29 21:36 张永清 阅读(3870) 评论(0) 推荐(1)
摘要: 1.1.1 如何搜索RobotFramework的关键字 有两种方式可以快速的打开RIDE的关键字搜索对话框 1、选择菜单栏Tools->Search Keywords,然后会出现如下的关键字搜索对话框,这个对话框就类似提供了一个关键字的API的功能,提供了关键字的名称,关键字的来源库和关键字的使用 阅读全文
posted @ 2017-07-29 12:06 张永清 阅读(8777) 评论(0) 推荐(0)
摘要: 阅读全文
posted @ 2017-07-27 23:12 张永清 阅读(2174) 评论(0) 推荐(0)
摘要: 阅读全文
posted @ 2017-07-26 00:09 张永清 阅读(2146) 评论(0) 推荐(0)
摘要: 阅读全文
posted @ 2017-07-25 22:50 张永清 阅读(6490) 评论(1) 推荐(0)
摘要: Set Request Header 关键字用来设置http请求时的请求头部信息 阅读全文
posted @ 2017-07-25 22:45 张永清 阅读(2817) 评论(0) 推荐(0)
摘要: Get Response header 关键字用来获取http请求返回的http响应头部数据。 阅读全文
posted @ 2017-07-22 14:43 张永清 阅读(5568) 评论(0) 推荐(0)
关注清哥聊技术公众号,了解更多技术文章,作者的原创文章,转载须注明出处。原创文章归作者所有,欢迎转载,但是保留版权。对于转载了博主的原创文章,不标注出处的,作者将依法追究版权,请尊重作者的成果。