关注清哥聊技术公众号，了解更多技术文章，作者的原创文章，转载须注明出处。原创文章归作者所有，欢迎转载，但是保留版权。对于转载了博主的原创文章，不标注出处的，作者将依法追究版权，请尊重作者的成果。

08 2017 档案

【转载】Apache Spark Jobs 性能调优（二）
摘要：调试资源分配 Spark 的用户邮件邮件列表中经常会出现 “我有一个500个节点的集群，为什么但是我的应用一次只有两个 task 在执行”，鉴于 Spark 控制资源使用的参数的数量，这些问题不应该出现。但是在本章中，你将学会压榨出你集群的每一分资源。推荐的配置将根据不同的集群管理系统（YARN、M 阅读全文
posted @ 2017-08-31 19:38 张永清 阅读(261) 评论(0) 推荐(0)
【转载】Apache Spark Jobs 性能调优（一）
摘要：当你开始编写 Apache Spark 代码或者浏览公开的 API 的时候，你会遇到各种各样术语，比如 transformation，action，RDD 等等。 了解到这些是编写 Spark 代码的基础。 同样，当你任务开始失败或者你需要透过web界面去了解自己的应用为何如此费时的时候，你需要去了 阅读全文
posted @ 2017-08-31 19:35 张永清 阅读(243) 评论(0) 推荐(0)
【转载】Spark学习——spark中的几个概念的理解及参数配置
摘要：首先是一张Spark的部署图： 节点类型有： 1. master 节点： 常驻master进程，负责管理全部worker节点。2. worker 节点： 常驻worker进程，负责管理executor 并与master节点通信。dirvier：官方解释为： The process running t 阅读全文
posted @ 2017-08-31 19:27 张永清 阅读(262) 评论(0) 推荐(0)
【转载】 Spark性能优化：资源调优篇
摘要：在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源 阅读全文
posted @ 2017-08-30 17:47 张永清 阅读(1204) 评论(0) 推荐(0)
Neo4J图库的基础介绍(二)-图库开发应用
摘要：我们接着 Neo4J图库的基础介绍(一) 继续介绍Neo4J图库。 JAX-RS是一个用于构建REST资源的Java API，可以使用JAX-RS注解装饰每一个扩展类，从而让服务器处理对应的http请求，附加注解可以用来控制请求和响应的格式，http头和URI模板的格式。 下面看一个服务器扩展实现的 阅读全文
posted @ 2017-08-25 22:02 张永清 阅读(1319) 评论(0) 推荐(0)
性能测试流程与性能测试分析和问题定位分享
摘要：关于软件性能分析调优，可以加微信号yq597365581或者微信号hqh345932，进入专业的性能分析调优群进行交流沟通。 阅读全文
posted @ 2017-08-23 19:27 张永清 阅读(745) 评论(0) 推荐(0)
Neo4J图库的基础介绍(一)
摘要：•Neo4j是一个高性能的,NOSQL图形数据库，它完全支持ACID(原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）、持久性（Durability）)数据库事务属性，采用JAVA语音编写，由于其良好的图数据模型设计，Neo4j的速度非常快。对于连接的数据 阅读全文
posted @ 2017-08-21 12:28 张永清 阅读(7814) 评论(0) 推荐(0)
RobotFramework自动化测试框架-移动手机自动化测试AppiumLibrary库其它的常见自动化关键字
摘要： 阅读全文
posted @ 2017-08-21 12:02 张永清 阅读(3205) 评论(0) 推荐(0)
RobotFramework自动化测试框架-常用断言关键字
摘要： 阅读全文
posted @ 2017-08-14 23:16 张永清 阅读(8230) 评论(0) 推荐(0)
Kettle根据时间戳同步数据实现
摘要：1 Kettle总体步骤 更多数据实时同步方案，请参考笔者的另一篇博文：大数据时代，数据实时同步解决方案的思考—最全的数据同步总结 由于Kettle自身的特殊性以及在多个步骤中kettle自身处理数据库事务的特殊性，尝试了很多种方案，最终确定暂使用如下方案。 1、使用此方案可以解决kettle本身数 阅读全文
posted @ 2017-08-14 22:54 张永清 阅读(13972) 评论(0) 推荐(2)
RobotFramework自动化测试框架-移动手机自动化测试Open Application关键字的使用
摘要： 阅读全文
posted @ 2017-08-14 22:13 张永清 阅读(2086) 评论(0) 推荐(0)
RobotFramework自动化测试框架-移动手机自动化测试AppiumLibrary介绍
摘要： 阅读全文
posted @ 2017-08-13 22:27 张永清 阅读(7412) 评论(0) 推荐(0)
二维码快速扫码优化方案介绍(一)--怎么在光线不足时，手机自动进行补光。
摘要：二维码扫码已经是一个很通用的技术了，也有很多的开源项目可以实现，比如Zxing项目。https://github.com/zxing 这里重点不是介绍Zxing中是怎么样来实现二维码扫码的，而是来介绍一下，微信上的快速扫码技术是如何来做到优化体验的。 要实现在光线不足时，手机自动进行补光，其实很简单 阅读全文
posted @ 2017-08-07 20:22 张永清 阅读(4418) 评论(0) 推荐(0)
RobotFramework自动化测试框架的基础关键字（五）
摘要： 阅读全文
posted @ 2017-08-04 21:20 张永清 阅读(3312) 评论(0) 推荐(0)
RobotFramework自动化测试框架的基础关键字（四）
摘要： 阅读全文
posted @ 2017-08-01 21:48 张永清 阅读(2527) 评论(0) 推荐(0)

关注清哥聊技术公众号，了解更多技术文章,作者的原创文章，转载须注明出处。原创文章归作者所有，欢迎转载，但是保留版权。对于转载了博主的原创文章，不标注出处的，作者将依法追究版权，请尊重作者的成果。