作者的原创文章,转载须注明出处。原创文章归作者所有,欢迎转载,但是保留版权。对于转载了博主的原创文章,不标注出处的,作者将依法追究版权,请尊重作者的成果。
摘要:一个系统或者软件性能的重要性自然是无需多说,永远没有哪个用户可以忍受打开一个网站或者软件需要很久才能响应,性能是评估一个系统或者软件最实在的指标,如果一个网站做得再好看、再漂亮,但是性能上不去,那也只是华而不实。 笔者在离开测试岗进入研发岗已经有好几个年头了,按理说不应该再去写关于软件测试的书籍了而 阅读全文
posted @ 2020-03-10 21:26 张永清 阅读(2442) 评论(8) 推荐(2) 编辑
摘要:序 关于自动化测试的工具和框架其实有很多。自动化测试在测试IT行业中扮演着越来越重要的角色,不管是在传统的IT行业还是高速发展的互联网行业或是如今的大数据和大热的人工智能领域,都离不开测试,也更加离不开自动化测试。自动化测试已经发展了很多年,在很多大的互联网公司里他们不但有自己的自动化测试框架,甚至 阅读全文
posted @ 2019-04-28 22:59 张永清 阅读(3157) 评论(1) 推荐(3) 编辑
摘要:本文主要阐述软件性能测试中的一些调优思想和技术,节选自作者新书《软件性能测试分析与调优实践之路》部分章节归纳。 在国内互联网公司中,Web中间件用的最多的就是Apache和Nginx这两款了,包括很多大型电商网站淘宝、京东、苏宁易购等,都在使用Nginx或者Apache作为Web中间件。而且很多编程 阅读全文
posted @ 2021-01-10 22:10 张永清 阅读(186) 评论(0) 推荐(0) 编辑
摘要:本文主要包含如下内容: ClickHouse适用场景 ClickHouse缺点 ClickHouse优点 ClickHouse表引擎-合并树 ClickHouse表引擎-合并树-稀疏索引 ClickHouse表引擎-内存引擎 ClickHouse表引擎-其他引擎 ClickHouse数据同步 Cli 阅读全文
posted @ 2020-12-17 14:10 张永清 阅读(168) 评论(0) 推荐(0) 编辑
摘要:本文主要阐述软件性能测试中的一些调优思想和技术,节选自作者新书《软件性能测试分析与调优实践之路》部分章节归纳。 一、 性能分析与调优思想 1、性能分析调优模型 性能测试除了为获取性能指标外,更多是为了发现性能瓶颈和性能问题,然后对性能问题和瓶颈进行分析和调优,在当今互联网高速发展的时代,性能调优的模 阅读全文
posted @ 2020-09-13 11:41 张永清 阅读(921) 评论(0) 推荐(2) 编辑
摘要:自动化测试如果需要能高效快速的支撑软件项目的测试,项目的快速迭代以及上线,除了以上我们介绍的需要许多的Lib来支持以及需要高效的去编写自动化测试案例外,还需要一个好的自动化测试框架平台来支撑我们的自动化测试案例的执行以及分析,自动化测试平台一般需要解决测试案例执行任务的创建,任务的管理,任务的调度, 阅读全文
posted @ 2020-09-06 16:27 张永清 阅读(638) 评论(0) 推荐(1) 编辑
摘要:框架 Apache Hadoop:分布式处理架构,结合了 MapReduce(并行处理)、YARN(作业调度)和HDFS(分布式文件系统); Tigon:高吞吐量实时流处理框架。 分布式编程 AddThis Hydra :最初在AddThis上开发的分布式数据处理和存储系统; AMPLab SIMR 阅读全文
posted @ 2020-07-16 17:34 张永清 阅读(545) 评论(0) 推荐(0) 编辑
摘要:一、关于自己 我是一名80后的IT老兵,从今年出现疫情后,就感觉多少有些力不从心了,因为公司的业务做的不好,公司是做普惠金融的,疫情出现后,催收逾期就非常厉害,导致公司不敢大量放贷,从而就出现了公司收益减少。这时候公司内部很多人就慌了,因为担心公司会裁员或者降薪,果不其然,复工后公司果然要开始降薪了 阅读全文
posted @ 2020-07-16 11:12 张永清 阅读(1181) 评论(0) 推荐(2) 编辑
摘要:一、微服务架构设计中经常需要处理的问题罗列: API Gateway 内部服务间互相调用 服务发现 服务容错、熔断、降级 服务部署 数据处理 二、设计模式 1、微服务-聚合器设计模式: 聚合器调用多个服务实现应用程序所需的功能。它可以是一个简单的 WEB 页面,将检索到的数据进行处理展示。它也可以是 阅读全文
posted @ 2020-06-24 15:24 张永清 阅读(938) 评论(0) 推荐(0) 编辑
摘要:一、异常现象截图 二、解决方式: 1、背景 早期的canal版本(<=1.0.24),在处理表结构的DDL变更时采用了一种简单的策略,在内存里维护了一个当前数据库内表结构的镜像(通过desc table获取)。 这样的内存表结构镜像的维护存在问题,如果当前在处理的binlog为历史时间段T0,当前时 阅读全文
posted @ 2020-06-24 14:26 张永清 阅读(1351) 评论(0) 推荐(1) 编辑
摘要:一、ODS层ODS 全称是 Operational Data Store,一般对应的是操作性数据存储,直接面向主题的,也叫数据运营层,通常是最接近数据源中数据的一层,数据源中的数据,经过抽取、洗净、传输,也就是通常说的 ETL 之后的数据存入本层。本层的数据,总体上大多是按照源头业务系统的分类方式而 阅读全文
posted @ 2020-06-04 13:02 张永清 阅读(1279) 评论(0) 推荐(0) 编辑
摘要:一、MPP 架构 1、MPP架构的基础概念 MPP (Massively Parallel Processing),即大规模并行处理,在数据库非共享集群中,每个节点都有独立的磁盘存储系统和内存系统,业务数据根据数据库模型和应用特点划分到各个节点上,每台数据节点通过专用网络或者商业通用网络互相连接,彼 阅读全文
posted @ 2020-06-04 12:42 张永清 阅读(1847) 评论(0) 推荐(2) 编辑
摘要:一、问题:Windows 下 flume采集配置TAILDIR的时候,会报如下错误: agent.sources.seqGenSrc.type = TAILDIR agent.sources.seqGenSrc.positionFile = .\\taildir_mongodb_position.j 阅读全文
posted @ 2020-05-06 15:52 张永清 阅读(804) 评论(0) 推荐(0) 编辑
摘要:一、curator-framework 简介 curator-framework 是对zookeeper做的分二次分布式封装处理,目前代码也是apache 开源社区维护,如下所示。 github地址:https://github.com/apache/curator curator-framewor 阅读全文
posted @ 2020-04-24 16:28 张永清 阅读(1110) 评论(0) 推荐(0) 编辑
摘要:作为分布式系统解决方案的 ZooKeeper,被广泛应用于多个分布式场景。例如:数据发布/订阅,负载均衡,命名服务,集群管理等等。 因此,ZooKeeper 在分布式系统中扮演着重要的角色,今天通过一个简单的例子来看看它的实现原理。 从一个简单的例子开始 在分布式系统中经常会遇到这种情况,多个应用读 阅读全文
posted @ 2020-04-19 16:06 张永清 阅读(317) 评论(0) 推荐(0) 编辑
摘要:一、总体设计 初来公司时,公司还没有大数据,我是作为大数据架构师招入的,结合公司的线上和线下业务,制定了如下的大数据架构路线图。 二、大数据任务开发和调度平台架构设计 在设计完总体架构后,并且搭建完hadoop/yarn的大数据底层计算平台后, 按照总体架构设计思路, 首先需要构建的就是大数据开发平 阅读全文
posted @ 2020-04-13 17:13 张永清 阅读(1298) 评论(0) 推荐(2) 编辑
摘要:atlas 是apache下的大数据的元数据管理和数据治理平台,是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目,它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。支持对hive、storm、kafka、hbase 阅读全文
posted @ 2020-04-10 17:25 张永清 阅读(12531) 评论(0) 推荐(3) 编辑
摘要:Apache Flume是一个分布式的、可靠的、可用的系统,用于有效地收集、 聚合和将大量日志数据从许多不同的源移动到一个集中的数据存储,但是其本身是以本地properties作为配置的,配置无法做到动态监听和更新。 一、Flume和ETCD的结合,使用ETCD作为flume 数据采集的配置中心。 阅读全文
posted @ 2020-04-02 16:30 张永清 阅读(865) 评论(1) 推荐(0) 编辑
摘要:一个系统或者软件性能的重要性自然是无需多说,永远没有哪个用户可以忍受打开一个网站或者软件需要很久才能响应,性能是评估一个系统或者软件最实在的指标,如果一个网站做得再好看、再漂亮,但是性能上不去,那也只是华而不实。 笔者在离开测试岗进入研发岗已经有好几个年头了,按理说不应该再去写关于软件测试的书籍了而 阅读全文
posted @ 2020-03-10 21:26 张永清 阅读(2442) 评论(8) 推荐(2) 编辑
摘要:如何使用Java编写自定义的RobotFramework Lib 本文包括2个章节 1、 Robot Frdamwork中如何调用java Lib库 2、使用 java编写自定义的Lib 本文作者为:张永清,转载请注明出处,版权归作者所有。Robot Framework自动化测试框架核心指南-如何使 阅读全文
posted @ 2020-02-21 15:08 张永清 阅读(1432) 评论(0) 推荐(0) 编辑
摘要:HBase隶属于hadoop生态系统,它参考了谷歌的BigTable建模,实现的编程语言为 Java, 建立在hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它仅能通过主键(row key)和主键的range来检索数据,主要用来存储非结构化和半结构化的松散数据。与hadoo 阅读全文
posted @ 2019-12-24 14:50 张永清 阅读(547) 评论(0) 推荐(0) 编辑
摘要:Mysql 执行计划以及常见索引问题总结 ppt 下载地址:Mysql 执行计划以及常见索引问题总结 ppt内容展示: 阅读全文
posted @ 2019-12-12 13:30 张永清 阅读(480) 评论(0) 推荐(0) 编辑
摘要:本文紧接着RobotFramework自动化测试框架-Selenium Web自动化(二)关于在RobotFramework中如何使用Selenium很全的总结(上)继续分享RobotFramework中如何使用Selenium进行自动化测试。 本文章节目录: 1、Get Value 2、Get W 阅读全文
posted @ 2019-12-01 17:40 张永清 阅读(940) 评论(0) 推荐(0) 编辑
摘要:Kafaka connect 是一种用于在Kafka和其他系统之间可扩展的、可靠的流式传输数据的工具。它使得能够快速定义将大量数据集合移入和移出Kafka的连接器变得简单。Kafka Connect可以从数据库或应用程序服务器收集数据到Kafka topic,使数据可用于低延迟的流处理。导出作业可以 阅读全文
posted @ 2019-11-25 16:08 张永清 阅读(13371) 评论(0) 推荐(1) 编辑
摘要:flink 中自身虽然实现了大量的connectors,如下图所示,也实现了jdbc的connector,可以通过jdbc 去操作数据库,但是flink-jdbc包中对数据库的操作是以ROW来操作并且对数据库事务的控制比较死板,有时候操作关系型数据库我们会非常怀念在java web应用开发中的非常优 阅读全文
posted @ 2019-11-19 17:32 张永清 阅读(2974) 评论(0) 推荐(1) 编辑
摘要:好久没有继续分享关于自动化测试相关的东西了,自动化在现今的测试领域已经越来越重要了,大部分公司在测试岗位招聘中都需要会相关的自动化测试知识。而 RobotFramework自动化测试框架 是自动化测试中 用的最多一个框架,基于Python编程语言设计的可扩展的关键字驱动模式的测试自动化框架,具备良好 阅读全文
posted @ 2019-11-10 17:29 张永清 阅读(1412) 评论(0) 推荐(0) 编辑
摘要:本次遇到的问题描述,日志采集同步时,当单条日志(日志文件中一行日志)超过2M大小,数据无法采集同步到kafka,分析后,共踩到如下几个坑。1、flume采集时,通过shell+EXEC(tail -F xxx.log 的方式) source来获取日志时,当单条日志过大超过1M时,source端无法从 阅读全文
posted @ 2019-11-07 17:26 张永清 阅读(2574) 评论(0) 推荐(0) 编辑
摘要:MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写,一般生产上建议以共享分片的形式来部署。 但是MongoDB官方也提供了其它语言的客户端操作API。如下图所示: 提供了C、C++、C#、.net、GO、java、Node.js、PHP、python、scala等各种语言的版本, 阅读全文
posted @ 2019-11-04 16:07 张永清 阅读(2862) 评论(0) 推荐(1) 编辑
摘要:Elasticsearch 的API 分为 REST Client API(http请求形式)以及 transportClient API两种。相比来说transportClient API效率更高,transportClient 是通过Elasticsearch内部RPC的形式进行请求的,连接可以 阅读全文
posted @ 2019-10-17 16:55 张永清 阅读(17854) 评论(3) 推荐(3) 编辑
摘要:一个系统或者网站在功能开发完成后一般最终都需要部署到服务器上运行,那么服务器的性能监控和分析就显得非常重要了,选用什么配置的服务器、如何对服务器进行调优、如何从服务器监控中发现程序的性能问题、如何判断服务器的瓶颈在哪里等 就成为了服务器性能监控和分析时重点需要去解决的问题了。 本文章节目录: 1 服 阅读全文
posted @ 2019-10-07 14:07 张永清 阅读(4446) 评论(1) 推荐(4) 编辑
摘要:Phoenix是一个开源的HBase SQL层。它不仅可以使用标准的JDBC API替代HBase Client API创建表,插入和查询HBase,也支持二级索引、事物以及多种SQL层优化。 此系列文章将会从Phoenix的语法和功能特性、相关工具、实践经验以及应用案例多方面从浅入深的阐述。希望对 阅读全文
posted @ 2019-09-19 08:57 张永清 阅读(644) 评论(0) 推荐(0) 编辑
摘要:人工智能-智能创意平台架构成长之路(一)--长篇开篇 人工智能-智能创意平台架构成长之路(二)--大数据架构篇 人工智能-智能创意平台架构成长之路(三)--机器学习算法工程服务化 人工智能-智能创意平台架构成长之路(四)-丰富多彩的banner图生成解密第一部分(对标阿里鹿班的设计) (成长之路序列 阅读全文
posted @ 2019-09-16 23:26 张永清 阅读(1144) 评论(3) 推荐(0) 编辑
摘要:笔者接着 RobotFramework自动化测试框架-DatabaseLibrary库的使用(对数据库的操作) 继续分享robotframework 对数据库中的MongoDB的详细操作。这是笔者第二篇关于robotframework 对数据库的操作的分享介绍。 MongoDB是非常常用的一个非关系 阅读全文
posted @ 2019-09-16 09:02 张永清 阅读(2030) 评论(0) 推荐(0) 编辑
摘要:人工智能-智能创意平台架构成长之路(一)--长篇开篇 人工智能-智能创意平台架构成长之路(二)--大数据架构篇 人工智能-智能创意平台架构成长之路(三)--机器学习算法工程服务化 人工智能-智能创意平台架构成长之路(四)-丰富多彩的banner图生成解密第一部分(对标阿里鹿班的设计) 我们接着 人工 阅读全文
posted @ 2019-08-16 15:53 张永清 阅读(1624) 评论(0) 推荐(0) 编辑
摘要:一、简介 1、概述 Impala是Cloudera公司推出,提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。 •基于Hive使用内存计算,兼顾数据仓库、具有实时、批处理、多并发等优点 impala使用hive的元数据, 完全在内存中计算 •是CDH平台首选的PB级大数据实时查询 阅读全文
posted @ 2019-08-16 11:37 张永清 阅读(1637) 评论(0) 推荐(0) 编辑
摘要:引 如果对什么是线程、什么是进程仍存有疑惑,请先Google之,因为这两个概念不在本文的范围之内。 用多线程只有一个目的,那就是更好的利用cpu的资源,因为所有的多线程代码都可以用单线程来实现。说这个话其实只有一半对,因为反应“多角色”的程序代码,最起码每个角色要给他一个线程吧,否则连实际场景都无法 阅读全文
posted @ 2019-08-16 10:42 张永清 阅读(378) 评论(0) 推荐(0) 编辑
摘要:1、 早期关系型数据库之间的数据同步 1)、全量同步 比如从oracle数据库中同步一张表的数据到Mysql中,通常的做法就是 分页查询源端的表,然后通过 jdbc的batch 方式插入到目标表,这个地方需要注意的是,分页查询时,一定要按照主键id来排序分页,避免重复插入。 2)、基于数据文件导出和 阅读全文
posted @ 2019-08-15 17:12 张永清 阅读(24730) 评论(4) 推荐(9) 编辑
摘要:人工智能-智能创意平台架构成长之路(一)--长篇开篇 人工智能-智能创意平台架构成长之路(二)--大数据架构篇 人工智能-智能创意平台架构成长之路(三)--机器学习算法工程服务化 人工智能-智能创意平台架构成长之路(四)-丰富多彩的banner图生成解密第一部分(对标阿里鹿班的设计) 人工智能-智能 阅读全文
posted @ 2019-08-09 17:02 张永清 阅读(1302) 评论(1) 推荐(2) 编辑
摘要:(这是第一篇开篇,成长之路序列会包含多篇,笔者作为这个平台的架构兼技术经理,充分讲述其中的迭代心酸之路以及中间遇到的问题和解决方案) 声明:文章不涉及公司内部技术资料的外泄,涉及的图片都是重画的简易架构图,主要通过架构的演进,讲述分享技术的迭代之路和过程,进行技术交流和探讨。 人工智能-智能创意平台 阅读全文
posted @ 2019-08-09 11:28 张永清 阅读(2608) 评论(1) 推荐(0) 编辑
摘要:运行结果如下 D:\python\Python3\python.exe D:/project/python/zj_scrapy/zj_scrapy/SyncCrawlSjqq.py ['宜人贷借款', '大智慧', '中国建设银行', '同花顺手机炒股股票软件', '随手记理财记账', '平安金管家 阅读全文
posted @ 2019-07-16 17:36 张永清 阅读(1076) 评论(0) 推荐(0) 编辑
摘要:关于爬虫平台的架构设计实现和框架的选型(一) 关于爬虫平台的架构设计实现和框架的选型(二)--scrapy的内部实现以及实时爬虫的实现 首先来看一下一个爬虫平台的设计,作为一个爬虫平台,需要支撑多种不同的爬虫方式,所以一般爬虫平台需要包括 1、 爬虫规则的维护,平台在接收到爬虫请求时,需要能按照匹配 阅读全文
posted @ 2019-07-16 10:45 张永清 阅读(1552) 评论(0) 推荐(0) 编辑
作者的原创文章,转载须注明出处。原创文章归作者所有,欢迎转载,但是保留版权。对于转载了博主的原创文章,不标注出处的,作者将依法追究版权,请尊重作者的成果。