作者的原创文章,转载须注明出处。原创文章归作者所有,欢迎转载,但是保留版权。对于转载了博主的原创文章,不标注出处的,作者将依法追究版权,请尊重作者的成果。
摘要:序 关于自动化测试的工具和框架其实有很多。自动化测试在测试IT行业中扮演着越来越重要的角色,不管是在传统的IT行业还是高速发展的互联网行业或是如今的大数据和大热的人工智能领域,都离不开测试,也更加离不开自动化测试。自动化测试已经发展了很多年,在很多大的互联网公司里他们不但有自己的自动化测试框架,甚至 阅读全文
posted @ 2019-04-28 22:59 张永清 阅读 (1381) 评论 (1) 编辑
摘要:HBase隶属于hadoop生态系统,它参考了谷歌的BigTable建模,实现的编程语言为 Java, 建立在hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它仅能通过主键(row key)和主键的range来检索数据,主要用来存储非结构化和半结构化的松散数据。与hadoo 阅读全文
posted @ 2019-12-24 14:50 张永清 阅读 (162) 评论 (0) 编辑
摘要:Mysql 执行计划以及常见索引问题总结 ppt 下载地址:Mysql 执行计划以及常见索引问题总结 ppt内容展示: 阅读全文
posted @ 2019-12-12 13:30 张永清 阅读 (202) 评论 (0) 编辑
摘要:本文紧接着RobotFramework自动化测试框架-Selenium Web自动化(二)关于在RobotFramework中如何使用Selenium很全的总结(上)继续分享RobotFramework中如何使用Selenium进行自动化测试。 本文章节目录: 1、Get Value 2、Get W 阅读全文
posted @ 2019-12-01 17:40 张永清 阅读 (307) 评论 (0) 编辑
摘要:Kafaka connect 是一种用于在Kafka和其他系统之间可扩展的、可靠的流式传输数据的工具。它使得能够快速定义将大量数据集合移入和移出Kafka的连接器变得简单。Kafka Connect可以从数据库或应用程序服务器收集数据到Kafka topic,使数据可用于低延迟的流处理。导出作业可以 阅读全文
posted @ 2019-11-25 16:08 张永清 阅读 (697) 评论 (0) 编辑
摘要:flink 中自身虽然实现了大量的connectors,如下图所示,也实现了jdbc的connector,可以通过jdbc 去操作数据库,但是flink-jdbc包中对数据库的操作是以ROW来操作并且对数据库事务的控制比较死板,有时候操作关系型数据库我们会非常怀念在java web应用开发中的非常优 阅读全文
posted @ 2019-11-19 17:32 张永清 阅读 (453) 评论 (0) 编辑
摘要:好久没有继续分享关于自动化测试相关的东西了,自动化在现今的测试领域已经越来越重要了,大部分公司在测试岗位招聘中都需要会相关的自动化测试知识。而 RobotFramework自动化测试框架 是自动化测试中 用的最多一个框架,基于Python编程语言设计的可扩展的关键字驱动模式的测试自动化框架,具备良好 阅读全文
posted @ 2019-11-10 17:29 张永清 阅读 (469) 评论 (0) 编辑
摘要:本次遇到的问题描述,日志采集同步时,当单条日志(日志文件中一行日志)超过2M大小,数据无法采集同步到kafka,分析后,共踩到如下几个坑。1、flume采集时,通过shell+EXEC(tail -F xxx.log 的方式) source来获取日志时,当单条日志过大超过1M时,source端无法从 阅读全文
posted @ 2019-11-07 17:26 张永清 阅读 (532) 评论 (0) 编辑
摘要:MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写,一般生产上建议以共享分片的形式来部署。 但是MongoDB官方也提供了其它语言的客户端操作API。如下图所示: 提供了C、C++、C#、.net、GO、java、Node.js、PHP、python、scala等各种语言的版本, 阅读全文
posted @ 2019-11-04 16:07 张永清 阅读 (561) 评论 (0) 编辑
摘要:Elasticsearch 的API 分为 REST Client API(http请求形式)以及 transportClient API两种。相比来说transportClient API效率更高,transportClient 是通过Elasticsearch内部RPC的形式进行请求的,连接可以 阅读全文
posted @ 2019-10-17 16:55 张永清 阅读 (1756) 评论 (2) 编辑
摘要:一个系统或者网站在功能开发完成后一般最终都需要部署到服务器上运行,那么服务器的性能监控和分析就显得非常重要了,选用什么配置的服务器、如何对服务器进行调优、如何从服务器监控中发现程序的性能问题、如何判断服务器的瓶颈在哪里等 就成为了服务器性能监控和分析时重点需要去解决的问题了。 本文章节目录: 1 服 阅读全文
posted @ 2019-10-07 14:07 张永清 阅读 (1429) 评论 (0) 编辑
摘要:Phoenix是一个开源的HBase SQL层。它不仅可以使用标准的JDBC API替代HBase Client API创建表,插入和查询HBase,也支持二级索引、事物以及多种SQL层优化。 此系列文章将会从Phoenix的语法和功能特性、相关工具、实践经验以及应用案例多方面从浅入深的阐述。希望对 阅读全文
posted @ 2019-09-19 08:57 张永清 阅读 (112) 评论 (0) 编辑
摘要:人工智能-智能创意平台架构成长之路(一)--长篇开篇 人工智能-智能创意平台架构成长之路(二)--大数据架构篇 人工智能-智能创意平台架构成长之路(三)--机器学习算法工程服务化 人工智能-智能创意平台架构成长之路(四)-丰富多彩的banner图生成解密第一部分(对标阿里鹿班的设计) (成长之路序列 阅读全文
posted @ 2019-09-16 23:26 张永清 阅读 (500) 评论 (3) 编辑
摘要:笔者接着 RobotFramework自动化测试框架-DatabaseLibrary库的使用(对数据库的操作) 继续分享robotframework 对数据库中的MongoDB的详细操作。这是笔者第二篇关于robotframework 对数据库的操作的分享介绍。 MongoDB是非常常用的一个非关系 阅读全文
posted @ 2019-09-16 09:02 张永清 阅读 (672) 评论 (0) 编辑
摘要:人工智能-智能创意平台架构成长之路(一)--长篇开篇 人工智能-智能创意平台架构成长之路(二)--大数据架构篇 人工智能-智能创意平台架构成长之路(三)--机器学习算法工程服务化 人工智能-智能创意平台架构成长之路(四)-丰富多彩的banner图生成解密第一部分(对标阿里鹿班的设计) 我们接着 人工 阅读全文
posted @ 2019-08-16 15:53 张永清 阅读 (580) 评论 (0) 编辑
摘要:一、简介 1、概述 Impala是Cloudera公司推出,提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。 •基于Hive使用内存计算,兼顾数据仓库、具有实时、批处理、多并发等优点 impala使用hive的元数据, 完全在内存中计算 •是CDH平台首选的PB级大数据实时查询 阅读全文
posted @ 2019-08-16 11:37 张永清 阅读 (429) 评论 (0) 编辑
摘要:引 如果对什么是线程、什么是进程仍存有疑惑,请先Google之,因为这两个概念不在本文的范围之内。 用多线程只有一个目的,那就是更好的利用cpu的资源,因为所有的多线程代码都可以用单线程来实现。说这个话其实只有一半对,因为反应“多角色”的程序代码,最起码每个角色要给他一个线程吧,否则连实际场景都无法 阅读全文
posted @ 2019-08-16 10:42 张永清 阅读 (93) 评论 (0) 编辑
摘要:1、 早期关系型数据库之间的数据同步 1)、全量同步 比如从oracle数据库中同步一张表的数据到Mysql中,通常的做法就是 分页查询源端的表,然后通过 jdbc的batch 方式插入到目标表,这个地方需要注意的是,分页查询时,一定要按照主键id来排序分页,避免重复插入。 2)、基于数据文件导出和 阅读全文
posted @ 2019-08-15 17:12 张永清 阅读 (5276) 评论 (0) 编辑
摘要:人工智能-智能创意平台架构成长之路(一)--长篇开篇 人工智能-智能创意平台架构成长之路(二)--大数据架构篇 人工智能-智能创意平台架构成长之路(三)--机器学习算法工程服务化 人工智能-智能创意平台架构成长之路(四)-丰富多彩的banner图生成解密第一部分(对标阿里鹿班的设计) 人工智能-智能 阅读全文
posted @ 2019-08-09 17:02 张永清 阅读 (653) 评论 (1) 编辑
摘要:(这是第一篇开篇,成长之路序列会包含多篇,笔者作为这个平台的架构兼技术经理,充分讲述其中的迭代心酸之路以及中间遇到的问题和解决方案) 声明:文章不涉及公司内部技术资料的外泄,涉及的图片都是重画的简易架构图,主要通过架构的演进,讲述分享技术的迭代之路和过程,进行技术交流和探讨。 人工智能-智能创意平台 阅读全文
posted @ 2019-08-09 11:28 张永清 阅读 (1340) 评论 (1) 编辑
作者的原创文章,转载须注明出处。原创文章归作者所有,欢迎转载,但是保留版权。对于转载了博主的原创文章,不标注出处的,作者将依法追究版权,请尊重作者的成果。