摘要：
atlas 是apache下的大数据的元数据管理和数据治理平台，是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。支持对hive、storm、kafka、hbase 阅读全文
摘要：
Apache Flume是一个分布式的、可靠的、可用的系统,用于有效地收集、 聚合和将大量日志数据从许多不同的源移动到一个集中的数据存储，但是其本身是以本地properties作为配置的，配置无法做到动态监听和更新。 一、Flume和ETCD的结合，使用ETCD作为flume 数据采集的配置中心。 阅读全文
摘要：
一个系统或者软件性能的重要性自然是无需多说，永远没有哪个用户可以忍受打开一个网站或者软件需要很久才能响应，性能是评估一个系统或者软件最实在的指标，如果一个网站做得再好看、再漂亮，但是性能上不去，那也只是华而不实。 笔者在离开测试岗进入研发岗已经有好几个年头了，按理说不应该再去写关于软件测试的书籍了而 阅读全文
摘要：
如何使用Java编写自定义的RobotFramework Lib 本文包括2个章节 1、 Robot Frdamwork中如何调用java Lib库 2、使用 java编写自定义的Lib 本文作者为：张永清，转载请注明出处，版权归作者所有。Robot Framework自动化测试框架核心指南-如何使 阅读全文
摘要：
HBase隶属于hadoop生态系统，它参考了谷歌的BigTable建模，实现的编程语言为 Java, 建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它仅能通过主键(row key)和主键的range来检索数据，主要用来存储非结构化和半结构化的松散数据。与hadoo 阅读全文
摘要：
Mysql 执行计划以及常见索引问题总结 ppt 下载地址：Mysql 执行计划以及常见索引问题总结 ppt内容展示： 阅读全文
摘要：
本文紧接着RobotFramework自动化测试框架-Selenium Web自动化(二)关于在RobotFramework中如何使用Selenium很全的总结（上）继续分享RobotFramework中如何使用Selenium进行自动化测试。 本文章节目录： 1、Get Value 2、Get W 阅读全文
摘要：
Kafaka connect 是一种用于在Kafka和其他系统之间可扩展的、可靠的流式传输数据的工具。它使得能够快速定义将大量数据集合移入和移出Kafka的连接器变得简单。Kafka Connect可以从数据库或应用程序服务器收集数据到Kafka topic，使数据可用于低延迟的流处理。导出作业可以 阅读全文
摘要：
flink 中自身虽然实现了大量的connectors，如下图所示，也实现了jdbc的connector，可以通过jdbc 去操作数据库，但是flink-jdbc包中对数据库的操作是以ROW来操作并且对数据库事务的控制比较死板，有时候操作关系型数据库我们会非常怀念在java web应用开发中的非常优 阅读全文
摘要：
好久没有继续分享关于自动化测试相关的东西了，自动化在现今的测试领域已经越来越重要了，大部分公司在测试岗位招聘中都需要会相关的自动化测试知识。而 RobotFramework自动化测试框架 是自动化测试中 用的最多一个框架，基于Python编程语言设计的可扩展的关键字驱动模式的测试自动化框架，具备良好 阅读全文
摘要：
本次遇到的问题描述，日志采集同步时，当单条日志（日志文件中一行日志）超过2M大小，数据无法采集同步到kafka，分析后，共踩到如下几个坑。1、flume采集时，通过shell+EXEC（tail -F xxx.log 的方式） source来获取日志时，当单条日志过大超过1M时，source端无法从 阅读全文
摘要：
MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写，一般生产上建议以共享分片的形式来部署。 但是MongoDB官方也提供了其它语言的客户端操作API。如下图所示： 提供了C、C++、C#、.net、GO、java、Node.js、PHP、python、scala等各种语言的版本， 阅读全文
摘要：
Elasticsearch 的API 分为 REST Client API（http请求形式）以及 transportClient API两种。相比来说transportClient API效率更高，transportClient 是通过Elasticsearch内部RPC的形式进行请求的，连接可以 阅读全文
摘要：
我们直接上代码吧，代码中有注释说明。 阅读全文
摘要：
一个系统或者网站在功能开发完成后一般最终都需要部署到服务器上运行，那么服务器的性能监控和分析就显得非常重要了，选用什么配置的服务器、如何对服务器进行调优、如何从服务器监控中发现程序的性能问题、如何判断服务器的瓶颈在哪里等 就成为了服务器性能监控和分析时重点需要去解决的问题了。 本文章节目录： 1 服 阅读全文
摘要：
Phoenix是一个开源的HBase SQL层。它不仅可以使用标准的JDBC API替代HBase Client API创建表，插入和查询HBase，也支持二级索引、事物以及多种SQL层优化。 此系列文章将会从Phoenix的语法和功能特性、相关工具、实践经验以及应用案例多方面从浅入深的阐述。希望对 阅读全文
摘要：
人工智能-智能创意平台架构成长之路(一)--长篇开篇 人工智能-智能创意平台架构成长之路(二)--大数据架构篇 人工智能-智能创意平台架构成长之路(三)--机器学习算法工程服务化 人工智能-智能创意平台架构成长之路(四)-丰富多彩的banner图生成解密第一部分（对标阿里鹿班的设计） (成长之路序列 阅读全文
摘要：
笔者接着 RobotFramework自动化测试框架-DatabaseLibrary库的使用(对数据库的操作) 继续分享robotframework 对数据库中的MongoDB的详细操作。这是笔者第二篇关于robotframework 对数据库的操作的分享介绍。 MongoDB是非常常用的一个非关系 阅读全文
摘要：
人工智能-智能创意平台架构成长之路(一)--长篇开篇 人工智能-智能创意平台架构成长之路(二)--大数据架构篇 人工智能-智能创意平台架构成长之路(三)--机器学习算法工程服务化 人工智能-智能创意平台架构成长之路(四)-丰富多彩的banner图生成解密第一部分（对标阿里鹿班的设计） 我们接着 人工 阅读全文
摘要：
一、简介 1、概述 Impala是Cloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。 •基于Hive使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点 impala使用hive的元数据, 完全在内存中计算 •是CDH平台首选的PB级大数据实时查询 阅读全文
摘要：
引 如果对什么是线程、什么是进程仍存有疑惑，请先Google之，因为这两个概念不在本文的范围之内。 用多线程只有一个目的，那就是更好的利用cpu的资源，因为所有的多线程代码都可以用单线程来实现。说这个话其实只有一半对，因为反应“多角色”的程序代码，最起码每个角色要给他一个线程吧，否则连实际场景都无法 阅读全文
摘要：
1、 早期关系型数据库之间的数据同步 1）、全量同步 比如从oracle数据库中同步一张表的数据到Mysql中，通常的做法就是 分页查询源端的表，然后通过 jdbc的batch 方式插入到目标表，这个地方需要注意的是，分页查询时，一定要按照主键id来排序分页，避免重复插入。 2）、基于数据文件导出和 阅读全文
摘要：
人工智能-智能创意平台架构成长之路(一)--长篇开篇 人工智能-智能创意平台架构成长之路(二)--大数据架构篇 人工智能-智能创意平台架构成长之路(三)--机器学习算法工程服务化 人工智能-智能创意平台架构成长之路(四)-丰富多彩的banner图生成解密第一部分（对标阿里鹿班的设计） 人工智能-智能 阅读全文
摘要：
(这是第一篇开篇，成长之路序列会包含多篇，笔者作为这个平台的架构兼技术经理，充分讲述其中的迭代心酸之路以及中间遇到的问题和解决方案) 声明：文章不涉及公司内部技术资料的外泄，涉及的图片都是重画的简易架构图，主要通过架构的演进，讲述分享技术的迭代之路和过程，进行技术交流和探讨。 人工智能-智能创意平台 阅读全文
摘要：
运行结果如下 D:\python\Python3\python.exe D:/project/python/zj_scrapy/zj_scrapy/SyncCrawlSjqq.py ['宜人贷借款', '大智慧', '中国建设银行', '同花顺手机炒股股票软件', '随手记理财记账', '平安金管家 阅读全文
摘要：
关于爬虫平台的架构设计实现和框架的选型(一) 关于爬虫平台的架构设计实现和框架的选型(二)--scrapy的内部实现以及实时爬虫的实现 首先来看一下一个爬虫平台的设计，作为一个爬虫平台，需要支撑多种不同的爬虫方式，所以一般爬虫平台需要包括 1、 爬虫规则的维护，平台在接收到爬虫请求时，需要能按照匹配 阅读全文
摘要：
Region的概念 Region是HBase数据管理的基本单位。数据的move,数据的balance，数据的split，都是按照region来进行操作的。 region中存储这用户的真实数据，而为了管理这些数据，HBase使用了RegionSever来管理region。 一个表中可以包含一个或多个R 阅读全文
摘要：
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流 阅读全文
摘要：
序 关于自动化测试的工具和框架其实有很多。自动化测试在测试IT行业中扮演着越来越重要的角色，不管是在传统的IT行业还是高速发展的互联网行业或是如今的大数据和大热的人工智能领域，都离不开测试，也更加离不开自动化测试。自动化测试已经发展了很多年，在很多大的互联网公司里他们不但有自己的自动化测试框架，甚至 阅读全文
摘要：
1.1. 性能测试的基础概念 性能可以理解为一个系统实现其功能的能力，从宏观上可以描述为系统能够稳定运行，高并发访问时系统不会出现宕机，系统处理完成用户请求需要的时间，系统能够同时支撑的并发访问量，系统每秒可以处理完成的事物数等，从微观上可以描述为处理每个事务的资源开销，资源的开销可以包括CPU，磁 阅读全文
摘要：
ByteBuffer有两种: heap ByteBuffer -> -XX:Xmx 1.一种是heap ByteBuffer,该类对象分配在JVM的堆内存里面，直接由Java虚拟机负责垃圾回收， direct ByteBuffer -> -XX:MaxDirectMemorySize 2.一种是di 阅读全文
摘要：
报错日志： 2018-12-17 10:01:19,688 ERROR [io.undertow.request] (default task-3) UT005023: Exception handling request to /xxx/app/bannerMaterialManager/uplo 阅读全文
摘要：
转载自http://yangyangmyself.iteye.com/blog/2321759 1、Druid 查询概述 上一节完成数据导入后，接下来讲讲Druid如何查询及统计分析导入的数据。 Druid的查询是使用REST风格的HTTP请求查询服务节点（Broker、Historical、Rea 阅读全文
摘要：
一、SynchronousQueue简介 Java 6的并发编程包中的SynchronousQueue是一个没有数据缓冲的BlockingQueue，生产者线程对其的插入操作put必须等待消费者的移除操作take，反过来也一样。 不像ArrayBlockingQueue或LinkedListBloc 阅读全文
摘要：
性能测试中除了需要做好性能测试外，我们还需要做性能测试后的，性能调优，需要发现性能问题，也需要做性能调优，在做性能调优中，jvm的性能调优是经常遇到的一个。 随着jdk版本的迅速变化，jdk里面的GC算法也是发生了很多变化，新版的jdk中，G1的已经成了jdk的默认算法了，性能测试中，我们经常关注的 阅读全文
摘要：
This sample file is meant as a guide only. Do not copy/paste the entire content into your application; rather pick only the properties that you need. 阅读全文
摘要：
自动转开发后，就很少关注性能测试方面的东西，最近在帮朋友做一个性能压测，由于朋友那边的公司比较小，环境比较简单，而且是对http服务进行的压测，所以最终 选用了jmeter来实现这个压测。 如下就是我们的场景，多个并发用户，每个用户需要先登录，而且只需要登录一次，每个并发登录成功后，会产生一个acc 阅读全文
摘要：
Selenium出来已经有很多年了，从最初的Selenium1到后来的Selenium2，也变得越来越成熟，而且也已经被很多公司广泛使用。Selenium发展的过程中，分了很多模块，这里我们主要介绍Webdriver，Webdriver已经被很多浏览器所兼容。WebDriver在自动化脚本和浏览器之 阅读全文
摘要：
在很多高并发请求的情况下，我们经常需要对系统进行限流，而且需要对应用集群进行全局的限流，那么我们如何类实现呢。 我们可以利用redis的缓存来进行实现，并且结合mysql数据库一起，先来看一个流程图。 这个就是一个典型的对http请求进行全局限流的流程图。 入口通过请求拦截器进行拦截（filter） 阅读全文
摘要：
阅读全文
阅读全文