上一页 1 2 3 4 5 6 ··· 9 下一页
2018年3月9日
ETL测试基本知识
摘要： 转载自： https://www.cnblogs.com/clarke157/p/6383024.html 一、ETL测试的重要性： ETL(Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程)作为BI/DW（Business Intelligence）的核心和灵魂，能 阅读全文
posted @ 2018-03-09 08:34 jaystarba 阅读(815) 评论(0) 推荐(0)
ETL 自动化测试框架
摘要： 分享个自己最近在做的自动化测试框架架构图。 数据的测试，入口一般定时任务。可添加参数选择执行任务的范围，也可以选择默认的执行范围。验证测试的为etl测试、数据库中的字段校验（通过对应关系、接口或者SQL校验）。 工具类 数据库工具类：定义一些数据库相关的操作，主要为操作MySQL。自定义了一些增删改 阅读全文
posted @ 2018-03-09 08:20 jaystarba 阅读(2118) 评论(0) 推荐(0)
2018年3月7日
大数据测试之ETL测试工具和面试常见的问题及答案
摘要： 转载自： http://www.51testing.com/html/87/n-3722487.html 概述 商业信息和数据对于任何一个企业而言都是至关重要的。现在很多公司都投入了大量的人力、资金和时间对这些信息、数据进行分析和整理。 数据的分析和整理已经获得了巨大的潜在市场，因此为了使得这个过程 阅读全文
posted @ 2018-03-07 17:04 jaystarba 阅读(4459) 评论(0) 推荐(0)
Hadoop面试链接
摘要： http://blog.csdn.net/haohaixingyun/article/details/52819457 http://blog.csdn.net/kingmax54212008/article/details/51257067 http://blog.csdn.net/lxhandl 阅读全文
posted @ 2018-03-07 16:41 jaystarba 阅读(224) 评论(0) 推荐(0)
Hadoop 面试总结
摘要： 1、简要描述如何安装配置一个开源的hadoop，只描述即可，列出完整步骤。 a、创建一个用户和用户组，用来管理hadoop项目 b、修改确定ip地址：vim /etc/sysconfig/network-scripts/ifcfg-eth0 c、修改主机名：vim /etc/sysconfig/ne 阅读全文
posted @ 2018-03-07 16:34 jaystarba 阅读(2665) 评论(0) 推荐(2)
Spark 基本架构及原理
摘要： 转载自： http://blog.csdn.net/swing2008/article/details/60869183 转自：http://www.cnblogs.com/tgzhu/p/5818374.html Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在 阅读全文
posted @ 2018-03-07 16:29 jaystarba 阅读(3298) 评论(0) 推荐(0)
HDFS默认副本数为什么是3
摘要： 转载自： https://www.cnblogs.com/bugchecker/p/why_three_replications_for_HDFS_in_engineer.html HDFS采用一种称为机架感知的策略来改进数据的可靠性、可用性和网络带宽的利用率。 在大多数情况下，HDFS的副本系数是 阅读全文
posted @ 2018-03-07 16:18 jaystarba 阅读(4680) 评论(0) 推荐(0)
2018年2月24日
Linux xargs
摘要： 产生命令的参数。常和find 在一起连用。 1. echo 'one two three' | xargs mkdir 2. find /tmp -mtime +14 | xargs rm 3. time find . -type f -name "*.txt" -exec rm {} \; 0.3 阅读全文
posted @ 2018-02-24 17:44 jaystarba 阅读(227) 评论(0) 推荐(0)
Redhat 7 之 Mariadb(mysql)
摘要： Redhat7 之后mysql 改为Mariadba，由于mysql 被卖给了IBM， 有闭源的风险。 所以就另外开了一个新的分支，继续开源。Maria 来源于mysql开发者的女儿的名字。 1. 安装MariaDB yum install -y mariadb mariadb-server sys 阅读全文
posted @ 2018-02-24 14:51 jaystarba 阅读(972) 评论(0) 推荐(0)
Cloudera 安装
摘要： 参考网址： http://tcxiang.iteye.com/blog/2087597 http://archive.cloudera.com/cdh5/ http://archive.cloudera.com/cm5/ Cloudera安装的关键点 1. 配置本地源： cloudera-manag 阅读全文
posted @ 2018-02-24 14:39 jaystarba 阅读(195) 评论(0) 推荐(0)
上一页 1 2 3 4 5 6 ··· 9 下一页