摘要：
Jmeter 案例：不同用户登录，买不同的商品 需求： 对登录的用户进行参数化，设置一个线程，多次循环（6次），每循环一次都是不同的用户登录。 关键点： 1、对账号和密码进行CSV参数化 2、对添加到购物车一步的商品id进行CSV参数化： 3、勾选反复清楚cookie，因为cookie能保持用户的登 阅读全文
posted @ 2020-08-26 23:59
Whatever_It_Takes
阅读(555)
评论(0)
推荐(0)
摘要：
Jmeter CSV参数化案例 下面以注册xiaoqiangshop账户为例，进行一次CSV参数化的演示： CSV参数化学习链接：https://www.cnblogs.com/wwho/p/7292006.html 6.1新建CSV Data Set Config 6.2填写配置信息 6.3创建c 阅读全文
posted @ 2020-08-26 23:57
Whatever_It_Takes
阅读(379)
评论(0)
推荐(0)
摘要：
JMeter使用案例2（Json response+Header manager) 本案例的使用网址：http://192.168.239.130:8080/recruit.students/login/view (招生部署系统)，账号密码： admin test123 先整体看一下最终的效果： 这 阅读全文
posted @ 2020-08-26 23:55
Whatever_It_Takes
阅读(419)
评论(0)
推荐(1)
摘要：
JMeter常用目录介绍 启动JMeter时，我们会发现一些提示信息： 这几句话的意思是：不要使用GUI模式来进行压力测试（负载测试），此模式仅适用于测试创建和测试调试，对于压力测试，请使用CLI命令行模式（Non GUI) 。 既然有可能要使用CLI命令行模式，那我们就来了解一些JMeter常用的 阅读全文
posted @ 2020-08-26 23:51
Whatever_It_Takes
阅读(655)
评论(0)
推荐(0)
摘要：
fiddler抓包+Jmeter入门 以linux系统（xiaoqiang)的网站为例，学习抓包和Jmeter的使用。账号密码：xiaoqiang1和123123 前备知识： Jmeter基本操作： 1、新建testplan测试计划，新建线程组Thread Group 新建http request（ 阅读全文
posted @ 2020-08-26 23:50
Whatever_It_Takes
阅读(284)
评论(0)
推荐(0)
摘要：
Jmeter初步学习 1. Jmeter简介 1.1什么是Jmeter Apache JMeter是Apache组织开发的基于Java的压力测试工具。用于对软件做压力测试，它最初被设计用于Web应用测试，但后来扩展到其他测试领域。 它可以用于测试静态和动态资源，例如静态文件、Java 小服务程序、C 阅读全文
posted @ 2020-08-26 23:48
Whatever_It_Takes
阅读(251)
评论(0)
推荐(0)
摘要：
Fiddler介绍 % ## Fiddler工作原理 % 终端设备（web、app）发出请求，fiddler作为代理，传给服务器；服务器返回数据，fiddler拦截后，再传给终端设备。 % % # Fiddler安装及设置 % 双击Fiddler安装包，即可安装。安装后，如果需要抓https协议 阅读全文
posted @ 2020-08-26 23:46
Whatever_It_Takes
阅读(131)
评论(0)
推荐(0)
摘要：
推荐学习网址链接： https://www.cnblogs.com/poloyy/category/1746599.html https://www.cnblogs.com/poloyy/tag/ 认识接口测试 我们一起来认识一下接口测试，首先从我们熟悉的普通基于图形界面做的手工测试开始。 手工测试 阅读全文
posted @ 2020-08-26 23:41
Whatever_It_Takes
阅读(190)
评论(0)
推荐(0)
摘要：
http协议 http是什么 HTTP（超文本传输协议）是一个基于请求与响应模式的、无状态的（所以浏览器要依靠cookie、token等保持登录状态）、应用层的协议。 HTTP协议是一个基于TCP协议之上的请求-响应协议。 http协议的url解析 http://apis.juhe.cn/mobil 阅读全文
posted @ 2020-08-26 23:39
Whatever_It_Takes
阅读(169)
评论(0)
推荐(0)
摘要：
hdfs小文件解决方案总结 小文件的问题弊端 HDFS上每个文件都要在NameNode上建立一个索引，这个索引的大小约为150byte，这样当小文件比较多的时候，就会产生很多的索引文件，一方面会大量占用NameNode的内存空间，另一方面就是索引文件过大使得索引速度变慢。 小文件的解决方案 小文件的 阅读全文
posted @ 2020-08-26 23:34
Whatever_It_Takes
阅读(366)
评论(0)
推荐(0)
摘要：
hadoop的企业级调优 HDFS参数调优hdfs-site.xml (1) 设置参数dfs.namenode.handler.count dfs.namenode.handler.count=20 * log2(Cluster Size) //该参数用来调整namenode处理客户端的线程数，根据 阅读全文
posted @ 2020-08-26 23:32
Whatever_It_Takes
阅读(299)
评论(0)
推荐(0)
摘要：
yarn的任务调度器 资源调度器是YARN最核心的组件之一，是一个插拔式的服务组件，负责整个集群资源的管理和分配。YARN提供了三种可用的资源调度器：FIFO、Capacity Scheduler、Fair Scheduler。 先进先出调度器（FIFO） FIFO按照先到先得的原则，进行分配资源。 阅读全文
posted @ 2020-08-26 23:30
Whatever_It_Takes
阅读(2037)
评论(0)
推荐(1)
摘要：
yarn工作机制 大致过程 MR程序提交到客户端所在的节点。 YarnRunner向ResourceManager申请一个Application。 RM将该应用程序的资源路径返回给YarnRunner。 该程序将运行所需资源提交到HDFS上。 程序资源提交完毕后，申请运行mrAppMaster。 R 阅读全文
posted @ 2020-08-26 23:27
Whatever_It_Takes
阅读(332)
评论(0)
推荐(0)
摘要：
yarn介绍 yarn(Yet Another Resource Negotiator)是一个新的资源管理器，hadoop2.0的时候开始引入yarn，引入yarn是为了分离hadoop的资源管理和计算组件。yarn是一个通用的管理框架，在yarn上不仅仅可以运行Mapreduce，还可以支持其它的 阅读全文
posted @ 2020-08-26 23:25
Whatever_It_Takes
阅读(309)
评论(0)
推荐(0)
摘要：
Mapreduce当中的join操作 案例需求 订单数据表t_order： id date pid amount 1001 20150710 P0001 2 1002 20150710 P0002 3 1002 20150710 P0003 3 1003 20150812 P0003 1 商品信息表 阅读全文
posted @ 2020-08-26 23:22
Whatever_It_Takes
阅读(351)
评论(0)
推荐(0)
摘要：
MapReduce当中的计数器 计数器 计数器是收集作业统计信息的有效手段之一，用于质量控制或应用级统计。计数器还可辅助诊断系统故障。如果需要将日志信息传输到map 或reduce 任务， 更好的方法通常是看能否用一个计数器值来记录某一特定事件的发生。对于大型分布式作业而言，使用计数器更为方便。除了 阅读全文
posted @ 2020-08-26 23:20
Whatever_It_Takes
阅读(274)
评论(0)
推荐(0)
摘要：
shuffle当中的数据压缩 为什么要压缩？ 在shuffle阶段，可以看到数据通过大量的拷贝，从map阶段输出的数据，都要通过网络拷贝，发送到reduce阶段，这一过程中，涉及到大量的网络IO，如果数据能够进行压缩，那么数据的发送量就会少得多，而且也不会占用那么多本地磁盘空间。 压缩步骤大致处于m 阅读全文
posted @ 2020-08-26 23:13
Whatever_It_Takes
阅读(288)
评论(0)
推荐(0)
摘要：
MapTask工作机制（重点） Read阶段--》Map阶段--》Collect阶段--》spill阶段--》Combine阶段 Read阶段 有个文件hello.txt大小为200M，客户端首先获取待处理文件信息，然后根据参数配置，形成一个任务分配的规划。 再调用submit()方法，把要执行的j 阅读全文
posted @ 2020-08-26 23:10
Whatever_It_Takes
阅读(659)
评论(0)
推荐(0)
摘要：
自定义OutputFormat类 思考一个问题：我们前面编程的时候可以发现，一个reducetask默认会把结果输出到一个文件。那如果我们想要让一个reducetask的结果分类输出到不同文件中，要怎么实现，我们可以通过自定义outputformat类来解决。 案例需求 现在有一些订单的评论数据，需 阅读全文
posted @ 2020-08-26 23:06
Whatever_It_Takes
阅读(247)
评论(0)
推荐(0)
摘要：
Mapreduce--分区（shuffle) 分区partition 我们来回顾一下mapreduce编程指导思想中的第三个步骤（shuffle阶段的分区）： 第三步：对输出的key，value对进行分区：相同key的数据发送到同一个reduce task里面去，相同key合并，value形成一个集 阅读全文
posted @ 2020-08-26 00:00
Whatever_It_Takes
阅读(2732)
评论(0)
推荐(1)
浙公网安备 33010602011771号