摘要：JMeter是Apache组织的开放源代码项目，它是功能和性能测试的工具，100%的用java实现，最新的版本是2.9，大家可以到官网下载源代码和查看相关文档。之前本科的时候，SQA课程作业中我们组使用过2.4版本，这次更新了2.9感觉最直观的就是界面上有了小的更改，增加了清除、启动等按钮。关于使用JMeter进行JDBC数据库测试、HTTP请求接口测试、结合Badboy录制功能进行网站性能测试等内容，网上的资料比较丰富，这里就暂时不做介绍了。更实用和灵活的场景，是实用我们自己编写的jar包进行测试，这也就是“Java请求”方式的测试。这里主要记录一下我在学习这种测试方式时遇到的一些问题，和总 阅读全文

摘要：这篇本来是想好好写的，今天看了一天了的，可是，组会好像有种要悲剧的感觉啊。。暴风雨前的宁静，尽量记录一些吧。上周把爬虫代码优化后，就哈皮哈皮的和未优化的版本一起跑了。起初，由于未优化的版本已经run了几天了，内存占用在200M多，而发现优化后的内存占用只有40M，所以很开心。但是不久就发现，优化后的版本，内存占用也会慢慢增加，大有一种“老娘给你分多少，你就要用多少”的赶脚。用jprofiler监控，自己开发的类的对象数量都比较正常，所以决定学习一下JVM内存管理相关的东西。JVM主要管理两种类型的内存：堆（Heap）和非堆。按照官方的说法：“Java虚拟机具有一个堆，堆是运行时数据区域，所有类 阅读全文

摘要：师兄部署了新的虚拟机，新学期大搞起来！之前由于爬虫代码不稳定，所以一直都是直接用Eclipse运行，然后遇到问题就修改的。但是这个比较麻烦，而且Eclipse本身就很占内存啊，摔！所以今天下午就把之前的代码清减了一下，对很多挫挫的System.out.println替换了log4j，路径啊数据库连接呀用配置文件处理了，最后打成可执行的Jar，这样在新的虚机上就可以大展拳脚咯^_^YBiu~废话说完，进入正题，将Java工程打包成可执行的Jar有各种方法，网上很多也不举例了，什么配置MANIFET文件啊之类的。其实有一个最简单可行的方法，就是直接用Eclipse导出Runnable JAR fi 阅读全文

摘要：上个学期做了很久的新浪爬虫，修修改改一直没时间做个整理，趁着开学前，重新整理了下思路和代码结构，做一个总结吧。本来是雄心壮志的想实现一个Java版本的、比较通用的爬虫框架的，但是整理后又发现此法真的是非常的简单粗暴，跟scrapy等没得比，其实没得比都是正常的啦，我自己本来就水，而且没有深入的去进行实现设计，所以，姑且总结一下当前的能力吧。实现语言：Java模拟HTTP请求：HttpClient 4.0目标页面结构分析、HTTP请求头信息分析：Firefox + firebug / Chrome（F12 开发者模式）HTML解析：Jsoup基本思路网络爬虫的基本思路是：爬虫线程从待抓取URL队 阅读全文