crawl - 随笔分类(第4页) - xxxxxxxx1x2xxxxxxx

通过设置Referer反"反盗链"

摘要：package cn.searchphoto.util; import java.io.File; import java.io.FileOutputStream; import java.io.InputStream; import java.io.OutputStream; import jav 阅读全文

posted @ 2016-01-28 19:27 xxxxxxxx1x2xxxxxxx 阅读(321) 评论(0) 推荐(0)

Referer反反盗链

摘要：0x00 前言最近用Python非常多，确实感受到了Python的强大与便利。但同时我并没有相见恨晚的感觉，相反我很庆幸自己没有太早接触到Python，而是基本按着C→C++→Java→Python这条路学习下来的，因为过早使用太便利的方法有可能使你对底层细节一无所知。现在我对HTTP协议的了解阅读全文

posted @ 2016-01-28 19:18 xxxxxxxx1x2xxxxxxx 阅读(288) 评论(0) 推荐(0)

反盗链

摘要：盗链是指服务提供商自己不提供服务的内容，通过技术手段绕过其它有利益的最终用户界面(如广告)，直接在自己的网站上向最终用户提供其它服务提供商的服务内容，骗取最终用户的浏览和点击率。受益者不提供资源或提供很少的资源，而真正的服务提供商却得不到任何的收益。网站盗链会大量消耗被盗链网站的带宽，而真正的点阅读全文

posted @ 2016-01-28 19:04 xxxxxxxx1x2xxxxxxx 阅读(149) 评论(0) 推荐(0)

"技术框架太多，多的眼花缭乱，如何在众多选择中找到自己的方向？

摘要："技术框架太多，多的眼花缭乱，如何在众多选择中找到自己的方向？"，经常有人这么问我。咱们从开源项目说起，可以从两个维度来对开源项目进行分类，一方面是编程语言，另一方面是应用领域。首先说编程语言，像Java、C#、PHP、C/C++、Ruby、 Python、Go、JS、SCALA等等，有非常多的编程... 阅读全文

posted @ 2016-01-05 15:08 xxxxxxxx1x2xxxxxxx 阅读(192) 评论(0) 推荐(0)

基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎

摘要：基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎网络爬虫架构在Nutch+Hadoop之上，是一个典型的分布式离线批量处理架构，有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项。由于网络爬虫只负责网络资源的抓取，所以，需要一个分布式搜索引擎，用来对网络爬... 阅读全文

posted @ 2016-01-05 15:04 xxxxxxxx1x2xxxxxxx 阅读(250) 评论(0) 推荐(0)

nutch

摘要：http://www.cnblogs.com/clarkchen/archive/2011/03/10/1980194.htmlhttp://www.cnblogs.com/freebsd-pann/archive/2011/11/08/2238163.htmlhttp://www.cnblogs.... 阅读全文

posted @ 2016-01-05 14:43 xxxxxxxx1x2xxxxxxx 阅读(148) 评论(0) 推荐(0)

selenium经过WebDriverWait实现ajax测试

摘要：当前位置:我的异常网» Web前端»selenium经过WebDriverWait实现ajax测试selenium经过WebDriverWait实现ajax测试www.MyException.Cn网友分享于：2013-09-12浏览：217次selenium通过WebDriverWait实现ajax... 阅读全文

posted @ 2016-01-05 11:03 xxxxxxxx1x2xxxxxxx 阅读(200) 评论(0) 推荐(0)

selenium webdriver缺陷

摘要：关闭selenium webdriver缺陷除了http://573301735.com/?p=5126讲的，昨天又发现一个让我1个小时生不如死的问题，就是使用两个不同的配置文件来初始化driver，findelement方法获取到的坐标居然不一样，使用其中一个配置文件初始化的dr... 阅读全文

posted @ 2016-01-05 10:41 xxxxxxxx1x2xxxxxxx 阅读(255) 评论(0) 推荐(0)

selenium2支持无界面操作(HtmlUnit和PhantomJs)

摘要：selenium2支持无界面操作(HtmlUnit和PhantomJs)selenium2支持通过各种driver（FirfoxDriver，IternetExplorerDriver，OperaDriver，ChromeDriver）驱动真实浏览器完成测试的。其实selenium也是支持无界面浏览... 阅读全文

posted @ 2016-01-05 10:30 xxxxxxxx1x2xxxxxxx 阅读(1571) 评论(0) 推荐(0)

selenium让人摸不着头脑的问题

摘要：selenium让人摸不着头脑的问题问题一使用webdriver驱动firefox浏览器时如果不设置参数，默认使用的Firefox的profile和平时打开浏览器使用的firefox不一样，如果要使用平常使用的配置，解决方法：string sPath = @"C:\Users\xxxx\AppDa... 阅读全文

posted @ 2016-01-05 10:29 xxxxxxxx1x2xxxxxxx 阅读(197) 评论(0) 推荐(0)

页面加载时间过长

摘要：1. selenium webdriver在get方法会一直等待页面加载完毕才会执行后面的，可如果加载时间太长会导致后续操作无法进行。例如：get 汽车之家页面时会等待很长时间，其实页面基本元素都已加载，可进行后续操作可以通过set_page_load_time()方法来设定时间，然后捕获timeo... 阅读全文

posted @ 2016-01-05 10:27 xxxxxxxx1x2xxxxxxx 阅读(364) 评论(0) 推荐(0)

Selenium Test 自动化测试入门级学习笔记

摘要：Selenium Test 自动化测试入门级学习笔记1、下载安装Firefox-selenium插件需要下载插件可以联系，这里暂不提供下载地址。　2、集成Eclipse 需要下载jar包可以联系，这里暂不提供下载地址。集成Eclipse非常简单，加载进去jar包就OK！3、通过Sele... 阅读全文

posted @ 2016-01-05 10:25 xxxxxxxx1x2xxxxxxx 阅读(186) 评论(0) 推荐(0)

Selenium 2.0 WebDriver 自动化测试使用教程实例教程 API快速参考

摘要：Selenium 2.0 WebDriver 自动化测试使用教程实例教程 API快速参考//System.setProperty("webdriver.firefox.bin", "E:/firefox/firefox.exe");//FirefoxDriver dr = new Firefox... 阅读全文

posted @ 2016-01-05 10:24 xxxxxxxx1x2xxxxxxx 阅读(159) 评论(0) 推荐(0)

Selenium执行测试脚本稳定性的一些经验分享交流

摘要：Selenium执行测试脚本稳定性的一些经验分享交流公司的自动化WEB测试框架IATA已上线运行了一段时间，期间发现一些脚本稳定性的问题，与大家分享一下。 CASE执行游览器：ie firefox chrome 稳定性问题一、在持续执行WEB自动化的过程中，如需持续执行脚本，比如持续跑... 阅读全文

posted @ 2016-01-05 10:23 xxxxxxxx1x2xxxxxxx 阅读(424) 评论(0) 推荐(0)

怎么等待页面元素加载完成

摘要：怎么等待页面元素加载完成web的自动化测试中，我们经常会遇到这样一种情况：当我们的程序执行时需要页面某个元素，而此时这个元素还未加载完成，这时我们的程序就会报错。怎么办？等待。等待元素出现后再进行对这个元素的操作。在selenium-webdriver中我们用两种方式进行等待：明确的等待和隐性的等待... 阅读全文

posted @ 2016-01-05 10:15 xxxxxxxx1x2xxxxxxx 阅读(438) 评论(0) 推荐(0)

如何智能的等待页面加载完成

摘要：如何智能的等待页面加载完成web的自动化测试中，我们经常会遇到这样一种情况：点击1个按钮，页面上会弹出1个iframe，这时候脚本就需要去等待iframe加载完毕才能进行后续的操作。在这种情况下，我们一般的处理思路是等待被等待对象上的某个子元素出现，当这个子元素出现时我们就认为该对象已经加载完毕，代... 阅读全文

posted @ 2016-01-05 10:09 xxxxxxxx1x2xxxxxxx 阅读(281) 评论(0) 推荐(0)

c#抓取动态页面WebBrowser

摘要：在ajax横行的年代，很多网页的内容都是动态加载的，而我们的小爬虫抓取的仅仅是web服务器返回给我们的html，这其中就跳过了js加载的部分，也就是说爬虫抓取的网页是残缺的，不完整的，下面可以看下博客园首页从首页加载中我们看到，在页面呈现后，还会有5个ajax异步请求，在默认的情况下，爬虫是抓... 阅读全文

posted @ 2016-01-04 18:40 xxxxxxxx1x2xxxxxxx 阅读(2435) 评论(0) 推荐(0)

PhantomJS是一个基于WebKit的服务器端JavaScript API

摘要：PhantomJS是一个基于WebKit的服务器端JavaScript API，它基于 BSD开源协议发布。PhantomJS无需浏览器的支持即可实现对Web的支持，且原生支持各种Web标准，如DOM 处理、JavaScript、CSS选择器、JSON、Canvas和可缩放矢量图形SVG。Phant... 阅读全文

posted @ 2016-01-04 18:35 xxxxxxxx1x2xxxxxxx 阅读(304) 评论(0) 推荐(0)

SynchronousQueue、LinkedBlockingQueue、ArrayBlockingQueue性能测试

摘要：SynchronousQueue、LinkedBlockingQueue、ArrayBlockingQueue性能测试 JDK6对SynchronousQueue做了性能优化，避免对竞争资源加锁，所以想试试到底平时是选择SynchronousQueue还是其他BlockingQueue。对于容... 阅读全文

posted @ 2016-01-04 17:30 xxxxxxxx1x2xxxxxxx 阅读(210) 评论(0) 推荐(0)

JDK源码分析—— ArrayBlockingQueue 和 LinkedBlockingQueue

摘要：JDK源码分析—— ArrayBlockingQueue 和 LinkedBlockingQueue目的：本文通过分析JDK源码来对比ArrayBlockingQueue 和LinkedBlockingQueue，以便日后灵活使用。1. 在Java的Concurrent包中，添加了阻塞队列Block... 阅读全文

posted @ 2016-01-04 17:22 xxxxxxxx1x2xxxxxxx 阅读(537) 评论(0) 推荐(0)

yyyyyyyyyyyyyyyyyyyy

公告

随笔分类 - crawl