yyyyyyyyyyyyyyyyyyyy

博客园 首页 新随笔 联系 订阅 管理

2016年1月5日 #

摘要: 配置nutch(nutch文件夹已在/home目录下)1. 修改系统环境变量sudo gedit /etc/profile//增加#set nutchexport PATH=/home/nutch/runtime/local/bin:$PATH2. 测试(nutch/runtime/local/bi... 阅读全文
posted @ 2016-01-05 17:42 xxxxxxxx1x2xxxxxxx 阅读(180) 评论(0) 推荐(0)

摘要: 一、下载GlassFish Server 通过如下地址下载合适版本: http://glassfish.java.net/public/downloadsindex.html http://www.oracle.com/technetwork/java/javaee/downloads/ogs-3... 阅读全文
posted @ 2016-01-05 17:29 xxxxxxxx1x2xxxxxxx 阅读(339) 评论(0) 推荐(0)

摘要: ln -s 时bash: : Too many levels of symbolic links改为绝对路径, 阅读全文
posted @ 2016-01-05 17:26 xxxxxxxx1x2xxxxxxx 阅读(333) 评论(0) 推荐(0)

摘要: Nutch网页抓取速度优化Here are the things that could potentially slow down fetching1) DNS setup2) The number of crawlers you have, too many, too few.3) Bandwid... 阅读全文
posted @ 2016-01-05 17:10 xxxxxxxx1x2xxxxxxx 阅读(171) 评论(0) 推荐(0)

摘要: 裁剪nutch 8步骤 阅读全文
posted @ 2016-01-05 16:34 xxxxxxxx1x2xxxxxxx 阅读(171) 评论(0) 推荐(0)

摘要: Nutch2.3 编译和安装配置[一]、介绍Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。现在Nutch分为两个版本:1.x和2.x,这两个版本的 主要区别在于底层的存储不同。1.x版本是基于Hadoop架构的,底层存储使用的... 阅读全文
posted @ 2016-01-05 16:30 xxxxxxxx1x2xxxxxxx 阅读(473) 评论(0) 推荐(0)

摘要: idea自动导包设置 1、配置 进入file-setting 2、说明 勾选标注第1个选项,IDEA 自动帮我们导入需要用到的包。但是对于那些同名的包,还是需要手动 Alt + Enter 进行导入的 勾选标注第2个选项,IDEA自动帮我们优化导入的包,比如自动去掉一些没有用到的包。 阅读全文
posted @ 2016-01-05 16:14 xxxxxxxx1x2xxxxxxx 阅读(402) 评论(0) 推荐(0)

摘要: "技术框架太多,多的眼花缭乱,如何在众多选择中找到自己的方向?",经常有人这么问我。咱们从开源项目说起,可以从两个维度来对开源项目进行分类,一方面是编程语言,另一方面是应用领域。首先说编程语言,像Java、C#、PHP、C/C++、Ruby、 Python、Go、JS、SCALA等等,有非常多的编程... 阅读全文
posted @ 2016-01-05 15:08 xxxxxxxx1x2xxxxxxx 阅读(195) 评论(0) 推荐(0)

摘要: 基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎网络爬虫架构在Nutch+Hadoop之上,是一个典型的分布式离线批量处理架构,有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项。由于网络爬虫只负责网络资源的抓取,所以,需要一个分布式搜索引擎,用来对网络爬... 阅读全文
posted @ 2016-01-05 15:04 xxxxxxxx1x2xxxxxxx 阅读(251) 评论(0) 推荐(0)

摘要: http://www.cnblogs.com/clarkchen/archive/2011/03/10/1980194.htmlhttp://www.cnblogs.com/freebsd-pann/archive/2011/11/08/2238163.htmlhttp://www.cnblogs.... 阅读全文
posted @ 2016-01-05 14:43 xxxxxxxx1x2xxxxxxx 阅读(148) 评论(0) 推荐(0)

摘要: ant安装:http://apache.fayea.com//ant/binaries/apache-ant-1.9.6-bin.tar.gz/etc/profile添加:export ANT_HOME=/opt/apache-ant-1.9.6/export CLASSPATH=.:$ANT_HO... 阅读全文
posted @ 2016-01-05 14:16 xxxxxxxx1x2xxxxxxx 阅读(355) 评论(0) 推荐(0)

摘要: 当前位置:我的异常网» Web前端»selenium经过WebDriverWait实现ajax测试selenium经过WebDriverWait实现ajax测试www.MyException.Cn网友分享于:2013-09-12浏览:217次selenium通过WebDriverWait实现ajax... 阅读全文
posted @ 2016-01-05 11:03 xxxxxxxx1x2xxxxxxx 阅读(200) 评论(0) 推荐(0)

摘要: 查看当前android设备已安装的第三方包 adbshellpmlistpackage-32 adbshell"getpropro.build.version.sdk" 阅读全文
posted @ 2016-01-05 10:46 xxxxxxxx1x2xxxxxxx 阅读(301) 评论(0) 推荐(0)

摘要: 批处理学习总结之常用符号批处理是一种简化的脚本语言,也称作宏。它应用于DOS和Windows系统中,它是由DOS或者Windows系统内嵌的命令解释器(通常是 COMMAND. COM或者CMD.EXE)解释运行。类似于Unix中的Shell脚本。批处理文件具有.bat或者.cmd的扩展名,其最简单... 阅读全文
posted @ 2016-01-05 10:44 xxxxxxxx1x2xxxxxxx 阅读(265) 评论(0) 推荐(0)

摘要: DOS批处理延时技术举个例子,我们要延时5秒打开gdh.txt这个文件,可以用以下几个方法方法一:ping缺点:时间精度为1秒,不够精确 www.2cto.com @echo off@ping 127.0.0.1 -n 6 >nulstart gdh.txt 方法二:vbs start /wait... 阅读全文
posted @ 2016-01-05 10:43 xxxxxxxx1x2xxxxxxx 阅读(453) 评论(0) 推荐(0)

摘要: 关闭selenium webdriver缺陷 除了http://573301735.com/?p=5126讲 的,昨天又发现一个让我1个小时生不如死的问题,就是使用两个不同的配置文件来初始化driver,findelement方法获取到的坐标居然不一样, 使用其中一个配置文件初始化的dr... 阅读全文
posted @ 2016-01-05 10:41 xxxxxxxx1x2xxxxxxx 阅读(256) 评论(0) 推荐(0)

摘要: Appium小试 最近有空玩了一下Appium,记录一下 1.下载Appium for windows,现在是0.12.3版本 https://bitbucket.org/appium/appium.app/downloads/ 解压后如下图 双击Appium.exe就能启动Appium界面 点击L 阅读全文
posted @ 2016-01-05 10:39 xxxxxxxx1x2xxxxxxx 阅读(181) 评论(0) 推荐(0)

摘要: Appium介绍 Appium是一个移动端的自动化框架,可用于测试原生应用,移动网页应用和混合型应用,且是跨平台的。可用于IOS和Android以及firefox的操作系统。原生的应用是指用android或ios的sdk编写的应用,移动网页应用是指网页应用,类似于ios中safari应用或者Chro 阅读全文
posted @ 2016-01-05 10:38 xxxxxxxx1x2xxxxxxx 阅读(220) 评论(0) 推荐(0)

摘要: appium简明教程 什么是appium? 下面这段介绍来自于appium的官网。 Appium is an open-source tool you can use to automate mobile native, mobile web, and mobile hybrid applicati 阅读全文
posted @ 2016-01-05 10:38 xxxxxxxx1x2xxxxxxx 阅读(231) 评论(0) 推荐(0)

摘要: selenium2支持无界面操作(HtmlUnit和PhantomJs)selenium2支持通过各种driver(FirfoxDriver,IternetExplorerDriver,OperaDriver,ChromeDriver)驱动真实浏览器完成测试的。其实selenium也是支持无界面浏览... 阅读全文
posted @ 2016-01-05 10:30 xxxxxxxx1x2xxxxxxx 阅读(1576) 评论(0) 推荐(0)

摘要: selenium让人摸不着头脑的问题问题一使用webdriver驱动firefox浏览器时如果不设置参数,默认使用的Firefox的profile和平时打开浏览器使用的firefox不一样,如果要使用平常使用的配置,解决方法:​string sPath = @"C:\Users\xxxx\AppDa... 阅读全文
posted @ 2016-01-05 10:29 xxxxxxxx1x2xxxxxxx 阅读(198) 评论(0) 推荐(0)

摘要: 1. selenium webdriver在get方法会一直等待页面加载完毕才会执行后面的,可如果加载时间太长会导致后续操作无法进行。例如:get 汽车之家页面时会等待很长时间,其实页面基本元素都已加载,可进行后续操作可以通过set_page_load_time()方法来设定时间,然后捕获timeo... 阅读全文
posted @ 2016-01-05 10:27 xxxxxxxx1x2xxxxxxx 阅读(365) 评论(0) 推荐(0)

摘要: Selenium Test 自动化测试 入门级学习笔记1、下载安装Firefox-selenium插件 需要下载插件可以联系,这里暂不提供下载地址。 2、集成Eclipse 需要下载jar包可以联系,这里暂不提供下载地址。 集成Eclipse非常简单,加载进去jar包就OK!3、通过Sele... 阅读全文
posted @ 2016-01-05 10:25 xxxxxxxx1x2xxxxxxx 阅读(186) 评论(0) 推荐(0)

摘要: Selenium 2.0 WebDriver 自动化测试 使用教程 实例教程 API快速参考//System.setProperty("webdriver.firefox.bin", "E:/firefox/firefox.exe");//FirefoxDriver dr = new Firefox... 阅读全文
posted @ 2016-01-05 10:24 xxxxxxxx1x2xxxxxxx 阅读(159) 评论(0) 推荐(0)

摘要: Selenium执行测试脚本稳定性的一些经验分享交流 公司的自动化WEB测试框架IATA已上线运行了一段时间,期间发现一些脚本稳定性的问题,与大家分享一下。 CASE执行游览器:ie firefox chrome 稳定性问题 一、在持续执行WEB自动化的过程中,如需持续执行脚本,比如持续跑... 阅读全文
posted @ 2016-01-05 10:23 xxxxxxxx1x2xxxxxxx 阅读(425) 评论(0) 推荐(0)

摘要: 怎么等待页面元素加载完成web的自动化测试中,我们经常会遇到这样一种情况:当我们的程序执行时需要页面某个元素,而此时这个元素还未加载完成,这时我们的程序就会报错。怎么办?等待。等待元素出现后再进行对这个元素的操作。在selenium-webdriver中我们用两种方式进行等待:明确的等待和隐性的等待... 阅读全文
posted @ 2016-01-05 10:15 xxxxxxxx1x2xxxxxxx 阅读(441) 评论(0) 推荐(0)

摘要: 如何智能的等待页面加载完成web的自动化测试中,我们经常会遇到这样一种情况:点击1个按钮,页面上会弹出1个iframe,这时候脚本就需要去等待iframe加载完毕才能进行后续的操作。在这种情况下,我们一般的处理思路是等待被等待对象上的某个子元素出现,当这个子元素出现时我们就认为该对象已经加载完毕,代... 阅读全文
posted @ 2016-01-05 10:09 xxxxxxxx1x2xxxxxxx 阅读(281) 评论(0) 推荐(0)

摘要: [alexus@wcmisdlin02 bin]$ ./filezilla ./filezilla: /lib64/libstdc++.so.6: version `CXXABI_1.3.8' not found (required by ./filezilla)./filezilla: /lib6... 阅读全文
posted @ 2016-01-05 06:01 xxxxxxxx1x2xxxxxxx 阅读(410) 评论(0) 推荐(0)

摘要: 《深入理解OSGi:Equinox原理、应用与最佳实践》笔记_1_运行最简单的bundlehelloworld 买了周大大的OSGI的书看 先前完全没有基础 就靠这本书看看学学 顺便记一些笔记今天先跳到了第5章的equinox启航部分第一个简单的helloworld就遇到了问题....因为eclip... 阅读全文
posted @ 2016-01-05 05:10 xxxxxxxx1x2xxxxxxx 阅读(190) 评论(0) 推荐(0)

摘要: 本文对应书本5.1.3的内容书本中通过CVS下载的源码但是笔者实践的时候发现无法下载...地址已经失效了(也许是笔者的失误输错地址所致)可以用git下载地址是:http://git.eclipse.org/c/equinox进入需要下载的组件的页面 在最下面有git clone的地址http://g... 阅读全文
posted @ 2016-01-05 05:09 xxxxxxxx1x2xxxxxxx 阅读(249) 评论(0) 推荐(0)