随笔分类 - 编程
开发,计算机,源码,编程,语言,经验,转载,学习,记录
摘要:使用Java发送这两种请求的代码大同小异,只是一些参数设置的不同。步骤如下:通过统一资源定位器(java.net.URL)获取连接器(java.net.URLConnection)设置请求的参数发送请求以输入流的形式获取返回内容关闭输入流Getpackage com.test.httprequest...
阅读全文
摘要:本文转载http://blog.csdn.net/jspamd/article/details/8194919 不同的Lucene分析器Analyzer,它对TokenStream进行分词的方法是不同的,这需要根据具体的语言来选择。比如英文,一般是通过空格来分割词条,而中文汉字则不能通过这种方式,...
阅读全文
摘要:抽象类 URLConnection 是所有类的超类,它代表应用程序和 URL 之间的通信链接。此类的实例可用于读取和写入此 URL 引用的资源。通常,创建一个到 URL 的连接需要几个步骤:openConnection() 对影响到远程资源连接的参数进行操作。connect() 与资源交...
阅读全文
摘要:类 URL 代表一个统一资源定位符,它是指向互联网“资源”的指针。资源可以是简单的文件或目录,也可以是对更为复杂的对象的引用,例如对数据库或搜索引擎的查询。URL(String spec) 根据 String 表示形式创建 URL 对象。URL(String protocol...
阅读全文
摘要:使用httpclient时发生如下告警信息:WARN - HttpMethodBase.processResponseHeaders(1505) |Cookie rejected: "$Version=0; U_TRS2=00000061.27163dd.4dfc994f.29e14b4d...
阅读全文
摘要:网络爬虫讲解地址:http://blog.csdn.net/luojinping/article/details/6870898 对于搜索引擎来说,要抓取互联网上所有的网页几乎是不可能的,从目前公布的数据来看,容量最大的搜索引擎也不过是抓取了整个网页数量的百分之四十左右1.抓取技术的瓶颈:无法遍历...
阅读全文
摘要:本文转载http://blog.csdn.net/luojinping/article/details/6870898转载过来主要是防止想百度文库一样突然停止运作,导致很多文库丢失而无法找寻 网络蜘蛛即Web Spider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬...
阅读全文
摘要:eclipse运行nutch1.4在window下面提示异常解决需要安装cynwin,被设置环境变量1:安装cygwin 注:在选择要安装的软件包的时候我选择了在All这一行上后面的Default上 点Install,全部安装,以免后患。2:默认的cygwin的ls命令不会更具文件的类型渲染...
阅读全文
摘要:下载 solr 5.3 版本:http://www.apache.org/dyn/closer.lua/lucene/solr/5.3.0下载 Tomcat(6以上版本),另外可以根据系统下载 32 位或者64位版本:http://tomcat.apache.org/解压 Tomcat 到一个目录,...
阅读全文
摘要:Nutch中的所有配置文件都放置在总目录下的conf子文件夹中,最基本的配置文件是conf/nutch-default.xml。这个文件中定义了Nutch的所有必要设置以及一些默认值,它是不可以被修改的。如果你想进行个性化设置,你需要在conf/nutch-site.xml进行设置,它会对默认设...
阅读全文
摘要:本文主要源于http://www.ibm.com/developerworks/cn/opensource/os-cn-nutchintro/基本信息 Nutch是一个开放源代码(open-source)的Java搜索引擎包,它提供了构建一个搜索引擎所需要的全部工具和功能。使用Nutch不仅可以建...
阅读全文
摘要:初次接触nutch,记录下来 首先数据库 表 eclipse安装svn,ivy,ant 以上两个插件是nutch项目租使用的插件,自行安装。 nutch2.1的远程svn库文件地址 https://svn.apache.org/repos/asf/nutch/tags/release-2.1 che
阅读全文
摘要:这是一个web搜索的基本程序,从命令行输入搜索条件(起始的URL、处理url的最大数、要搜索的字符串),它就会逐个对Internet上的URL进行实时搜索,查找并输出匹配搜索条件的页面。这个程序的原型来自《java编程艺术》,为了更好的分析,站长去掉了其中的GUI部分,并稍作修改以适用jdk1.5。...
阅读全文
摘要:http://itlab.idcquan.com/linux/special/linuxcom/Index.html
阅读全文
摘要:使用案例一 $.ajax({ url : webPath + "/clickCount", type : "POST", dataType : "json", data : { ids : ids },...
阅读全文
摘要:synchronized测试1写两个线程调用同一个方法,在其中分别做一个class和this的调用,看结果1.xx.classpublic class Test{ public static void main(String[] args) { System.out.printl...
阅读全文
摘要:ExtJs的Ajax提交主要是:Ext.Ajax.request或form1.getForm().submit,超时时间默认是30秒。很多时候,后台处理比较多,往往需要超出30秒的限制。此时,可以通过修改超时时间来打破限制。方法一:更改默认值的方式:Ext.Ajax.timeout=100000; ...
阅读全文
摘要:Collections工具类方法介绍Collections.reverse(list);//list顺序反转
阅读全文
摘要:通过url创建connection方式收取import java.io.BufferedReader;import java.io.ByteArrayOutputStream;import java.io.InputStream;import java.io.InputStreamReader;im...
阅读全文
摘要:/** * 判断请求是否手机端 * @param req * @return */ public static boolean isMobile(HttpServletRequest req) { UserAgent ua = UserAg...
阅读全文

浙公网安备 33010602011771号