yyyyyyyyyyyyyyyyyyyy

摘要： 现在，在不少应用场合中都希望做到数据抓取，特别是基于网页部分的抓取。其实网页抓取的过程实际上是通过编程的方法，去抓取不同网站网页后，再进行 分析筛选的过程。比如，有的比较购物网站，会同时去抓取不同购物网站的数据并将其保存在数据库中。一般，这些网页的抓取都需要对抓取回来的HTML进行解 析。.NET提... 阅读全文

摘要： 现在开发APP的方式变化，不在是传统的APP开发了，有很多的APP慢慢的转向混合模式的开发，使用WebView是传统开发模式转向混合模式的桥梁工具，结合了很多的Web前端开发界面，使得开发的速度加快，下面介绍Android中WebView的基础使用。 在开发过程中应该注意几点： 1.Android... 阅读全文

摘要： 对付"反盗链"某些站点有所谓的反盗链设置，其实说穿了很简单，就是检查你发送请求的header里面，referer站点是不是他自己，所以我们只需要像把headers的referer改成该网站即可，以cnbeta为例：#...headers = { 'Referer':'http://www.cn... 阅读全文

摘要： Nutch 开发语言：Java http://lucene.apache.org/nutch/ 简介： Apache的子项目之一，属于Lucene项目下的子项目。 Nutch是一个基于Lucene，类似Google的完整网络搜索引擎解决方案，基于Hadoop的分布式处理模型保证了系统的性能，类似Ec 阅读全文

摘要： 基于FP-Tree的关联规则FP-Growth推荐算法Java实现package edu.test.ch8;import java.util.ArrayList;import java.util.List;public class Item implements Comparable { pr... 阅读全文

摘要： 混合模式结合二、三两大步，通过模拟点击快速拿到cookie，虽然效率低，但可以减少数据包分析的时间以及解决搞不定ajax登陆验证的烦恼，然后继续用urllib2拼接cookie继续快速获取数据。分下面两步：a. 从selenium中拿到cookieb. 添加cookie给urllib2使用方法1：使... 阅读全文

摘要： 登陆之模拟点击工具：python/java + selenium + firefox/chrome/phantomjs（1）windows开发环境搭建默认已经安装好了firefox安装pippip是一个python的软件包管理工具，用于自动下载并安装、更新python包，python3之后的某些版本... 阅读全文

摘要： 登陆之数据包分析工具: python-urllib2 | firefox+firebug或者chrome，用浏览器打开登陆页面之后，按F12键会默认打开开发者工具或者启动firebug，点击network监听数据包，下面以itune的登陆举一个例子。1. 在浏览器中输入itunes的登陆地址：htt... 阅读全文

摘要： 谈谈android反编译和防止反编译的方法(转)android基于java的，而java反编译工具很强悍，所以对正常apk应用程序基本上可以做到100%反编译还原。因此开发人员如果不准备开源自己的项目就需要知道怎样防止反编译和反编译他人的项目来学习。2.3版本以上在eclipse自动生成的defau... 阅读全文

摘要： 今天我们要来分享一些关于Java的反编译工具，反编译听起来是一个非常高上大的技术词汇，通俗的说，反编译是一个对目标可执行程序进行逆向分析，从而得到原始代码的过程。尤其是像.NET、Java这样的运行在虚拟机上的编程语言，更容易进行反编译得到源代码。当然，也有一些商业软件，对其程序进行了混淆加密，这样... 阅读全文