07 2012 档案

摘要：由于要准备测试数据，不得不大量爬取某个网站的内容。为了防止被封，特意将爬虫设计为单线程同步的爬虫。结果在爬了大约3万个页面的时候，对方发回Access Denied。等一段时间后再启动爬虫，结果还是Access Denied。这时才明白这样的想法太天真了，当初就应该找其它方法来避免才对。而本文则记述了这些其它方法。1. 伪装user agent User agent 是HTTP协议的中的一个字段， 其作用是描述发出HTTP请求的终端的一些信息。 服务器通过这个字段就可以知道要访问网站的是什么人了。每个浏览器，每个正规的爬虫都有其固定的user agent，因此只要将这个字段改为这些知名... 阅读全文

摘要：1. CLAPACK简介 要了解CLAPACK，就要先知道什么是LAPACK。 LAPACK(LinearAlgebraPACKage)是一个高性能的线性代数计算库，以BLAS(Basic Linear Algebra Subprograms)为基础，用Fortran语言编写，可用于计算诸如求解线性代数方程、线性系统方程组的最小平方解、计算特征值和特征向量等问题。而CLAPACK则是LAPACK的C语言接口。2. CLPACK的安装 搜了不少网页，终于找到一个方便的安装方法(http://icl.cs.utk.edu/lapack-for-windows/clapack/index.ht... 阅读全文

摘要：1. kNN1.1 基本的kNN模型 kNN(k-nearest neighbor)的思想简单来说就是，要评价一个未知的东西U，只需找k个与U相似的已知的东西，并通过k个已知的，对U进行评价。假如要预测风炎君对一部电影M的评分，根据kNN的思想，我们可以先找出k个与风炎君相似的，并且对M进行过评分的用户，然后再用这k个用户的评分预测风炎君对M的评分。又或者先找出k个与M相似的，并且风炎君评价过的电影，然后再用这k部电影的评分预测风炎君对M的评分。在这个例子中，找相似用户的方法叫做user-based kNN，找相似物品的方法叫做item-based kNN。这两种方法的思想和实现都大同小异，. 阅读全文