随笔分类 -  爬虫

摘要：周末下雨，原本计划泡汤，只好宅在家中。翻翻网页，觉着写一个python爬虫吧。作为一个只会c的程序员，表示python的基本语法看起来还是蛮清楚的。大致差不多。然后就爬一下基金的当前价格吧，本来想着写完后让它一直运行，后来写完发现mathematica里直接有函数可以查往年基金价格的接口，那就没必要... 阅读全文

摘要：今天看了一下网络爬虫。看了很多博主的博文教程，自己也跟着教程走了一遍。参考的是http://kylen314.blog.com/2013/10/01/scrrapy_note1/ 这个博主的博文。内容通俗易懂，但是首先要先在电脑上安装一个scrapy。根据网上介绍，它是一个很流弊的爬虫框架，在网上有... 阅读全文

摘要：最近在浏览网页的时候，无意中看到一个词“爬虫”。最简单的就是将网页页面直接保存下来，这时候得到的是一个html文件。聚焦爬虫工作原理网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过... 阅读全文