随笔分类 -  Python 爬虫

摘要：scrapy post请求 以百度翻译为例： import scrapy import json class TransSpiderSpider(scrapy.Spider): name = "trans_spider" allowed_domains = ["baidu.com"] # start 阅读全文

摘要：Python中 json的基本使用 json.dumps() 和json.loads() JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，它是JavaScript的子集，易于人阅读和编写。 Json最广泛的应用是作为AJAX中web服务器和客户端的通讯的 阅读全文

摘要：认识爬虫 一、爬虫相关概念 爬虫的概念： 网络爬虫也叫网络蜘蛛，特指一类自动批量下载网络资源的程序，这是一个比较口语化的定义。 更加专业和全面对的定义是：网络爬虫是伪装成客户端与服务端进行数据交互的程序。 爬虫的作用： 数据采集，搜索引擎，模拟操作。 爬虫的分类： 通用爬虫：搜索引擎的重要组成成分 阅读全文