摘要：连接MySQL数据库，并读取数据： 1 import pymysql 2 import pandas as pd 3 4 #显示所有列 5 pd.set_option('display.max_columns', None) 6 #显示所有行 7 pd.set_option('display.max 阅读全文

摘要：1 # 开始写爬虫前，先确定目标网页是否允许爬取相关页面 2 from urllib.robotparser import RobotFileParser 3 4 UrlRobots = 'https://book.douban.com/robots.txt' 5 6 def GetRobotsTx 阅读全文

摘要：备忘 1 import urllib.parse 2 import urllib.request 3 # 将数据使用urlencode编码处理后，再使用encoding设置为utf-8编码 4 data = bytes(urllib.parse.urlencode({"word":"hello"}) 阅读全文

摘要：为了分析深圳市所有长租、短租公寓的信息，爬取了某租房公寓网站上深圳区域所有在租公寓信息，网站上租房信息共有258页，每页有20条租房信息(第258页为13条)，以下记录了爬取过程以及爬取过程中遇到的问题： 爬取流程： 爬取代码： 1 import requests 2 from requests.e 阅读全文