2021年12月12日
爬虫学习笔记：创建随机User-Agent池
摘要： 一、背景介绍 User-Agent 即用户代理，简称 UA 。 它是一个特殊字符串，使得服务器能够识别客户使用的操作系统及版本、CPU类型、浏览器版本、浏览器渲染引擎、浏览器语言、浏览器插件等。 具备反爬措施的网站，通过判断 UA 的合理性，来响应请求，判断请求是否合法。 UA 的标准格式为： 浏览 阅读全文
posted @ 2021-12-12 12:35 Hider1214 阅读(3693) 评论(2) 推荐(0)
爬虫学习笔记：8684公交路线
摘要： SHOW ME THE CODE!!! 首先进行网页分析，具体操作：省略。 # -*- coding: utf-8 -*- """ Created on Fri Dec 10 16:25:59 2021 @author: Hider """ # 爬虫学习：8684公交路线 # 网站：https:// 阅读全文
posted @ 2021-12-12 01:01 Hider1214 阅读(409) 评论(0) 推荐(0)
Python学习笔记：pandas.to_csv设置encoding='utf-8-sig'解决中文乱码问题
摘要： Pandas中数据框（DataFrame）如果有中文，to_csv保存csv文件会导致乱码。 可通过以下设置编码解决： df.to_csv(r'data.csv', index=False, encoding='utf-8-sig') 阅读全文
posted @ 2021-12-12 00:59 Hider1214 阅读(6897) 评论(0) 推荐(0)