摘要： mac下载与配置mysql 下载安装包 下载地址： https://dev.mysql.com/downloads/mysql/ 这里有两个版本，大家选的时候要注意了，如果你的mac是M1芯片的话就选ARM版本的 双击安装 启动mysql 测试连接mysql 配置环境变量 如果没有配置环境变量的话会 阅读全文

摘要： 在requests发送请求中添加上verify参数 response = requests.get(url, verify=False) 再次运行会报如下提示： InsecureRequestWarning: Unverified HTTPS request is being made to hos 阅读全文

摘要： python爬虫实战-小说爬取 基于requests模块与lxml模块编写的爬虫，目标小说网站为 https://www.hongxiu.com/category/ 基本思路 主要内容分为三个部分 使用requests模块获取网页内容 使用lxml模块进行网页解析 将解析出来的数据存储进MySQL数 阅读全文

摘要： 在win中运行代码中有时会遇到UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position 51632: illegal multibyte sequence报错问题 以python的pycharm为例只要在设置中 阅读全文

摘要： 一、判断数据表是否存在 在创建数据表前先进行判断所需创建的数据表名在数据库中是否存在 def table_exists(self, table_name): """检查数据表是否存在""" self.connect_to_database() cursor = self.connection.cur 阅读全文

摘要： import winreg import os import time from collections import deque from typing import Any # root HKEY_CURRENT_USER = winreg.HKEY_CURRENT_USER # key pat 阅读全文

摘要： scrapy下载文件 修改settings.py FILES_STORE = 'examples_src' # 设置下载路径 ITEM_PIPELINES = { # 设置权重值，值数小，优先调用 'ListSpider.pipelines.DownloadFilePipeline': 1 } 修改 阅读全文

摘要： mac下将python2.7改为python3 查看当前电脑python版本 python -V 修改。bash_profile文件 vi ~/.bash_profile //编辑bash_profile # Setting PATH for Python 3.7 # The orginal ver 阅读全文

摘要： Scrapy框架工作原理 Scrapy框架架构图 Scrapy框架主要由六大组件组成，分别为： ​ 调度器（Scheduler），下载器（Downler），爬虫（Spiders），中间件（Middwares），管道（Item Pipeline）和Scrapy引擎（Scrapy Engine） Sca 阅读全文

摘要： 一、Appium入门案例 demo from appium import webdriver from time import sleep # server 启用参数 desired_caps = {} # 设备信息 desired_caps['platformName'] = 'Android' 阅读全文