longly1111

摘要： from scrapy import log import logging import random from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware class UserAgent(UserAgentMi 阅读全文

摘要： 1. user_agent 代理使用 1. setting 里面设置 # 开启中间件 数值越小 优先执行 DOWNLOADER_MIDDLEWARES = { # 'fm.middlewares.ProxyMiddleware': 553, # 代理 ip 'fm.middlewares.UserA 阅读全文

摘要： 1. 一对多的查询 根据 类型 > 商品 type.xxx_set.all() 对象.表_set.all 2. 多对一查询 根据 商品 >类型 goods.type.name 表明.字段.name 注意 表一: type 表二：goods 1. 调用导航分类 1.1 html 代码 分类链接 {% 阅读全文

摘要： 1. 案例 1.BookInfo 2. PeopleInfo 注意 ： peopleinfo_set 是django 默认给的字段 查询 书籍为 1 的所有人物 方式一 ： 通过书籍表id=1 找人物 book = models.BookInfo.objects.get(id=1) book.peo 阅读全文

摘要： 1. 安装 pip install -i https://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio.com Django-redis 2. 简单使用 redis 端口6379 redis 开启 ->redis-cli 测试 -> p 阅读全文

摘要： 1. urls path('login/', views.login), path('index/', views.index), # 登录 验证码图片 path('get_validCode_img/', views.get_validCode_img), 2. views 代码 from dja 阅读全文

摘要： 阅读全文

摘要： 1. 爬取代码 import scrapy class FmSpider(scrapy.Spider): name = 'fm' allowed_domains = ['qingting.fm'] start_urls = ['https://m.qingting.fm/rank/'] def pa 阅读全文

摘要： 1. 安装scrapy pip install scrapy豆瓣镜像源 pip install scrapy -i https://pypi.douban.com/simple/ 模块介绍 ： 2 创建一个项目myspider 1. 创建一个scrapy 目录名称是spiderscrapy star 阅读全文

摘要： 1. 简单使用selenium 浏览器必须要安装driver import time from selenium import webdriver # 创建一个driver driver = webdriver.Chrome() #driver 请求百度 driver.get('http://www 阅读全文