摘要: 首先打开fidder ,手机连接fidder代理,打开零度app ,查看fidder抓取到的json数据,看到图片包含在 http://app.lingdu2019.cn/api/portrait/goods_detail 这个地址里面,查看json数据写代码,抓取要的内容。这时候关闭fidder。 阅读全文
posted @ 2020-09-22 18:52 凹凸曼大人 阅读(585) 评论(0) 推荐(0)
摘要: 首先创建 itemSpider 在spiders 里面创建 item_spider.py 输入 """ 语言版本: python:3.6.1 scrapy:1.3.3 """ import scrapy import re class itemSpider(scrapy.Spider): name 阅读全文
posted @ 2020-09-22 18:35 凹凸曼大人 阅读(1327) 评论(0) 推荐(0)
摘要: 首先创建 itemSpider 在spiders 里创建 item_spider.py 输入 """ 语言版本: python:3.6.1 scrapy:1.3.3 """ import scrapy import re class itemSpider(scrapy.Spider): name = 阅读全文
posted @ 2020-09-22 18:31 凹凸曼大人 阅读(7635) 评论(0) 推荐(0)
摘要: 首先创建 itemSpider 在spiders里创建 item_spider.py 写入 """ 语言版本: python:3.6.1 scrapy:1.3.3 """ import scrapy import re from scrapy.http import Request class it 阅读全文
posted @ 2020-09-22 18:23 凹凸曼大人 阅读(638) 评论(0) 推荐(0)
摘要: 首先创建 ImagesRename 在spiders 里面创建 ImgRename.py 输入代码 import scrapy from ImagesRename.items import ImagesrenameItem class ImgsrenameSpider(scrapy.Spider): 阅读全文
posted @ 2020-09-22 18:14 凹凸曼大人 阅读(14402) 评论(0) 推荐(0)
摘要: 这是目录 先创建 工程item_u9c9 在spiders 里面创建 zhuaqucili.py 代码 """ """ import scrapy import re import hashlib from scrapy.selector import Selector from scrapy.ht 阅读全文
posted @ 2020-09-22 17:54 凹凸曼大人 阅读(854) 评论(0) 推荐(0)
摘要: #!/usr/bin/env python # -*- coding: utf-8 -*- """ 抓取王者荣耀皮肤 """ import requests from bs4 import BeautifulSoup from urllib import parse import os class 阅读全文
posted @ 2020-09-22 17:43 凹凸曼大人 阅读(327) 评论(0) 推荐(0)
摘要: import re, requests import sys def maoyan(url, i): if i == 0: i = 40 else: i = i - 10 header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv: 阅读全文
posted @ 2020-09-22 17:41 凹凸曼大人 阅读(163) 评论(0) 推荐(0)
摘要: #!/usr/bin/env python # !--*--coding:utf-8 --*-- # ![url=home.php?mod=space&uid=238618]@Time[/url] :2018/7/5 18:08 # ![url=home.php?mod=space&uid=6862 阅读全文
posted @ 2020-09-22 17:40 凹凸曼大人 阅读(197) 评论(0) 推荐(0)
摘要: from urllib import request from lxml import etree import json import re import ssl # 全局取消证书验证 ssl._create_default_https_context = ssl._create_unverifi 阅读全文
posted @ 2020-09-22 17:34 凹凸曼大人 阅读(386) 评论(0) 推荐(0)
摘要: # -*- coding: utf-8 -*- import requests, time, os from lxml import etree from urllib import request name_url = {} # 创建一个字典 def sort(): req = requests. 阅读全文
posted @ 2020-09-22 17:31 凹凸曼大人 阅读(67602) 评论(2) 推荐(0)
摘要: 这代码一年前,刚学python写的,现在依然能用,最先发布与吾爱破解论坛。 from bs4 import BeautifulSoup import requests import json import re import time def get_one_page(url): try: head 阅读全文
posted @ 2020-09-22 17:29 凹凸曼大人 阅读(1046) 评论(0) 推荐(0)
摘要: #!/usr/bin/python3 import pymysql #先安装库 pymysql # 打开数据库连接 db = pymysql.connect("localhost", "root", "123456", "scrapymysql") #设置相同密码 # 使用cursor()方法获取操 阅读全文
posted @ 2020-09-22 17:25 凹凸曼大人 阅读(189) 评论(0) 推荐(0)
摘要: import sys import os class Logger(object): def __init__(self, filename="Default.log"): self.terminal = sys.stdout self.log = open(filename, "a",errors 阅读全文
posted @ 2020-09-22 17:23 凹凸曼大人 阅读(578) 评论(0) 推荐(0)