上一页 1 ··· 8 9 10 11 12 13 下一页
摘要: import re, requests import sys def maoyan(url, i): if i == 0: i = 40 else: i = i - 10 header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv: 阅读全文
posted @ 2020-09-22 17:41 凹凸曼大人 阅读(163) 评论(0) 推荐(0)
摘要: #!/usr/bin/env python # !--*--coding:utf-8 --*-- # ![url=home.php?mod=space&uid=238618]@Time[/url] :2018/7/5 18:08 # ![url=home.php?mod=space&uid=6862 阅读全文
posted @ 2020-09-22 17:40 凹凸曼大人 阅读(197) 评论(0) 推荐(0)
摘要: from urllib import request from lxml import etree import json import re import ssl # 全局取消证书验证 ssl._create_default_https_context = ssl._create_unverifi 阅读全文
posted @ 2020-09-22 17:34 凹凸曼大人 阅读(386) 评论(0) 推荐(0)
摘要: # -*- coding: utf-8 -*- import requests, time, os from lxml import etree from urllib import request name_url = {} # 创建一个字典 def sort(): req = requests. 阅读全文
posted @ 2020-09-22 17:31 凹凸曼大人 阅读(67601) 评论(2) 推荐(0)
摘要: 这代码一年前,刚学python写的,现在依然能用,最先发布与吾爱破解论坛。 from bs4 import BeautifulSoup import requests import json import re import time def get_one_page(url): try: head 阅读全文
posted @ 2020-09-22 17:29 凹凸曼大人 阅读(1046) 评论(0) 推荐(0)
摘要: #!/usr/bin/python3 import pymysql #先安装库 pymysql # 打开数据库连接 db = pymysql.connect("localhost", "root", "123456", "scrapymysql") #设置相同密码 # 使用cursor()方法获取操 阅读全文
posted @ 2020-09-22 17:25 凹凸曼大人 阅读(189) 评论(0) 推荐(0)
摘要: import sys import os class Logger(object): def __init__(self, filename="Default.log"): self.terminal = sys.stdout self.log = open(filename, "a",errors 阅读全文
posted @ 2020-09-22 17:23 凹凸曼大人 阅读(578) 评论(0) 推荐(0)
摘要: 项目介绍 需要Python 3.6+ Scrapy GUI 一个简单的,由Qt-Webengine驱动的Web浏览器,具有用于测试scrapy蜘蛛代码的内置功能。 还包括一个插件,以使GUI可以与scrapy shell一起使用。 目录 安装 独立用户界面 浏览器标签 工具标签 查询框 正则表达式框 阅读全文
posted @ 2020-09-14 18:49 凹凸曼大人 阅读(1822) 评论(0) 推荐(0)
摘要: 作为Scrapinghub的python开发人员,我花了大量时间在Scrapy shell中。这是Scrapy附带的命令行界面,可让您运行简单的,兼容Spider的代码。当然,它可以完成工作,但是在某些情况下命令行界面可能会变得有点怪异,我发现我经常会通过这一点。我在工具设计和任务自动化方面有一定的 阅读全文
posted @ 2020-09-14 18:07 凹凸曼大人 阅读(395) 评论(0) 推荐(0)
摘要: DOWNLOADER_MIDDLEWARES = { 'item_u9c9.middlewares.NovelUserAgentMiddleWare': 544, #随即user 'item_u9c9.middlewares.NovelProxyMiddleWare': 543,#随即IP Imag 阅读全文
posted @ 2020-09-14 10:15 凹凸曼大人 阅读(173) 评论(0) 推荐(0)
上一页 1 ··· 8 9 10 11 12 13 下一页