凹凸曼大人

2020年9月22日

摘要： import re, requests import sys def maoyan(url, i): if i == 0: i = 40 else: i = i - 10 header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv: 阅读全文

posted @ 2020-09-22 17:41 凹凸曼大人阅读(163) 评论(0) 推荐(0)

爬取猫眼电影最受欢迎前100 方法1

摘要： #!/usr/bin/env python # !--*--coding:utf-8 --*-- # ![url=home.php?mod=space&uid=238618]@Time[/url] :2018/7/5 18:08 # ![url=home.php?mod=space&uid=6862 阅读全文

posted @ 2020-09-22 17:40 凹凸曼大人阅读(197) 评论(0) 推荐(0)

python 爬取豆瓣前100部热门电影前100排名影视信息

摘要： from urllib import request from lxml import etree import json import re import ssl # 全局取消证书验证 ssl._create_default_https_context = ssl._create_unverifi 阅读全文

posted @ 2020-09-22 17:34 凹凸曼大人阅读(386) 评论(0) 推荐(0)

python 爬取图集谷妹子图片，按自己喜好抓取一页图片，有兴趣二次开发抓全站

摘要： # -*- coding: utf-8 -*- import requests, time, os from lxml import etree from urllib import request name_url = {} # 创建一个字典 def sort(): req = requests. 阅读全文

posted @ 2020-09-22 17:31 凹凸曼大人阅读(67601) 评论(2) 推荐(0)

python 简单抓取所有古诗词按分类排列

摘要：这代码一年前，刚学python写的，现在依然能用，最先发布与吾爱破解论坛。 from bs4 import BeautifulSoup import requests import json import re import time def get_one_page(url): try: head 阅读全文

posted @ 2020-09-22 17:29 凹凸曼大人阅读(1046) 评论(0) 推荐(0)

python 测试 Mysql数据库有没有正确配置

摘要： #!/usr/bin/python3 import pymysql #先安装库 pymysql # 打开数据库连接 db = pymysql.connect("localhost", "root", "123456", "scrapymysql") #设置相同密码 # 使用cursor()方法获取操阅读全文

posted @ 2020-09-22 17:25 凹凸曼大人阅读(189) 评论(0) 推荐(0)

python 实现把日志打印到txt 经常用到不能写到文本、怕乱码最好用的一招

摘要： import sys import os class Logger(object): def __init__(self, filename="Default.log"): self.terminal = sys.stdout self.log = open(filename, "a",errors 阅读全文

posted @ 2020-09-22 17:23 凹凸曼大人阅读(578) 评论(0) 推荐(0)

2020年9月14日

scrapy GUI 1.2 使用教程

摘要：项目介绍需要Python 3.6+ Scrapy GUI 一个简单的，由Qt-Webengine驱动的Web浏览器，具有用于测试scrapy蜘蛛代码的内置功能。还包括一个插件，以使GUI可以与scrapy shell一起使用。目录安装独立用户界面浏览器标签工具标签查询框正则表达式框阅读全文

posted @ 2020-09-14 18:49 凹凸曼大人阅读(1822) 评论(0) 推荐(0)

轻松制作蜘蛛：GUI FOR SCRAPY SHELL

摘要：作为Scrapinghub的python开发人员，我花了大量时间在Scrapy shell中。这是Scrapy附带的命令行界面，可让您运行简单的，兼容Spider的代码。当然，它可以完成工作，但是在某些情况下命令行界面可能会变得有点怪异，我发现我经常会通过这一点。我在工具设计和任务自动化方面有一定的阅读全文

posted @ 2020-09-14 18:07 凹凸曼大人阅读(395) 评论(0) 推荐(0)

scrapy 随即user 和IP注意事项小细节

摘要： DOWNLOADER_MIDDLEWARES = { 'item_u9c9.middlewares.NovelUserAgentMiddleWare': 544, #随即user 'item_u9c9.middlewares.NovelProxyMiddleWare': 543,#随即IP Imag 阅读全文

posted @ 2020-09-14 10:15 凹凸曼大人阅读(173) 评论(0) 推荐(0)

公告