随笔分类 -  Python

上一页 1 2 3 4 5
python爬虫-scrapy日志
摘要：1、scrapy日志介绍 Scrapy的日志系统是实现了对python内置的日志的封装 scrapy也使用python日志级别分类 logging.CRITICAL logging.ERROE logging.WARINING logging.INFO logging.DEBUG 2、如何在pyth 阅读全文
posted @ 2019-12-12 11:57 找回失去的自我 阅读(1487) 评论(0) 推荐(0)
python爬虫-MongoDB安装配置
摘要：MongoDB安装配置： 在安装配置MongoDB的过程中遇到了很多问题，现在重新梳理一遍安装流程、遇到的问题及其解决方法 系统版本：Windows 10 MongoDB版本：4.2.1 1.下载地址：https://www.mongodb.com/download-center/community 阅读全文
posted @ 2019-12-03 15:34 找回失去的自我 阅读(699) 评论(0) 推荐(0)
python爬虫-提取网页数据的三种武器
摘要：常用的提取网页数据的工具有三种xpath、css选择器、正则表达式 1.xpath 1.1在python中使用xpath必须要下载lxml模块： lxml官方文档 ：https://lxml.de/index.html pip install lxml 然后导入： from lxml import 阅读全文
posted @ 2019-12-01 20:35 找回失去的自我 阅读(1354) 评论(0) 推荐(0)
python爬虫-smtplib模块发送邮件
摘要：1、代码如下： import smtplib from email.message from EmailMessage # smtplib模块负责发送邮件服务 # email.message模块负责构建邮件，然后交给smtplib发送 # 定义SMTP服务器地址 smtp_server = 'smt 阅读全文
posted @ 2019-12-01 12:04 找回失去的自我 阅读(547) 评论(0) 推荐(0)
python爬虫所遇问题列举
摘要：1、通过python socket库来构造请求报文，向服务器发送图片请求时 （1）图片在浏览器请求头中的remote address信息跟通过python socket输出远程连接地址和端口号不一致 Remote Address：183.61.138.62:443 raddr=('183.61.13 阅读全文
posted @ 2019-11-28 22:07 找回失去的自我 阅读(383) 评论(0) 推荐(0)
关于jQuery事件绑定放在head中没有响应的问题
摘要：1、问题代码如下 <html lang="en<head> 4、收获 如果没有将script代码中的代码放在加载函数中（加载函数：加载完文档后，才开始执行加载函数里面的代码）或者head标签最底层，那么浏览器在 解释HTML文档时，就会先给一个元素绑定一个事件，但是由于该元素还没有加载出来，就会导致 阅读全文
posted @ 2019-05-06 22:37 找回失去的自我 阅读(460) 评论(0) 推荐(0)
针对django2.2报错：UnicodeDecodeError: 'gbk' codec can't decode byte 0xa6 in position 9737: ill....
摘要：1、报错： File "D:\Python\Python37-32\lib\site-packages\django\views\debug.py", line 332, in get_traceback_html t = DEBUG_ENGINE.from_string(fh.read()) Un 阅读全文
posted @ 2019-04-17 22:26 找回失去的自我 阅读(13559) 评论(2) 推荐(2)
selenium-登录C语言中文网
摘要：from selenium import webdriver from selenium.webdriver.support.wait import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By f... 阅读全文
posted @ 2018-08-16 21:24 找回失去的自我 阅读(550) 评论(0) 推荐(0)
python-利用Python窗口可视化抽象开发山寨版翻译软件
摘要：1.图片展示： 2.写出上面图式的小脚本需要利用python两个方面的知识： （1）可视化库 （需用库：tkinter） （2）简单爬虫知识 （需用库：requests） 注意：爬虫在获取翻译信息时，会因为一些反爬虫的机制导致失败，所以从翻译网站获取翻译信息时，要选择稳定性强的翻译网站，并做好针对网 阅读全文
posted @ 2018-08-13 21:57 找回失去的自我 阅读(543) 评论(0) 推荐(0)
字符串异或加密
摘要：# coding = utf-8 # 字符串异或加密 import random choice = input('加密（1）还是解谜（2）？') def encode(str1, key): #设置秘钥种子 random.seed(key) str2 = '' for c in str1: str2 += str(ord(c) ^ random... 阅读全文
posted @ 2018-08-10 21:06 找回失去的自我 阅读(2272) 评论(0) 推荐(0)
爬虫-设置代理ip
摘要：1.为什么要设置代理ip 在学习Python爬虫的时候，经常会遇见所要爬取的网站采取了反爬取技术导致爬取失败。高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力，所以同一个IP反复爬取同一个网页，就很可能被封，所以通过设置代理IP来避免被封，从而顺利爬取。 2.从那里获取免费的IP 西刺免费 阅读全文
posted @ 2018-08-09 21:38 找回失去的自我 阅读(282) 评论(0) 推荐(0)
tornado-About Web
摘要：1.轻量级的web开发框架，没有像django那样的命令行工具，只用于写一些小的脚本 （1）安装tornado包 （2）安装成功后，在IDE中建立项目名example，在example下 建立app.py: 再建立template文件夹和static文件夹，在template中创建html文件，在s 阅读全文
posted @ 2018-08-08 21:48 找回失去的自我 阅读(121) 评论(0) 推荐(0)
scrapy框架爬取小说信息
摘要：1.爬取目标网站：http://www.zhaoxiaoshuo.com/all.php?c=0&o=0&s=0&f=2&l=0&page=1 2.爬取目标网站信息：小说类型 小说书名 小说作者 小说字数 小说投票数 小说搜藏数 小说状态 3.scrapy框架结构： （1）items.py （2）s 阅读全文
posted @ 2018-08-04 18:47 找回失去的自我 阅读(781) 评论(0) 推荐(0)
django使用流程
摘要：1.安装django包 1 (命令行)>pip install django # conda install django 2.安装成功后，可以新建django项目 1(命令行)>django-admin startproject （mysite）项目名 下附项目结构： 3.启动默认页面 4.为了写 阅读全文
posted @ 2018-07-28 21:43 找回失去的自我 阅读(275) 评论(0) 推荐(0)
12306模拟登陆
摘要：1.本来想写一个自动抢票的脚本，但是在预订时，有一个参数不知道如何构造，因而只能半途而废，在网上查了很久，发现都是用一些自动化测试工具（selenium，Splinter）写的。 下面贴一下我的前面的代码 阅读全文
posted @ 2018-07-27 20:48 找回失去的自我 阅读(1424) 评论(0) 推荐(0)
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
摘要：1.json模块常用的四个函数 1 import json 2 json.load() # 将一个存储在文件中的json对象（str）转化为相对应的python对象 3 json.loads() # 将一个json对象（str）转化为相对应的python对象 4 json.dump() # 将pyt 阅读全文
posted @ 2018-07-27 20:32 找回失去的自我 阅读(159296) 评论(3) 推荐(6)

上一页 1 2 3 4 5