2021年4月15日
scrapy框架-5-持久化存储
摘要： - scrapy的持久化存储 - 基于终端指令： - 只可以将parse方法的返回值存储到磁盘文件中 - scrapy crawl first -o file.csv - 基于管道：pipelines.py - 编码流程： - 1.数据解析 - 2.在item的类中定义相关的属性 - 3.将解析的数 阅读全文
posted @ 2021-04-15 11:32 夜华_night 阅读(53) 评论(0) 推荐(0) 编辑
scrapy框架-4-数据解析
摘要： #数据解析相关函数 def parse(self, response): #xpath返回的列表中的元素是Selector对象，需要解析列表中字符串需要extract()方法取出 print(response.xpath('//div/div/text()').extract()) 阅读全文
posted @ 2021-04-15 11:12 夜华_night 阅读(28) 评论(0) 推荐(0) 编辑
scrapy框架-3-setting设置
摘要： #是否遵从robots协议，通常设置为False ROBOTSTXT_OBEY = True #用于UA伪装 USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrom 阅读全文
posted @ 2021-04-15 11:04 夜华_night 阅读(47) 评论(0) 推荐(0) 编辑
scrapy框架-2-初始化工程
摘要： scrapy startproject ProName - cd ProName - scrapy genspider spiderName www.xxx.com :创建爬虫文件 - 执行：scrapy crawl spiderName import scrapy class Firstspide 阅读全文
posted @ 2021-04-15 10:59 夜华_night 阅读(52) 评论(0) 推荐(0) 编辑
Scrapy框架-1-安装
摘要： - 环境的安装 a. pip3 install wheel b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted c. 进入下载目录，执行 pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_ 阅读全文
posted @ 2021-04-15 10:20 夜华_night 阅读(25) 评论(0) 推荐(0) 编辑
2021年4月11日
Django在表单初始化后设置字段值？
摘要： 由于你没有传递POST数据，因此我会假设你要做的是设置一个初始值，该值将显示在表单中。你这样做的方式是initial关键字。 form = CustomForm(initial={'Email': GetEmailString()}) 如果你在提交表单后尝试更改值，则可以使用如下所示的内容： if 阅读全文
posted @ 2021-04-11 22:34 夜华_night 阅读(181) 评论(0) 推荐(0) 编辑
2021年4月10日
Django中admin组件使用基础
摘要： admin添加用户 ```python manage.py createsuperuser输入用户名:wuchao邮箱不用输 直接回车输入密码:必须超过8位,并且别太简单 ``` admin注册 ```from django.contrib import admin # Register your 阅读全文
posted @ 2021-04-10 10:29 夜华_night 阅读(42) 评论(0) 推荐(0) 编辑
Django中的session
摘要： Django中Session相关方法 注意：这都是django提供的方法，其他的框架就需要你自己关于cookie和session的方法了。 # 获取、设置、删除Session中数据#取值 request.session['k1'] request.session.get('k1',None) #re 阅读全文
posted @ 2021-04-10 10:06 夜华_night 阅读(360) 评论(0) 推荐(0) 编辑
Django中的cookie
摘要： cookie 获取Cookie request.COOKIES['key'] request.get_signed_cookie(key, default=RAISE_ERROR, salt='', max_age=None) 参数： default: 默认值 salt: 加密盐 max_age: 阅读全文
posted @ 2021-04-10 10:03 夜华_night 阅读(146) 评论(0) 推荐(0) 编辑
Django中间件
摘要： 中间件可以定义五个方法，分别是：（主要的是process_request和process_response） process_request(self,request) process_view(self, request, view_func, view_args, view_kwargs) pr 阅读全文
posted @ 2021-04-10 09:28 夜华_night 阅读(64) 评论(0) 推荐(0) 编辑
下一页