10 2018 档案
摘要：https://blog.csdn.net/liuweiyuxiang/article/details/71104613 def search(request): searchtype = request.POST.get("searchtype") keyword = request.POST.g
阅读全文
摘要：result = session.execute('insert into ***') session.commit() last_insert_id = result.lastrowid 注意：如果存在多个用户操作数据库，应保持每个用户或者每个请求线程拥有各自隔离的session https://
阅读全文
摘要：models execute via view:
阅读全文
摘要：gg:命令将光标移动到文档开头G:命令将光标移动到文档末尾 vi编辑器中在命令行模式下输入G可以直接跳转到页面的底部 在命令行模式下输入1G可以跳转到页面的头部位置 更多在vi中移动编辑位置的命令说明如下： h Move left j Move down k Move up l Move right
阅读全文
摘要：centos7中的防火墙改成了firewall，使用iptables无作用，开放端口的方法如下： firewall-cmd --zone=public --add-port=80/tcp --permanent 返回success为成功 命令含义： --zone #作用域 --add-port=80
阅读全文
摘要：https://blog.csdn.net/yingshukun/article/details/53470424 https://my.oschina.net/auo/blog/222202
阅读全文
摘要：https://github.com/bukuai/Text-Translation-API-V3-Python https://docs.microsoft.com/zh-cn/azure/cognitive-services/translator/quickstart-python-transl
阅读全文
摘要：https://blog.csdn.net/yingshukun/article/details/53470424 Google翻译实现
阅读全文
摘要：前言：最近在公司做爬虫相关的工作，做过数据抓取的都知道，写程序抓取数据的过程并不像平常我们用浏览器打开网页那么简单！大多数的网站为了自己站点的性能和数据安全都设置了各种反爬策略。最常见的就是添加验证码，需要用户登陆，单个IP有次数和频率限制等等！所以广大的爬虫工程师在抓取数据之前都要先调研一下这个网
阅读全文
摘要：django, nginx, uwsgi mysite.xml another one.same nginx.conf site1, and 2, 1.conf, 2.conf
阅读全文
摘要：update user set authentication_string = password('new password'),password_expired = 'N', password_last_changed = now() where user = 'root';
阅读全文
摘要：dict() to_dict() from django.forms.models import model_to_dict u_dict = model_to_dict(u) last_login django datetime:
阅读全文
摘要：前言在爬取某些网页时，登陆界面时经常遇到的一个坎，而现在大多数的网站在登陆时都会要求用户填写验证码。当然，我们可以设计一套机器学习的算法去破解验证码，然而，验证码的形式多种多样，稍微变一下（有些甚至是手机短信验证），整套算法可能就完全无效了，所以去强行破解验证码是一个吃力不讨好的活。本文会以知乎网站
阅读全文
摘要：利用django开发web应用, 我们经常需要进行URL重定向，有时候还需要给URL传递额外的参数。比如用户添加文章完成后需要转到文章列表或某篇文章详情。因此熟练掌握HttpResponseDirect, redirect和reverse这三种方法对于Django Web开发是至关重要。今天小编我就
阅读全文
摘要：def logout(request): request.session.flush() return HttpResponseRedirect(request.META.get('HTTP_REFERER', '/')) class LoginView(View): def get(self,request): request.session['log...
阅读全文
摘要：先 django 定好sql框架 再 sqlalchemy 根据框架写。。。
阅读全文
摘要：TEMPLATES = [ { 'BACKEND': 'django.template.backends.django.DjangoTemplates', 'DIRS': [os.path.join(BASE_DIR, 'templates')], 'APP_DIRS': True, 'OPTIONS': { ...
阅读全文
摘要：装饰器作用 decorator是当今最流行的设计模式之一，很多使用它的人并不知道它是一种设计模式。这种模式有什么特别之处? 有兴趣可以看看Python Wiki上例子，使用它可以很方便地修改对象行为，通过使用类似例中的接口将修改动作封装在装饰对象中。 decorator 可以动态地修改函数、方法或类
阅读全文
摘要：# -*- coding: utf-8 -*- from sqlalchemy import create_engine, Column, String, Integer, ForeignKey, Table,Text from sqlalchemy.ext.declarative import declarative_base from sqlalchemy.orm import sessio...
阅读全文
摘要：scrapy中有个自带的pipeline工具，ImagesPipeline，可以专门用来储存图片到本地。 但默认储存地址无法配置，所以我们需要写一个自己的pipeline用于储存图片。 先分析一下我们的需求： 1.修改图片路径，路径根据采集到的item中的数据变化； 2.将数据库中保存图片的url更
阅读全文
摘要：https://www.jianshu.com/p/d1bb28cbb6a8 scrapy中负责下载文件的是class MyFilesPipeline(FilesPipeline)类 其中负责下载文件的方法是 我们可以很清楚地看到 因为是下载的是文件，所以默认的response参数是为None的,因
阅读全文
摘要：hashlib.sha1(to_bytes(url)).hexdigest() hashlib.sha1(to_bytes(url)).hexdigest() MMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMM
阅读全文
摘要：官方的： https://doc.scrapy.org/en/latest/topics/media-pipeline.html?highlight=item_complete#scrapy.pipelines.images.ImagesPipeline.item_completed https:/
阅读全文
摘要：需求分析需求：爬取斗鱼主播图片，并下载到本地 思路： 使用Fiddler抓包工具，抓取斗鱼手机APP中的接口使用Scrapy框架的ImagesPipeline实现图片下载ImagesPipeline实现图片下载的使用方法: 在items中的XxxItem中定义 image_urls 和 images
阅读全文
摘要：1 # coding:utf-8 2 3 class TidyText(object): 4 def __init__(self,string='',begin='',last=''): 5 super(TidyText,self).__init__() 6 self.result=string 7 self....
阅读全文
摘要：Scrapy生成的调试信息非常有用，但是通常太啰嗦，你可以在Scrapy项目中的setting.py中设置日志显示等级： LOG_LEVEL = 'ERROR' 日志级别 Scrapy日志有五种等级，按照范围递增顺序排列如下：（注意《Python网络数据采集》书中这里有错） CRITICAL - 严
阅读全文
摘要：# coding:utf-8 from sqlalchemy import create_engine, Column, String, Integer, ForeignKey, Table from sqlalchemy.ext.declarative import declarative_base from sqlalchemy.orm import sessionmaker, relati...
阅读全文
摘要：# -*- coding: utf-8 -*- from sqlalchemy import Column, String, create_engine,ForeignKey,Text,Integer,Table from sqlalchemy.orm import sessionmaker,relationship from sqlalchemy.ext.declarative import...
阅读全文
摘要：https://blog.csdn.net/pushiqiang/article/details/50652080?utm_source=blogxgwz1 https://blog.csdn.net/qq_40157234/article/details/80691348 https://blog
阅读全文
摘要：from django.shortcuts import render,HttpResponse from django.views import View from Fiskars.models import * from django.conf import settings from Fiskars.forms import * import os import xlrd class I...
阅读全文
摘要：https://blog.csdn.net/xxm524/article/details/48369623
阅读全文
摘要：//*[@id=”post_content”]/p[1] 意思是：在根节点下面的有一个id为post_content的标签里面的第一个p标签（p[1]） 如果你需要提取的是这个标签的文本你需要在后面加点东西变成下面这样： //*[@id=”post_content”]/p[1]/text() 后面加
阅读全文
摘要：ModelForm表单 save（）方法 每一个ModelForm都有一个save（）方法，这个方法可以更具绑定的form表单创建并且保存一个数据库对象，ModelForm的子类可以接受一个model的子类作为instance的参数，如果存在那么save()方法会更新这个实例，否则会创建一个新的实例
阅读全文
摘要：start items.py spider.py pipelines.py 通过 item__class__ 是什么类来决定如何处理数据 当然 ItemClass() 类里可以加 def __str__(self): return 'ItemClass" 更直观.
阅读全文
摘要：分页 https://www.jianshu.com/p/0c957c57ae10 关于 follow=true, rule https://zhuanlan.zhihu.com/p/25650763 关于rule Each Rule defines a certain behaviour for
阅读全文
摘要：重点在于CrawlSpider的学习！！！！！！！！！！！！！ **通过前面的学习我们可以进行一些页面的简单自动话爬取，对于一些比较规则的网站，我们似乎可以用Spider类去应付，可是，对于一些较为复杂或者说链接的存放不规则的网站我们该怎么去爬取呢，接下来的爬虫就是要解决这个问题，而且还可以高度的自
阅读全文
摘要：注意: uselist=False 表示一对一关系. 如果没有 uselist=False, 则查询
阅读全文
摘要：from selenium import webdriver import requests def loginZhihu(): loginurl = 'https://www.zhihu.com/signin' driver = webdriver.Chrome() driver.get(loginurl) #生物智能在干活当中............. ...
阅读全文
摘要：//移动到元素element对象的“顶端”与当前窗口的“顶部”对齐 ((JavascriptExecutor) driver).executeScript("arguments[0].scrollIntoView();", element); ((JavascriptExecutor) driver).executeScript("arguments[0].scrollIntoVie...
阅读全文
摘要：# -*- coding: utf-8 -*- # 导入依赖包 import scrapy from selenium import webdriver import time import json # 构建spider自动生成的基本配置 class ZhihuSpider(scrapy.Spider): name = 'zhihu' allowed_domains =...
阅读全文
摘要：1. nginx.conf http{ server { listen 80; server_name www.web1.com ....... location / { uwsgi_pass 127.0.0.1:8000; ....... } } server { listen 80; serve
阅读全文
摘要：#user nobody; worker_processes 1; #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log info; #pid logs/nginx.pid; events { worker_connections ...
阅读全文
摘要：实现类似: 上一页 1 ... 4 5 6 7 8 ... 89 下一页 的效果
阅读全文
摘要：trouble shooting https://www.django.cn/article/show-4.html https://blog.csdn.net/lh756437907/article/details/52151000/usr/local/nginx/sbin/nginx -c /u
阅读全文
摘要：GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123!@#sdt@' WITH GRANT OPTION; FLUSH PRIVILEGES;
阅读全文
摘要：严格按下面步骤 一、更新系统软件包 yum update -y 二、安装软件管理包和可能使用的依赖 yum -y groupinstall "Development tools" yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel 三、下载Pyhton3到/usr/...
阅读全文
摘要：要自定义处理url请求错误需要进行三步操作：主要错误有： 404错误：page not found视图 500错误：server error视图 400错误：bad request视图 以404错误为例，500、404同理 我这里创建了一个应用，名为booktest Step1：修改settings
阅读全文
摘要：django 存在则忽略, 不存在则创 TagSheet.objects.get_or_create(tag='test')
阅读全文
摘要：根据反射做, 按钮 value 要设置成统一的, 这里是 submit
阅读全文
摘要：应用 django FORM 录入数据 必须 item_id supplier_id 不能item, supplier
阅读全文
摘要：item=CharField(max_length=20,min_length=1,required=True,widget=widgets.TextInput({'placeholder':'testing',}),) type=CharField(min_length=1,max_length=4,required=True,widget=Select(choices=(('0','P'),(...
阅读全文
摘要：name=models.CharField(max_length=30,unique=True,verbose_name='姓 名') birthday=models.DateField(blank=True,null=True) GENDER_CHOICES=( (1,'Male'), (2,'F
阅读全文
摘要：表名 ,foreignkey, 正向 obj.表名小写_set.all() 反向操作.
阅读全文
摘要：https://segmentfault.com/a/1190000006949536
阅读全文
摘要：https://www.cnblogs.com/chenice/p/6921727.html https://blog.csdn.net/Aaroun/article/details/78218131
阅读全文
摘要：网上各种找,最后自己猜,猜到了. 必须安装python插件, 网上找的都是不带数字的版本号, 要么找不到要么不行. 我是 3.6.1,尝试加36， 成了。 yum install -y uwsgi-plugin-python36 识别的时候也要加36。 uwsgi --http-socket :80
阅读全文
摘要：sudo yum install python-django-common
阅读全文
摘要：python2个版本导致的问题. 网上找了好多方法都不行. 最后自己莫名其妙弄好了, 回想了一下大概是 安装sqlite3 重新安装python 最后 yum update 更新 就好了.
阅读全文
摘要：django-admin startproject test1 python manage.py startapp test2 change setting on DB python manage.py inspectdb >test2/models.py python manage.py make
阅读全文
摘要：安装: https://www.jb51.net/article/123004.htm 问题解决: https://blog.csdn.net/zztingfeng/article/details/80155624 其中下载修复工具地址: http://www.pc6.com/softview/So
阅读全文
摘要：试试gunicorn+supervisor+nginx. gunicorn是Python实现的的Web server,配置也比较简单。 supervisor也是Python实现的，它用于进程管理。 这两个都是可以直接pip安装的。 建议使用nginx配合uwsgi,因为apache的mod_wsgi
阅读全文
摘要：https://www.jb51.net/article/79307.htm
阅读全文
摘要：基础知识 class scrapy.spiders.CrawlSpider 这是抓取一般网页最常用的类，除了从Spider继承过来的属性外，其提供了一个新的属性rules，它提供了一种简单的机制，能够为将要爬取的链接定义一组提取规则。 rules 这是一个Rule对象列表，每条规则定义了爬取网站链接
阅读全文
摘要：传统的使用scrapy爬下来的数据存入mysql,用的是在pipeline里用pymysql存入数据库, 这种方法需要写sql语句,如果item字段数量非常多的 情况下,编写起来会造成很大的麻烦. 我使用的python 库:sqlalchemy来编写,用orm的方式,使代码变得非常简洁,按照数据库
阅读全文
摘要：网上关于INSERT ... ON DUPLICATE KEY UPDATE大多数文章都是同一篇文章转来转去，首先这个语法的目的是为了解决重复性，当数据库中存在某个记录时，执行这条语句会更新它，而不存在这条记录时，会插入它。 相当于 先判断一条记录是否存在，存在则update，否则insert。其语
阅读全文
摘要：这两天上班接手，别人留下来的爬虫发现一个很好玩的 SQL脚本拼接。 只要你的Scrapy Field字段名字和 数据库字段的名字 一样。那么恭喜你你就可以拷贝这段SQL拼接脚本。进行MySQL入库处理。 具体拼接代码如下： 这个SQL拼接实现了，如果数据库存在相同数据则 更新，不存在则插入 的SQL
阅读全文
摘要：yield Request(......
阅读全文
摘要：https://www.jb51.net/article/129351.htm
阅读全文
摘要：rm filerm -rf folder如将/test1目录下的file1复制到/test3目录，并将文件名改为file2,可输入以下命令：cp /test1/file1 /test3/file2 如将/test1目录下的file1复制到/test3 目录，并将文件名改为file2,可输入以下命令：
阅读全文
摘要：背景 今天本地调试基于Selenium+PhantomJS的动态爬虫程序顺利结束后，着手部署到服务器上，刚买的热乎的京东云，噼里啪啦一顿安装环境，最后跑的时候报了这么个错误： 运用我考了五遍才飘过的六级英语定睛一看，这个意思是说，新版本的Selenium不再支持PhantomJS了，请使用Chrom
阅读全文
摘要：https://www.cnblogs.com/Fordestiny/p/8901100.html 解决pycharm问题：module 'pip' has no attribute 'main'
阅读全文
摘要：今天本来准备写一个Python的爬虫，然而使用pip安装了Scrapy之后，却无论如何也无法import，显示的结果总是ImportError: No module named Scrapy。网上查阅了很多资料都无法解决这个问题，无奈之下只好自己摸索。终于我发现了存在的问题，我的D盘中，有两个PYT
阅读全文
摘要：下载sqlite3源码包tar xvfz sqlite-src-3.3.5cd sqlite-3.3.5./configure –no-tclmake python继续一次。 apt install -f 修复关系 http://www.mamicode.com/info-detail-173864
阅读全文
摘要：https://blog.csdn.net/dangsh_/article/details/79613210
阅读全文
摘要：https://blog.csdn.net/qq_32093267/article/details/78156184
阅读全文
浙公网安备 33010602011771号