摘要：
分页 https://www.jianshu.com/p/0c957c57ae10 关于 follow=true, rule https://zhuanlan.zhihu.com/p/25650763 关于rule Each Rule defines a certain behaviour for
阅读全文
posted @ 2018-10-24 07:51
CrossPython
阅读(638)
推荐(0)
摘要：
重点在于CrawlSpider的学习！！！！！！！！！！！！！ **通过前面的学习我们可以进行一些页面的简单自动话爬取，对于一些比较规则的网站，我们似乎可以用Spider类去应付，可是，对于一些较为复杂或者说链接的存放不规则的网站我们该怎么去爬取呢，接下来的爬虫就是要解决这个问题，而且还可以高度的自
阅读全文
posted @ 2018-10-23 09:12
CrossPython
阅读(906)
推荐(0)
摘要：
注意: uselist=False 表示一对一关系. 如果没有 uselist=False, 则查询
阅读全文
posted @ 2018-10-22 22:40
CrossPython
阅读(242)
推荐(0)
摘要：
from selenium import webdriver import requests def loginZhihu(): loginurl = 'https://www.zhihu.com/signin' driver = webdriver.Chrome() driver.get(loginurl) #生物智能在干活当中............. ...
阅读全文
posted @ 2018-10-22 15:47
CrossPython
阅读(224)
推荐(0)
摘要：
//移动到元素element对象的“顶端”与当前窗口的“顶部”对齐 ((JavascriptExecutor) driver).executeScript("arguments[0].scrollIntoView();", element); ((JavascriptExecutor) driver).executeScript("arguments[0].scrollIntoVie...
阅读全文
posted @ 2018-10-22 15:09
CrossPython
阅读(665)
推荐(0)
摘要：
# -*- coding: utf-8 -*- # 导入依赖包 import scrapy from selenium import webdriver import time import json # 构建spider自动生成的基本配置 class ZhihuSpider(scrapy.Spider): name = 'zhihu' allowed_domains =...
阅读全文
posted @ 2018-10-22 14:08
CrossPython
阅读(1094)
推荐(0)
摘要：
1. nginx.conf http{ server { listen 80; server_name www.web1.com ....... location / { uwsgi_pass 127.0.0.1:8000; ....... } } server { listen 80; serve
阅读全文
posted @ 2018-10-21 22:04
CrossPython
阅读(4589)
推荐(0)
摘要：
#user nobody; worker_processes 1; #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log info; #pid logs/nginx.pid; events { worker_connections ...
阅读全文
posted @ 2018-10-21 21:24
CrossPython
阅读(111)
推荐(0)
摘要：
实现类似: 上一页 1 ... 4 5 6 7 8 ... 89 下一页 的效果
阅读全文
posted @ 2018-10-21 11:02
CrossPython
阅读(311)
推荐(0)
摘要：
trouble shooting https://www.django.cn/article/show-4.html https://blog.csdn.net/lh756437907/article/details/52151000/usr/local/nginx/sbin/nginx -c /u
阅读全文
posted @ 2018-10-20 19:21
CrossPython
阅读(197)
推荐(0)
摘要：
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123!@#sdt@' WITH GRANT OPTION; FLUSH PRIVILEGES;
阅读全文
posted @ 2018-10-20 18:43
CrossPython
阅读(183)
推荐(0)
摘要：
严格按下面步骤 一、更新系统软件包 yum update -y 二、安装软件管理包和可能使用的依赖 yum -y groupinstall "Development tools" yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel 三、下载Pyhton3到/usr/...
阅读全文
posted @ 2018-10-20 15:40
CrossPython
阅读(915)
推荐(0)
摘要：
要自定义处理url请求错误需要进行三步操作：主要错误有： 404错误：page not found视图 500错误：server error视图 400错误：bad request视图 以404错误为例，500、404同理 我这里创建了一个应用，名为booktest Step1：修改settings
阅读全文
posted @ 2018-10-20 13:00
CrossPython
阅读(5806)
推荐(1)
摘要：
django 存在则忽略, 不存在则创 TagSheet.objects.get_or_create(tag='test')
阅读全文
posted @ 2018-10-18 20:32
CrossPython
阅读(518)
推荐(0)
posted @ 2018-10-18 20:02
CrossPython
阅读(551)
推荐(0)
摘要：
根据反射做, 按钮 value 要设置成统一的, 这里是 submit
阅读全文
posted @ 2018-10-18 14:31
CrossPython
阅读(271)
推荐(0)
posted @ 2018-10-15 18:21
CrossPython
阅读(113)
推荐(0)
posted @ 2018-10-15 18:20
CrossPython
阅读(561)
推荐(0)
posted @ 2018-10-15 08:58
CrossPython
阅读(287)
推荐(0)
posted @ 2018-10-15 08:57
CrossPython
阅读(311)
推荐(0)
posted @ 2018-10-15 08:56
CrossPython
阅读(411)
推荐(0)
posted @ 2018-10-15 08:55
CrossPython
阅读(477)
推荐(0)
摘要：
应用 django FORM 录入数据 必须 item_id supplier_id 不能item, supplier
阅读全文
posted @ 2018-10-13 13:15
CrossPython
阅读(385)
推荐(0)
摘要：
item=CharField(max_length=20,min_length=1,required=True,widget=widgets.TextInput({'placeholder':'testing',}),) type=CharField(min_length=1,max_length=4,required=True,widget=Select(choices=(('0','P'),(...
阅读全文
posted @ 2018-10-13 10:45
CrossPython
阅读(956)
推荐(0)
摘要：
name=models.CharField(max_length=30,unique=True,verbose_name='姓 名') birthday=models.DateField(blank=True,null=True) GENDER_CHOICES=( (1,'Male'), (2,'F
阅读全文
posted @ 2018-10-09 14:28
CrossPython
阅读(199)
推荐(0)
摘要：
表名 ,foreignkey, 正向 obj.表名小写_set.all() 反向操作.
阅读全文
posted @ 2018-10-07 22:32
CrossPython
阅读(155)
推荐(0)
摘要：
https://segmentfault.com/a/1190000006949536
阅读全文
posted @ 2018-10-06 21:46
CrossPython
阅读(114)
推荐(0)
摘要：
https://www.cnblogs.com/chenice/p/6921727.html https://blog.csdn.net/Aaroun/article/details/78218131
阅读全文
posted @ 2018-10-06 10:58
CrossPython
阅读(128)
推荐(0)
摘要：
网上各种找,最后自己猜,猜到了. 必须安装python插件, 网上找的都是不带数字的版本号, 要么找不到要么不行. 我是 3.6.1,尝试加36， 成了。 yum install -y uwsgi-plugin-python36 识别的时候也要加36。 uwsgi --http-socket :80
阅读全文
posted @ 2018-10-06 10:21
CrossPython
阅读(1045)
推荐(0)
摘要：
sudo yum install python-django-common
阅读全文
posted @ 2018-10-06 09:23
CrossPython
阅读(327)
推荐(0)
摘要：
python2个版本导致的问题. 网上找了好多方法都不行. 最后自己莫名其妙弄好了, 回想了一下大概是 安装sqlite3 重新安装python 最后 yum update 更新 就好了.
阅读全文
posted @ 2018-10-06 09:14
CrossPython
阅读(346)
推荐(0)
摘要：
django-admin startproject test1 python manage.py startapp test2 change setting on DB python manage.py inspectdb >test2/models.py python manage.py make
阅读全文
posted @ 2018-10-05 13:54
CrossPython
阅读(171)
推荐(0)
摘要：
安装: https://www.jb51.net/article/123004.htm 问题解决: https://blog.csdn.net/zztingfeng/article/details/80155624 其中下载修复工具地址: http://www.pc6.com/softview/So
阅读全文
posted @ 2018-10-05 13:29
CrossPython
阅读(800)
推荐(0)
摘要：
试试gunicorn+supervisor+nginx. gunicorn是Python实现的的Web server,配置也比较简单。 supervisor也是Python实现的，它用于进程管理。 这两个都是可以直接pip安装的。 建议使用nginx配合uwsgi,因为apache的mod_wsgi
阅读全文
posted @ 2018-10-05 08:53
CrossPython
阅读(389)
推荐(0)
摘要：
https://www.jb51.net/article/79307.htm
阅读全文
posted @ 2018-10-04 10:52
CrossPython
阅读(183)
推荐(0)
摘要：
基础知识 class scrapy.spiders.CrawlSpider 这是抓取一般网页最常用的类，除了从Spider继承过来的属性外，其提供了一个新的属性rules，它提供了一种简单的机制，能够为将要爬取的链接定义一组提取规则。 rules 这是一个Rule对象列表，每条规则定义了爬取网站链接
阅读全文
posted @ 2018-10-03 20:38
CrossPython
阅读(985)
推荐(0)
摘要：
传统的使用scrapy爬下来的数据存入mysql,用的是在pipeline里用pymysql存入数据库, 这种方法需要写sql语句,如果item字段数量非常多的 情况下,编写起来会造成很大的麻烦. 我使用的python 库:sqlalchemy来编写,用orm的方式,使代码变得非常简洁,按照数据库
阅读全文
posted @ 2018-10-03 20:34
CrossPython
阅读(1901)
推荐(0)
摘要：
网上关于INSERT ... ON DUPLICATE KEY UPDATE大多数文章都是同一篇文章转来转去，首先这个语法的目的是为了解决重复性，当数据库中存在某个记录时，执行这条语句会更新它，而不存在这条记录时，会插入它。 相当于 先判断一条记录是否存在，存在则update，否则insert。其语
阅读全文
posted @ 2018-10-03 20:05
CrossPython
阅读(880)
推荐(0)
摘要：
这两天上班接手，别人留下来的爬虫发现一个很好玩的 SQL脚本拼接。 只要你的Scrapy Field字段名字和 数据库字段的名字 一样。那么恭喜你你就可以拷贝这段SQL拼接脚本。进行MySQL入库处理。 具体拼接代码如下： 这个SQL拼接实现了，如果数据库存在相同数据则 更新，不存在则插入 的SQL
阅读全文
posted @ 2018-10-03 20:00
CrossPython
阅读(249)
推荐(0)
摘要：
yield Request(......
阅读全文
posted @ 2018-10-03 19:09
CrossPython
阅读(3489)
推荐(0)
浙公网安备 33010602011771号