摘要：
//*[@id=”post_content”]/p[1] 意思是：在根节点下面的有一个id为post_content的标签里面的第一个p标签（p[1]） 如果你需要提取的是这个标签的文本你需要在后面加点东西变成下面这样： //*[@id=”post_content”]/p[1]/text() 后面加
阅读全文
posted @ 2018-10-24 21:53
CrossPython
阅读(199)
推荐(0)
摘要：
ModelForm表单 save（）方法 每一个ModelForm都有一个save（）方法，这个方法可以更具绑定的form表单创建并且保存一个数据库对象，ModelForm的子类可以接受一个model的子类作为instance的参数，如果存在那么save()方法会更新这个实例，否则会创建一个新的实例
阅读全文
posted @ 2018-10-24 15:55
CrossPython
阅读(436)
推荐(0)
摘要：
start items.py spider.py pipelines.py 通过 item__class__ 是什么类来决定如何处理数据 当然 ItemClass() 类里可以加 def __str__(self): return 'ItemClass" 更直观.
阅读全文
posted @ 2018-10-24 08:43
CrossPython
阅读(239)
推荐(0)
摘要：
分页 https://www.jianshu.com/p/0c957c57ae10 关于 follow=true, rule https://zhuanlan.zhihu.com/p/25650763 关于rule Each Rule defines a certain behaviour for
阅读全文
posted @ 2018-10-24 07:51
CrossPython
阅读(640)
推荐(0)
摘要：
重点在于CrawlSpider的学习！！！！！！！！！！！！！ **通过前面的学习我们可以进行一些页面的简单自动话爬取，对于一些比较规则的网站，我们似乎可以用Spider类去应付，可是，对于一些较为复杂或者说链接的存放不规则的网站我们该怎么去爬取呢，接下来的爬虫就是要解决这个问题，而且还可以高度的自
阅读全文
posted @ 2018-10-23 09:12
CrossPython
阅读(907)
推荐(0)
摘要：
注意: uselist=False 表示一对一关系. 如果没有 uselist=False, 则查询
阅读全文
posted @ 2018-10-22 22:40
CrossPython
阅读(245)
推荐(0)
摘要：
from selenium import webdriver import requests def loginZhihu(): loginurl = 'https://www.zhihu.com/signin' driver = webdriver.Chrome() driver.get(loginurl) #生物智能在干活当中............. ...
阅读全文
posted @ 2018-10-22 15:47
CrossPython
阅读(229)
推荐(0)
摘要：
//移动到元素element对象的“顶端”与当前窗口的“顶部”对齐 ((JavascriptExecutor) driver).executeScript("arguments[0].scrollIntoView();", element); ((JavascriptExecutor) driver).executeScript("arguments[0].scrollIntoVie...
阅读全文
posted @ 2018-10-22 15:09
CrossPython
阅读(668)
推荐(0)
摘要：
# -*- coding: utf-8 -*- # 导入依赖包 import scrapy from selenium import webdriver import time import json # 构建spider自动生成的基本配置 class ZhihuSpider(scrapy.Spider): name = 'zhihu' allowed_domains =...
阅读全文
posted @ 2018-10-22 14:08
CrossPython
阅读(1096)
推荐(0)
摘要：
1. nginx.conf http{ server { listen 80; server_name www.web1.com ....... location / { uwsgi_pass 127.0.0.1:8000; ....... } } server { listen 80; serve
阅读全文
posted @ 2018-10-21 22:04
CrossPython
阅读(4594)
推荐(0)
摘要：
#user nobody; worker_processes 1; #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log info; #pid logs/nginx.pid; events { worker_connections ...
阅读全文
posted @ 2018-10-21 21:24
CrossPython
阅读(113)
推荐(0)
摘要：
实现类似: 上一页 1 ... 4 5 6 7 8 ... 89 下一页 的效果
阅读全文
posted @ 2018-10-21 11:02
CrossPython
阅读(313)
推荐(0)
摘要：
trouble shooting https://www.django.cn/article/show-4.html https://blog.csdn.net/lh756437907/article/details/52151000/usr/local/nginx/sbin/nginx -c /u
阅读全文
posted @ 2018-10-20 19:21
CrossPython
阅读(198)
推荐(0)
摘要：
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123!@#sdt@' WITH GRANT OPTION; FLUSH PRIVILEGES;
阅读全文
posted @ 2018-10-20 18:43
CrossPython
阅读(184)
推荐(0)
摘要：
严格按下面步骤 一、更新系统软件包 yum update -y 二、安装软件管理包和可能使用的依赖 yum -y groupinstall "Development tools" yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel 三、下载Pyhton3到/usr/...
阅读全文
posted @ 2018-10-20 15:40
CrossPython
阅读(917)
推荐(0)
摘要：
要自定义处理url请求错误需要进行三步操作：主要错误有： 404错误：page not found视图 500错误：server error视图 400错误：bad request视图 以404错误为例，500、404同理 我这里创建了一个应用，名为booktest Step1：修改settings
阅读全文
posted @ 2018-10-20 13:00
CrossPython
阅读(5812)
推荐(1)
摘要：
django 存在则忽略, 不存在则创 TagSheet.objects.get_or_create(tag='test')
阅读全文
posted @ 2018-10-18 20:32
CrossPython
阅读(519)
推荐(0)
posted @ 2018-10-18 20:02
CrossPython
阅读(553)
推荐(0)
摘要：
根据反射做, 按钮 value 要设置成统一的, 这里是 submit
阅读全文
posted @ 2018-10-18 14:31
CrossPython
阅读(272)
推荐(0)
posted @ 2018-10-15 18:21
CrossPython
阅读(113)
推荐(0)
posted @ 2018-10-15 18:20
CrossPython
阅读(561)
推荐(0)
posted @ 2018-10-15 08:58
CrossPython
阅读(288)
推荐(0)
posted @ 2018-10-15 08:57
CrossPython
阅读(311)
推荐(0)
posted @ 2018-10-15 08:56
CrossPython
阅读(412)
推荐(0)
posted @ 2018-10-15 08:55
CrossPython
阅读(480)
推荐(0)
摘要：
应用 django FORM 录入数据 必须 item_id supplier_id 不能item, supplier
阅读全文
posted @ 2018-10-13 13:15
CrossPython
阅读(387)
推荐(0)
摘要：
item=CharField(max_length=20,min_length=1,required=True,widget=widgets.TextInput({'placeholder':'testing',}),) type=CharField(min_length=1,max_length=4,required=True,widget=Select(choices=(('0','P'),(...
阅读全文
posted @ 2018-10-13 10:45
CrossPython
阅读(957)
推荐(0)
摘要：
name=models.CharField(max_length=30,unique=True,verbose_name='姓 名') birthday=models.DateField(blank=True,null=True) GENDER_CHOICES=( (1,'Male'), (2,'F
阅读全文
posted @ 2018-10-09 14:28
CrossPython
阅读(203)
推荐(0)
摘要：
表名 ,foreignkey, 正向 obj.表名小写_set.all() 反向操作.
阅读全文
posted @ 2018-10-07 22:32
CrossPython
阅读(157)
推荐(0)
摘要：
https://segmentfault.com/a/1190000006949536
阅读全文
posted @ 2018-10-06 21:46
CrossPython
阅读(118)
推荐(0)
摘要：
https://www.cnblogs.com/chenice/p/6921727.html https://blog.csdn.net/Aaroun/article/details/78218131
阅读全文
posted @ 2018-10-06 10:58
CrossPython
阅读(129)
推荐(0)
摘要：
网上各种找,最后自己猜,猜到了. 必须安装python插件, 网上找的都是不带数字的版本号, 要么找不到要么不行. 我是 3.6.1,尝试加36， 成了。 yum install -y uwsgi-plugin-python36 识别的时候也要加36。 uwsgi --http-socket :80
阅读全文
posted @ 2018-10-06 10:21
CrossPython
阅读(1051)
推荐(0)
摘要：
sudo yum install python-django-common
阅读全文
posted @ 2018-10-06 09:23
CrossPython
阅读(328)
推荐(0)
摘要：
python2个版本导致的问题. 网上找了好多方法都不行. 最后自己莫名其妙弄好了, 回想了一下大概是 安装sqlite3 重新安装python 最后 yum update 更新 就好了.
阅读全文
posted @ 2018-10-06 09:14
CrossPython
阅读(349)
推荐(0)
摘要：
django-admin startproject test1 python manage.py startapp test2 change setting on DB python manage.py inspectdb >test2/models.py python manage.py make
阅读全文
posted @ 2018-10-05 13:54
CrossPython
阅读(173)
推荐(0)
摘要：
安装: https://www.jb51.net/article/123004.htm 问题解决: https://blog.csdn.net/zztingfeng/article/details/80155624 其中下载修复工具地址: http://www.pc6.com/softview/So
阅读全文
posted @ 2018-10-05 13:29
CrossPython
阅读(801)
推荐(0)
摘要：
试试gunicorn+supervisor+nginx. gunicorn是Python实现的的Web server,配置也比较简单。 supervisor也是Python实现的，它用于进程管理。 这两个都是可以直接pip安装的。 建议使用nginx配合uwsgi,因为apache的mod_wsgi
阅读全文
posted @ 2018-10-05 08:53
CrossPython
阅读(390)
推荐(0)
摘要：
https://www.jb51.net/article/79307.htm
阅读全文
posted @ 2018-10-04 10:52
CrossPython
阅读(183)
推荐(0)
摘要：
基础知识 class scrapy.spiders.CrawlSpider 这是抓取一般网页最常用的类，除了从Spider继承过来的属性外，其提供了一个新的属性rules，它提供了一种简单的机制，能够为将要爬取的链接定义一组提取规则。 rules 这是一个Rule对象列表，每条规则定义了爬取网站链接
阅读全文
posted @ 2018-10-03 20:38
CrossPython
阅读(989)
推荐(0)
摘要：
传统的使用scrapy爬下来的数据存入mysql,用的是在pipeline里用pymysql存入数据库, 这种方法需要写sql语句,如果item字段数量非常多的 情况下,编写起来会造成很大的麻烦. 我使用的python 库:sqlalchemy来编写,用orm的方式,使代码变得非常简洁,按照数据库
阅读全文
posted @ 2018-10-03 20:34
CrossPython
阅读(1911)
推荐(0)
浙公网安备 33010602011771号