mongodb使用
摘要:文档:https://docs.mongodb.com/manual/tutorial/install-mongodb-on-ubuntu/ 安装 1.直接下载安装 sudo apt-get install -y mongodb # -y 跳过提示y/n的选择 默认全部是y 服务端mongodb启动
阅读全文
chromedriver对应chrome版本
摘要:chromedriver版本支持的Chrome版本 v2.41 v67-69 v2.40 v66-68 v2.39 v66-68 v2.38 v65-67 v2.37 v64-66 v2.36 v63-65 v2.35 v62-64 v2.34 v61-63 v2.33 v60-62 v2.32 v
阅读全文
爬虫-selenium的使用
摘要:安装 开始 报错 原因:没有安装chromedriver chromedriver下载地址:https://chromedriver.storage.googleapis.com/index.html 解压缩 把文件夹移动到/usr/bin目录下 测试是否成功 继续运行代码,成功 selenium用
阅读全文
爬虫-步骤
摘要:### xpath的包含- `//div[contains(@class,'i')]`### 实现爬虫的套路- 准备url - 准备start_url - url地址规律不明显,总数不确定 - 通过代码提取下一页的url - xpath - 寻找url地址,部分参数在当前的响应中(比如,当前页码数和
阅读全文
xpath用发
摘要:xpath的更多语法: https://docs.microsoft.com/zh-cn/previous-versions/dotnet/netframework-2.0/ms256039(v=vs.80)?redirectedfrom=MSDN 注意: 使用xpath helper或者chrom
阅读全文
Chrome插件安装和用法
摘要:XPath Helper 下载插件,拖入chrome://extensions/ 使用方法:ctrl+shift+x呼出 JSONView的使用: 安装JSONView插件 下载插件,拖入chrome://extensions/ 使用方法:地址栏输入请求的网址,如果是json文件,直接格式化输出
阅读全文
正则用法
摘要:语法 在DOTALL模式中能匹配到换行 常用正则表达式的方法: re.compile(编译) pattern.match(从头找一个) pattern.search(找一个) pattern.findall(找所有) pattern.sub(替换)
阅读全文
爬虫-数据提取
摘要:数据分类 非结构化数据:html等 处理方法:正则表达式,xpath 结构化数据:json,xml 处理方法:转化位python数据类型 JSONView的使用: 安装JSONView插件 下载插件,拖入chrome://extensions/这个网页里就可以用了 美化输出-格式化pprint 结果
阅读全文
爬虫-retrying用法
摘要:文档:https://pypi.org/project/retrying/ 安装 设置最大重试次数
阅读全文
文件安装方法
摘要:安装 1.pip安装 2.下载源码,进入解压后的目录 3.****.whl格式安装方法 pip install fdfs_client-py-master.zip
阅读全文
爬虫-requests用法
摘要:中文文档 API: http://requests.kennethreitz.org/zh_CN/latest/ 安装 pip install requests 获取网页 # coding=utf-8 import requests response = requests.get('http://w
阅读全文
http和https
摘要:HTTP 明文传输(不安全) 超文本传输协议 默认端口号:80 HTTPS 多了加密和解密过程,但是时间耗费的长 HTTP + SSL(安全套接字层) 默认端口号:443 HTTPS比HTTP更安全,但是性能更低
阅读全文
django-评论
摘要:视图函数views.py 模板order_comment.html中 详情页面detail.html中
阅读全文
django-支付宝支付
摘要:安装python-alipay-sdk 配置 视图函数orders/views.py 配置路由urls.py 用户订单页面user_center_order.html 点击去付款,报错 查找原因 视图函数中Alipay{}中 OK,解决问题,继续 让网站知道已经支付成功 视图函数views.py中添
阅读全文
django-用户中心订单页面
摘要:提交订单页面place_order.html,创建订单成功后跳转到用户订单页面 用户订单得试图函数user/views.py 用户订单静态页面user_center_order.html
阅读全文
阿里支付
摘要:阿里:https://openhome.alipay.com/platform/home.htm 支付宝支付 支付宝开放平台登录 使用已有的支付宝账号即可 https://open.alipay.com/platform/home.htm 关于沙箱环境(开发模拟环境) https://docs.op
阅读全文
django-订单并发处理--悲观锁和乐观锁
摘要:冲突比较少的时候,使用乐观锁。 冲突比较多的时候,使用悲观锁。 (1) 悲观锁 select * from df_goods_sku where id=17 for update; 悲观锁获取数据时对数据行了锁定,其他事务要想获取锁,必须等原事务结束。 视图函数views.py (2) 乐观锁 查询
阅读全文
django-mysql事务
摘要:django文档:https://yiyibooks.cn/xx/django_182/topics/db/transactions.html mysql事务 1) 事务概念 一组mysql语句,要么执行,要么全不不执行。 2) 事务的特点 1、原子性:一组事务,要么成功;要么撤回。 2、稳定性 :
阅读全文