上一页 1 2 3 4 5 6 7 ··· 10 下一页
2019年11月29日
scrapy-redis 实现分布式爬虫
摘要： 分布式爬虫 一 介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Scrapy的Scheduler，让新的S 阅读全文
posted @ 2019-11-29 23:49 可乐'不加冰 阅读(478) 评论(0) 推荐(0) 编辑
存储库之MongoDB
摘要： MongoDB是一款强大、灵活、且易于扩展的通用型数据库 一。安装 Mongofdb 1.https://www.mongodb.com/download-center/community 2.如图 下一步 下一步 下一步 下一步 下一步 下一步 下一步 # 注意（windows版本哦）如果没有下载 阅读全文
posted @ 2019-11-29 00:16 可乐'不加冰 阅读(260) 评论(0) 推荐(0) 编辑
pycharm解释器链接如何pymongo
摘要： 1。pymongo 链接数据库 # pycharm 链接我们的mogodb # 下载pymongo from pymongo import MongoClient # 客户端请求 服务端 # 链接 client = MongoClient('localhost', 27017) 2 。use db( 阅读全文
posted @ 2019-11-29 00:15 可乐'不加冰 阅读(411) 评论(0) 推荐(0) 编辑
2019年11月28日
爬虫之request相关请求
摘要： 一.解析json格式数据 （1） # （1）解析json 对象数据 # import requests # 返回的数据进行解析 # response = requests.get('http://httpbin.org/get') # 快代理的网站 # import json # res1 = js 阅读全文
posted @ 2019-11-28 01:04 可乐'不加冰 阅读(563) 评论(0) 推荐(0) 编辑
2019年11月25日
爬虫基本原理
摘要： 一.使用requests 模块 是基于urllib库 1.requests.get() 的请求 import requests # 使用requests 模块 是基于urllib # urllib python 内置的模块 也是没扣你发送http请求的库 # 模拟http请求， get post p 阅读全文
posted @ 2019-11-25 21:07 可乐'不加冰 阅读(520) 评论(0) 推荐(0) 编辑
2019年11月15日
Xadmin
摘要： 一.安装 Xadmin pip install https://codeload.github.com/sshwsfc/xadmin/zip/django2 二.导出文件 在公司开发中如何知道项目里别写的模块安装了哪些包 导出第三方模块与统一安装 切到项目的目录下 pip freeze >requi 阅读全文
posted @ 2019-11-15 09:03 可乐'不加冰 阅读(176) 评论(0) 推荐(0) 编辑
2019年11月11日
Flask框架
摘要： 1.安装命令: pip install flask 2.使用 1.自己的app from flask import Flask app = Flask(__name__) @app.route('/') def hello_world(): return 'Hello World!' if __na 阅读全文
posted @ 2019-11-11 23:56 可乐'不加冰 阅读(243) 评论(0) 推荐(0) 编辑
2019年11月4日
Celery框架
摘要： 一.Celery框架 独立运行的框架 1.1celery框架自带一个socket 底层通信接口 相当于起了一24 小时不间断的服务运行的项目(服务端) 好比一个死循环 不依赖Djagno 框架(wgiref 实现的并发 帮我们起的Djamgo 项目),Mysql 也是自带一个socket相当于启动了 阅读全文
posted @ 2019-11-04 23:11 可乐'不加冰 阅读(419) 评论(1) 推荐(0) 编辑
2019年10月31日
redis数据库如何用Django框架缓存数据
摘要： 恢复内容开始 一.python 使用redis 1.1 安装 pip install redis 测试有一些基本的数据类型 import redis # redis 是一个缓存数据库 # r = redis.Redis(host='127.0.0.1', port=6379) # 一般采用host与 阅读全文
posted @ 2019-10-31 17:29 可乐'不加冰 阅读(463) 评论(0) 推荐(0) 编辑
2019年10月30日
luffyapi项目 --短信认证的基本操作
摘要： 一.开通腾讯云短信 SDK 文档 ：https://cloud.tencent.com/document/product/382/11672 二.腾讯云短信二次封装 seetings 的配置 sms 获取验证码 test.py 阅读全文
posted @ 2019-10-30 21:17 可乐'不加冰 阅读(238) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 ··· 10 下一页