2018年12月20日

完整爬虫步骤(进阶)

摘要: import randomimport requestsfrom fake_useragent import UserAgentfrom retrying import retryimport hashlib #信息摘要 md5import queue #队列import re #正则表达式from 阅读全文

posted @ 2018-12-20 18:56 零度风格 阅读(1427) 评论(0) 推荐(1) 编辑

2018年12月19日

封装一个缓存类,在爬取时可以调用,保存在数据库中

摘要: # coding=utf-8 import pickle import zlib from datetime import datetime,timedelta import requests from pymongo import MongoClient from bson.binary import Binary class MongoCache(object): """ ... 阅读全文

posted @ 2018-12-19 11:45 零度风格 阅读(242) 评论(0) 推荐(0) 编辑

2018年12月18日

爬取基础步骤(基础篇)

摘要: 接下来我以‘糗事百科’为例进行爬取。 思路: 一.创建一个类(命名方式最好是驼峰式) 二.创建函数(用英语加下划线的方式) 1.初始化必要参数,完成必要设置 2.生成下载列表 3.使用requests get 的方法下载指定页面,并返回页面结果 4.保存下载结果 5.下载主线程,实现主要的下载逻辑 阅读全文

posted @ 2018-12-18 19:42 零度风格 阅读(276) 评论(0) 推荐(0) 编辑

2018年12月1日

工作中Django上线必须是每个人都要掌握的

摘要: 需要的软件 1.首先需要一个可以连接你服务器的软件这里需要两个:一个是传文件的(FileZilla),另外一个是和服务器连接,给服务器安装环境用(Xshell)和(putty)都可以 实现第一步拉取文件 1.首先连接FileZilla,连接后会出现下图样式(这里我使用的服务器是阿里云的,系统是Ubu 阅读全文

posted @ 2018-12-01 16:24 零度风格 阅读(930) 评论(0) 推荐(1) 编辑

2018年11月10日

利用python把图片转换成代码

摘要: 详细步骤如下: //////*****如果包导不进去,就导opencv-python*******/////// 原图: 效果图: 注意两点: 1图片像素太大,可以用画图,修改像素大小 2.通过调整文本格式里的格式(小六,西欧文) 阅读全文

posted @ 2018-11-10 10:16 零度风格 阅读(3531) 评论(0) 推荐(0) 编辑

2018年11月8日

MongoDB

摘要: 简介 MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。 是一个介于关系型数据库和非关系型数据库之间的产品,是非关系型数据库中最像关系型数据库的一种,是功能最丰富的非关系型数据库。 MongoDB是一个基于分布式文件存储的数据库。由 阅读全文

posted @ 2018-11-08 17:03 零度风格 阅读(112) 评论(0) 推荐(0) 编辑

2018年11月7日

Redis

摘要: Redis简介 Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。 非关系型数据库的一种,经常用作缓存数据库服务器。 官网:http://www.redis.io/ 中文网:http://www.redis.cn 阅读全文

posted @ 2018-11-07 17:58 零度风格 阅读(100) 评论(0) 推荐(0) 编辑

2018年11月5日

MySQL入门

摘要: 数据库简介 用途:用于存储生活的一切数据,如:身份、住房、车票、网站、... 概念:数据库服务器、数据库、数据表、一行数据(一条)、一列数据(字段) 分类: 关系型数据库:MySQL、oracle、SQL Server、... 非关系数据库:Redis、MongoDB、... SQL:Structu 阅读全文

posted @ 2018-11-05 17:10 零度风格 阅读(142) 评论(0) 推荐(0) 编辑

2018年11月2日

系统服务及shell编程

摘要: 防火墙(ufw) 说明:简单版本的防火墙,底层依赖于iptables。 安装:sudo apt-get install ufw 查看状态:sudo ufw status 开启/关闭:sudo ufw enable|disable 默认允许/禁止:sudo ufw default allow|deny 阅读全文

posted @ 2018-11-02 16:50 零度风格 阅读(90) 评论(0) 推荐(0) 编辑

2018年11月1日

文件操作及系统服务

摘要: 文件搜索 find: 作用:任意文件的搜索,功能非常强大 格式:find [目录] 条件 选项: -name:指定名字,如:sudo find / -name passwd -maxdepth:指定最大层级深度,如:sudo find / -maxdepth 3 -name passwd -type 阅读全文

posted @ 2018-11-01 19:48 零度风格 阅读(137) 评论(0) 推荐(0) 编辑

导航