摘要: 一、scrapy基本操作 Scrapy简介 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Ass 阅读全文
posted @ 2018-07-13 18:18 魏xx 阅读(146) 评论(0) 推荐(0) 编辑
摘要: 一、BeautifulSoup安装 二、使用示例 1.name标签名称 2.attr标签属性 3.find与find_all查找区别 4.clear,将标签的所有子标签全部清空(保留标签名) 5.has_attr,检查标签是否具有该属性 6.get_text,获取标签内部文本内容 7.decompo 阅读全文
posted @ 2018-07-13 16:56 魏xx 阅读(1769) 评论(1) 推荐(1) 编辑
摘要: 1.requests的常用参数 2.爬取github个人项目 阅读全文
posted @ 2018-07-05 17:39 魏xx 阅读(317) 评论(0) 推荐(0) 编辑
摘要: 1.在django项目的settings.py文件设置添加 2.如果还不行请多添加一下内容 阅读全文
posted @ 2018-05-06 16:17 魏xx 阅读(306) 评论(0) 推荐(0) 编辑
摘要: 前提是已经安装好nginx,我是编译安装,在/usr/local目录下 环境: 代理服务器:eth0:192.168.10.18 eth1:192.168.20.5 web服务器:192.168.10.11 客户端:192.168.20.6 1.配置反向代理 找到最小面,添加该行,将配置放在conf 阅读全文
posted @ 2018-05-04 21:56 魏xx 阅读(1307) 评论(0) 推荐(0) 编辑
摘要: 1.首先确认已安装django,nginx,uwsgi pip install django pip install uwsgi 2.利用命令uwsgi启动,在django项目下,django目录结构如下: 圈出来的文件是先不管,后面创建的或者配置文件生成的 3.命令测试启动 uwsgi --htt 阅读全文
posted @ 2018-05-03 15:12 魏xx 阅读(6796) 评论(0) 推荐(0) 编辑
摘要: 一、linux常用命令 http://man.linuxde.net/ 1.文件目录管理 2.文件内容查看 3.系统常用命令 4.权限管理 二、vim编辑器简单使用 vim三种模式: 1) 命令行模式command mode)控制屏幕光标的移动,字符、字或行的删除,移动复制某区段及进入Insert 阅读全文
posted @ 2018-01-29 11:36 魏xx 阅读(521) 评论(0) 推荐(0) 编辑
摘要: 1.冒泡排序 [1, 9, 22, 31, 3, 6, 2, 11, 45] [1, 9, 22, 3, 6, 2, 11, 31, 45] [1, 9, 3, 6, 2, 11, 22, 31, 45] [1, 3, 6, 2, 9, 11, 22, 31, 45] [1, 3, 2, 6, 9, 阅读全文
posted @ 2018-01-26 16:04 魏xx 阅读(183) 评论(0) 推荐(0) 编辑
摘要: 1.安装ftp 2.vsftpd配置文件 # Example config file /etc/vsftpd/vsftpd.conf## The default compiled in settings are fairly paranoid. This sample file# loosens t 阅读全文
posted @ 2018-01-16 12:44 魏xx 阅读(227) 评论(0) 推荐(0) 编辑
摘要: 1.创建一个用户,不能登录和不创建主目录 1.1安装依赖关系 2.下载nginx包 2.1 解压 2.2 编译设置 若出现错误主要有一下几点: 解决: 解决: 解决: 2.3 编译安装 3.nginx 配置文件详解 #user nobody;worker_processes 1; #error_lo 阅读全文
posted @ 2018-01-16 11:38 魏xx 阅读(2950) 评论(0) 推荐(0) 编辑