08 2017 档案

爬虫----Web_WeChat
摘要：流程： 打开的web_wechat，就有出现二维码，在network中，name中login？loginicon中，status的状态是pending，pending的意思是前端发送了一个请求，但是还没有被返回。 阅读全文
posted @ 2017-08-29 17:05 王先生是胖子 阅读(187) 评论(0) 推荐(0)
Network----轮询
摘要：轮询： 定时每隔多长时间刷新一次，但是，7X24的对服务器的压力会过大，因为在夜间或者是流量低峰期时，他还要持续工作。 客户端发一次请求，服务器就要相应一次。 长轮询： 和轮询的模式不同，长轮询是一次性的处理多个客户端的请求，多个客户端向服务器发送链接请求，服务器接受后，不会放开，而是会hold住， 阅读全文
posted @ 2017-08-29 16:54 王先生是胖子 阅读(177) 评论(0) 推荐(0)
爬虫-----HTML解析
摘要：对HTML的解析： 在解析复杂的HTML的页面时，需要避免一些问题，好让爬虫工作变得得心应手。 • 寻找“打印此页”的链接，或者看看网站有没有HTML样式更友好的移动版(把自己 的请求头设置成处于移动设备的状态，然后接收网站移动版)。 • 寻找隐藏在JavaScript文件里的信息。要实现这一点，可 阅读全文
posted @ 2017-08-21 16:50 王先生是胖子 阅读(423) 评论(0) 推荐(0)
爬虫-----模块
摘要：爬虫所需要的模块： requests： requetes是使用Apache2 licensed的许可证，基于Python开发的http库。 在Python内置模块的基础上进行的高度封装，从而使得Python进行网络请求时，变的好 用，使用requests可以轻易得完成浏览器的任何操作。 1. get 阅读全文
posted @ 2017-08-21 10:10 王先生是胖子 阅读(280) 评论(0) 推荐(0)
数据结构---算法
摘要：算法的low B三人组： 快排： 阅读全文
posted @ 2017-08-15 10:33 王先生是胖子 阅读(118) 评论(0) 推荐(0)
爬虫-----数据采集的基本原理
摘要：常见的称谓是网页抓屏(screen scraping)、数据挖掘(data mining)、网络收割(Web harvesting)或其他类似的版本。器人(bots)。 常见的称谓是网页抓屏(screen scraping)、数据挖掘(data mining)、网络收割(Web harvesting 阅读全文
posted @ 2017-08-15 10:28 王先生是胖子 阅读(4328) 评论(0) 推荐(0)
Python之基本数据类型
摘要：可变数据类型：列表，字典，集合 不可变数据类型（一创建，不能修改）：整型，元组，字符串 字符编码： ASCII编码。最多只能用8位来表示一个字节。ASCII编码最多只能表示255个符合。 GB2312和GBK和GB18030。支持中文。 Unicode万国码。搞全有。utf-32 = 4字节 utf 阅读全文
posted @ 2017-08-15 10:17 王先生是胖子 阅读(226) 评论(0) 推荐(0)
爬虫----异常处理
摘要：爬虫的异常处理： • 网页在服务器上不存在(或者获取页面的时候出现错误) • 服务器不存在 第一种异常发生时，程序会返回 HTTP 错误。HTTP 错误可能是“404 Page Not Found”“500 Internal Server Error”等。所有类似情形，urlopen函数都会抛出“H 阅读全文
posted @ 2017-08-14 09:53 王先生是胖子 阅读(279) 评论(0) 推荐(0)
爬虫----登录及点赞
摘要：基本操作： url指定内容获取到： -发送http请求， -基于正则表达式获取内容 import requests from bs4 import BeautifulSoup response = requests.get("url") response.text obj = beautifulso 阅读全文
posted @ 2017-08-14 09:50 王先生是胖子 阅读(380) 评论(0) 推荐(0)
MySQL之pymysql模块
摘要：MySQL的pymysql模块 返回首页 在Python中，使用该模块是对数据库进行操作的（SQL语句） 在python2中不仅仅有pymysql，还有mysqlDB，这两个模块的功能是一样的。 安装pymysql模块： pip3 install pymysql python连接mysql方法一：问 阅读全文
posted @ 2017-08-13 11:14 王先生是胖子 阅读(125) 评论(0) 推荐(0)
爬虫-----自定义框架
摘要：异步IO： 阅读全文
posted @ 2017-08-12 15:57 王先生是胖子 阅读(102) 评论(0) 推荐(0)
Django-----中间件Cookie
摘要：Cookie： 用来跟踪用户的会话。常用的会话跟踪技术是Cookie与Session。Cookie通过在客户端记录信息确定用户身份，Session通过在服务器端记录信息确定用户身份。 Cookie机制 在程序中，会话跟踪是很重要的事情。理论上，一个用户的所有请求操作都应该属于同一个会话，而另一个用户 阅读全文
posted @ 2017-08-11 09:29 王先生是胖子 阅读(228) 评论(0) 推荐(0)
System-----跳板机
摘要：跳板机 阅读全文
posted @ 2017-08-10 14:58 王先生是胖子 阅读(115) 评论(0) 推荐(0)
Scrapy爬虫框架
摘要：Scrapy框架： Scrapy 使用了 Twisted 异步网络库来处理网络通讯。整体架构大致如下; Scrapy 主要包括了以下组件： 1、引擎(Scrapy Engine)：用来处理整个系统的数据流处理，并进行事务处理的触发。 2、调度器(Scheduler)：用来接受引擎发过来的请求，并排序 阅读全文
posted @ 2017-08-10 11:08 王先生是胖子 阅读(154) 评论(0) 推荐(0)
MySQL-----操作练习
摘要：一、表关系 请创建如下表，并创建相关约束 二、操作表 1、自行创建测试数据 2、查询“生物”课程比“物理”课程成绩高的所有学生的学号； select A.student_id from (select score.sid,score.student_id,course.cname,score.num 阅读全文
posted @ 2017-08-10 10:18 王先生是胖子 阅读(211) 评论(0) 推荐(0)
MySQL临时表
摘要：MySQL临时表 返回首页 临时表是存在内存中，不是真实的表。 这是一个表的真实数据：select * from score where num > 60; 把这个表的数据变成一个临时的表，作为一个临时的表，那么就可以再对这个临时表中的数据进行查询 （select * from score wher 阅读全文
posted @ 2017-08-09 19:22 王先生是胖子 阅读(242) 评论(0) 推荐(0)
MySQL备份(转储）
摘要：MySQL备份 返回首页 备份： **备份数据表结构+数据** mysqldump -u root 要备份的数据库表名 > 要备份的数据的备份名（这里也可以指定路径） -p 样例：mysqldump -u root db1 > db1.sql -p **备份数据表结构** mysqldump -u 阅读全文
posted @ 2017-08-09 16:52 王先生是胖子 阅读(797) 评论(0) 推荐(0)
System----堡垒机
摘要：你知道嘛是堡垒机吗？ 你知道堡垒机是奏嘛的吗？ 1，改server 端 socket server 接受到的请求 执行指令前，记录收到的指令，来源ip 用户名 缺点：每台机器都要更改源码，加入指令记录的代码。ssh server 的源码是用C编写，有近20万行代码。 2，不改ssh server 源 阅读全文
posted @ 2017-08-09 10:41 王先生是胖子 阅读(147) 评论(0) 推荐(0)
MySQL分组操作
摘要：MySQL分组操作 返回首页 分组（group by）语法： create table department (id int auto_increment primary key, title varchar(32), )engine = innodb default charset=utf8; i 阅读全文
posted @ 2017-08-09 00:08 王先生是胖子 阅读(343) 评论(0) 推荐(0)
MySQL连表操作
摘要：MySQL连表 返回首页 连表操作 使userinfo表的part_id列与department的id关联 select * from userinfo,department where userinfo.part_id = department.id 推荐的连表方式 left/right join 阅读全文
posted @ 2017-08-08 23:51 王先生是胖子 阅读(190) 评论(0) 推荐(0)
MySQL多对多操作
摘要：MySQL多对多 返回首页 示例1： 用户表和相亲记录表 用户表 用户id 用户名 性别 1 George 男 2 Elizabeth 女 3 Bruce 男 4 Catherine 女 相亲表 相亲组id 用户甲 用户乙 1 1 2 2 1 4 3 2 1 4 2 3 示例2： 用户主机关系表 用 阅读全文
posted @ 2017-08-08 19:14 王先生是胖子 阅读(166) 评论(0) 推荐(0)
MySQL一对一操作
摘要：MySQL一对一操作 返回首页 用户表和博客表 用户表（userinfo）： 用户id 用户名 1 George 2 root 3 Bruce 4 Catherine 博客表： 博客id 博客名 用户id（FK + 唯一） 1 /adfadsfdfasd/ 4 2 /qwerr/ 1 3 /asdf 阅读全文
posted @ 2017-08-08 17:44 王先生是胖子 阅读(502) 评论(0) 推荐(0)
MySQL唯一索引
摘要：MySQL唯一索引 返回首页 1、唯一索引(unique)： 单列唯一索引和联合唯一索引。 索引是为了加速查找。 唯一索引是加了约束条件。例如主外键。 2、唯一索引的约束： 约束不能重复(可以为空)，主键不能重复(不能为空)。 3、唯一索引的写法： create table t1 (id int . 阅读全文
posted @ 2017-08-08 17:16 王先生是胖子 阅读(1828) 评论(0) 推荐(0)
MySQL用户授权管理
摘要：用户授权管理返回首页 一、用户管理： 创建用户： create user '用户名'@'用户pc的ip地址(ip可以写精准点的，也可以是网段的，也可以写一个‘’%‘’提所有)' identified(设置密码) by '密码'; 样例：create user 'george'@'192.168.1. 阅读全文
posted @ 2017-08-07 17:24 王先生是胖子 阅读(192) 评论(0) 推荐(0)
MySQL外键操作
摘要：MySQL外键操作 返回首页 外键就是将两张或多张表，关联起来，使其一张表的某行数据与另一张表的某行数据关联起来。 使表1的外键与表2的主键关联，这样就可以通过表1的外键，找到表2的主键所在行的数据。 create table userinfo( uid bigint auto_increment 阅读全文
posted @ 2017-08-07 16:26 王先生是胖子 阅读(180) 评论(0) 推荐(0)
MySQL删操作
摘要：MySQL删操作 返回首页 一、删除数据库操作 删除数据库：drop database '数据库名称'; 删除数据库用户：drop user '用户名'@'ip地址'; 二、删除数据表操作 清空数据表内容：delete from 数据库表名; 但是自增列的数字不清。 truncate table 数 阅读全文
posted @ 2017-08-07 16:13 王先生是胖子 阅读(110) 评论(0) 推荐(0)
MySQL增操作
摘要：MySQL增操作 返回首页 一、添加数据库操作 创建数据库：create database “数据库名称” default charset utf8; 样例：create databases dbtest default charset utf8; 二、添加数据表操作 创建数据表：create ta 阅读全文
posted @ 2017-08-07 16:13 王先生是胖子 阅读(233) 评论(0) 推荐(0)
MySQL改操作
摘要：MySQL改操作 返回首页 一、修改数据库操作 *** 以创建的数据库不能修改。 修改数据库用户名：rename user '用户名'@'IP' to '新用户名'@'IP'; 样例：rename user 'george'@'192.168.1.1' to 'new_george'@'IP'; 修 阅读全文
posted @ 2017-08-07 16:12 王先生是胖子 阅读(146) 评论(0) 推荐(0)
MySQL查操作
摘要：MySQL查操作 返回首页 数据库在我眼中就是增删改查，而查，我觉得是数据库最费劲的，数据库的花式查，各种查。下面咱们不废话，就是干。 一、查看数据库操作 查数据库版本：select version(); 查登录用户：select user(); 查库中有多少数据库文件：show databases 阅读全文
posted @ 2017-08-02 15:00 王先生是胖子 阅读(160) 评论(0) 推荐(0)