09 2020 档案

pyplot的Matplotlib
摘要：Matplotlib第三方库 Matplotlib的使用： import matplotlib.pyplot as plt import matplotlib.pyplot as plt plt.plot([3,1,4,5,2]) plt.ylabel("grade") plt.savefig('t 阅读全文
posted @ 2020-09-29 21:54 _年少无知 阅读(177) 评论(0) 推荐(0)
图像的数组表示
摘要：图像用RGB色彩模式表示： R红色G绿色B蓝色 （0-255） PIL库:pip install pillow 安装 import numpy as np form PIL import Image im = np.array(Image.open("图片路径")) 图像的变换 1.读入图像，获得像 阅读全文
posted @ 2020-09-27 17:46 _年少无知 阅读(443) 评论(0) 推荐(0)
数据存取与函数
摘要：*********************************************************** CSV（comma-Separated Value,逗号分隔符） CSV是一种常见的文件格式，用来存储批量数据。 np.savetxt(frame,array,fmt='%.18e 阅读全文
posted @ 2020-09-27 17:08 _年少无知 阅读(114) 评论(0) 推荐(0)
ndarray数组的操作
摘要：索引：获取数组中特定位置元素的过程。 切片：获取数组元素子集的过程。 a[1:4:2]表示 起始编号：终止编号（不含）：步长 数组的运算： 阅读全文
posted @ 2020-09-27 15:47 _年少无知 阅读(162) 评论(0) 推荐(0)
初学
摘要：一：安装anaconda工具 在https://www.anaconda.com/ 下下载相关软件 二：IPython Ipython 是前台显示脚本 阅读全文
posted @ 2020-09-26 20:47 _年少无知 阅读(210) 评论(0) 推荐(0)
setting 配置
摘要： 阅读全文
posted @ 2020-09-26 09:20 _年少无知 阅读(107) 评论(0) 推荐(0)
scrapy必要类相关知识
摘要：Scrapy爬虫支持多种HTML信息提取方法： Beautiful Soup lxml re XPath Selector CSS Selector *********************************************************** CSS Selector 的基 阅读全文
posted @ 2020-09-26 08:22 _年少无知 阅读(124) 评论(0) 推荐(0)
scrapy中yield
摘要：yield关键字： 生成器，是一个不断产生值的函数。 包含yield语句的函数是一个生成器。 生成器每次产生的一个值（yield语句），函数被冻结，被唤醒后再产生一个值。 实例： 介绍 生成器的优点： 1.更省存储空间 2.响应更迅速 3.使用更灵活 阅读全文
posted @ 2020-09-26 08:12 _年少无知 阅读(562) 评论(0) 推荐(0)
scrapy 工程目录介绍
摘要：一：创建工程项目 scrapy startproject python123demo python123demo 外部目录 scrapy.cfg 部署scrapy爬虫的配置文件 python123demo/python123demo scrapy框架的用户自定义python代码 __init__.p 阅读全文
posted @ 2020-09-26 00:01 _年少无知 阅读(291) 评论(0) 推荐(0)
python小点总结
摘要：pip下载路径D:\python\Lib\site-packages 阅读全文
posted @ 2020-09-24 22:52 _年少无知 阅读(178) 评论(0) 推荐(1)
Scrapy爬虫框架
摘要：“5+2 ” 结构 scrapy爬虫框架结构 engine 核心：控制所有模块之间的数据流，根据条件触发事件。 downloader：根据请求下载网页，不需要用户修改。 scheduler：所有爬取请求进行调度管理。不需要用户修改。 Downloader Middleware 目的：实施Engine 阅读全文
posted @ 2020-09-24 22:39 _年少无知 阅读(170) 评论(0) 推荐(0)
淘宝商品比定向爬虫
摘要：#CrowTaobaoPrice.py import requests import re def getHTMLText(url): try: r = requests.get(url, timeout=30) r.raise_for_status() r.encoding = r.apparen 阅读全文
posted @ 2020-09-24 14:55 _年少无知 阅读(162) 评论(0) 推荐(0)
re正则表达式
摘要：regular expression (re) '一行正千言' eg: PY+ 代表有PY后面有无穷的Y的字符串。 **************************************** 通用的字符串表达框架 简洁表达一组字符串的表达式 针对字符串表达“简介”和特征思想的工具 判断某字符串 阅读全文
posted @ 2020-09-24 12:21 _年少无知 阅读(279) 评论(0) 推荐(0)
实战爬虫中国好大学排名
摘要：#CrawUnivRankingB.py import requests from bs4 import BeautifulSoup import bs4 def getHTMLText(url): try: r = requests.get(url, timeout=30) r.raise_for 阅读全文
posted @ 2020-09-13 19:21 _年少无知 阅读(238) 评论(0) 推荐(0)
信息标记
摘要：三种信息标记：XML,JSON,YAML HTML （hyper text markup language ） 信息标记形式 XML JOSN （JavaScript Object Notation） 有类型键值对 YAML 无类型键值对 实例：在之前获取的demo=r.text的情况下进行下面代码 阅读全文
posted @ 2020-09-13 18:54 _年少无知 阅读(145) 评论(0) 推荐(0)
递归和迭代
摘要：“递归”和“迭代”的区别如下: 1.递归的基本概念:程序调用自身的编程技巧称为递归,是函数自己调用自己.一个函数在其定义中直接或间接调用自身的一种方法,它通常把一个大型的复杂的问题转化为一个与原问题相似的规模较小的问题来解决,可以极大的减少代码... 2.迭代:利用变量的原值推算出变量的一个新值.如 阅读全文
posted @ 2020-09-10 12:26 _年少无知
beautifuf soup
摘要：beautifulsoup是解析html，xml文档 基本元素 1.Tag 标签 2.Name 标签的名字 3.Attributes 标签的属性 4.NavigableString 标签内非属性字符串， 5.Comment 标签内字符串的注释部分，一种特殊的Comment类型。 >>> r = re 阅读全文
posted @ 2020-09-10 12:16 _年少无知 阅读(164) 评论(0) 推荐(0)
实例小点
摘要：kv = {‘user-agent’：‘Mozilla/5.0’} 代表通用浏览器 kv = {'wd':'Python'} 代表搜索内容 params=kv https://www.baidu.com/s?wd + 关键字// 百度关键词接口 爬取图片 import requests import 阅读全文
posted @ 2020-09-09 23:38 _年少无知
爬虫基础问题
摘要：爬虫的尺寸 网络爬虫的限制： 通过判断user-agent进行审查限制 发布Robots协议 Robots协议： 网络爬虫排除标准。形式:在网站根目录创建。有user-agent和Disallow 阅读全文
posted @ 2020-09-09 23:05 _年少无知
request库
摘要：在IDLE中输入以下，确认request >>> import requests>>> r = requests.get("http://www.baidu.com")>>> r.status_code200 //表示访问成功************************************* 阅读全文
posted @ 2020-09-09 21:25 _年少无知
IBS和sniffer
摘要：IDS是计算机的监视系统，它通过实时监视系统，一旦发现异常情况就发出警告。以信息来源的不同和检测方法的差异分为几类：根据信息来源可分为基于主机IDS和基于网络的IDS，根据检测方法又可分为异常入侵检测和误用入侵检测。 SYN Flood (SYN洪水) Sniffer，中文可以翻译为嗅探器，也叫抓数 阅读全文
posted @ 2020-09-01 23:05 _年少无知