摘要：
1、全局刷新和局部刷新 B/S 结构项目中， 浏览器（Browse）负责把用户的请求和参数通过网络发送给服务器（Server），服务端使用 Servlet（多种服务端技术的一种）接收请求，并将处理结果返回给浏览器。 浏览器在 html，jsp 上呈现数据，混合使用 css， js 帮助美化页面，或响 阅读全文
摘要：
Python Matplotlib练习 import numpy as np import pandas as pd import matplotlib.pyplot as plt （1）画出$y=x^{2}+2x+1$在区间[-5,3]的函数图像。 x = np.linspace(-5,3) y 阅读全文
摘要：
Matplotlib数据展示 1 matplotlib基础 Python的一个2D图形包，pyplot封装很很多画图函数。 import matplotlib.pyplot as plt import numpy as np matplotlib.pyplot包含一系列类似类似MATLAB中绘图函数 阅读全文
摘要：
一、Spring 概述 1.1 Spring 框架是什么 Spring 是于 2003 年兴起的一个轻量级的 Java 开发框架，它是为了解决企业应用开发的复杂性而创建的。Spring 的核心是控制反转（IoC）和面向切面编程（AOP）。Spring 是可以在 Java SE/EE 中使用的轻量级开 阅读全文
摘要：
Java 反射的相关内容：https://www.cnblogs.com/wkfvawl/p/14806214.html 代理模式 代理模式是指，为其他对象提供一种代理以控制对这个对象的访问。在某些情况下，一个对象不适合或者不能直接引用另一个对象，而代理对象可以在客户类和目标对象之间起到中介的作用。 阅读全文
摘要：
2.1 数据集 目标 知道数据集的分为训练集和测试集 会使用sklearn的数据集 2.1.1 可用数据集 Kaggle网址：https://www.kaggle.com/datasets UCI数据集网址： http://archive.ics.uci.edu/ml/ scikit-learn网址 阅读全文
摘要：
JSON (JavaScript Object Notation) 是一种轻量级的文本数据交换格式。 JSON独立于语言 JSON具有自我描述性，更易理解 JSON比XML更小、更快、更易解析 Python 中可以使用 json 模块来对 JSON 数据进行编解码。 官方文档：https://doc 阅读全文
摘要：
Scrapy默认的是get请求，想要发送post请求，就需要再method中说明，一般常用写法如下 scrapy.Request(url=url,method="POST",headers=self.headers,callback=self.get_goods_list) 但post请求通常会带有 阅读全文
摘要：
因为这段时间一直在用python写脚本，所以阅读他人代码的时候经常会看到一些python特有的语法糖，按照公司前辈的意思，这些东西不需要花很多精力去记，差不多会用就行。 主要来自：https://www.cnblogs.com/cwp-bg/p/9041319.html 一、列表推导式 列表推导式即 阅读全文
摘要：
一、 连接数据库 1、下载安装pymyql库 pip install pymysql 2、导入库 import pymysql 3、连接数据库，最好用try except捕获异常 try: db = pymysql.connect(host="localhost", user="root", pas 阅读全文
摘要：
一、预备知识 1、什么是日志 日志是一种可以追踪某些软件运行时所发生事件的方法。软件开发人员可以向他们的代码中调用日志记录相关的方法来表明发生了某些事情。一个事件可以用一个可包含可选变量数据的消息来描述。此外，事件也有重要性的概念，这个重要性也可以被称为严重性级别（level）。 2、日志的等级 级 阅读全文
摘要：
一、迭代器 1、迭代器协议 迭代器协议是指：对象必须提供一个next方法，执行该方法要么返回迭代中的下一项，要么就引起一个stoplteration异常，以终止迭代（只能 往后走，不能往前退） 协议是一种约定，可迭代对象实现了迭代器协议，python的内部工具（如for循环，sum，min，max函 阅读全文
摘要：
参考《图解HTTP》 视频：https://www.bilibili.com/video/BV1NK411w7mc 本文适合作为网络爬虫和自动化测试的前导知识学习 一、了解Web和网络基础 1、Web万维网和HTTP协议 使用HTTP协议访问万维网 WWW万维网的构成 2、HTTP发展历程和版本 3 阅读全文
摘要：
1、Pandas基础知识 用pandas中的DataFrame时选取行或列： import numpy as np import pandas as pd from pandas import Sereis, DataFrame ser = Series(np.arange(3.)) data = 阅读全文
摘要：
1 Pandas基本介绍 Python Data Analysis Library或pandas是基于Numpy的一种工具，该工具是为了解决数据分析任务而创建的。Pandas纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所Pandas操作需要的工具。pandas提供了大量能使我们快速便 阅读全文
摘要：
https://www.runoob.com/numpy NumPy是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵，比Python自身的嵌套列表（nested list structure）结构要高效的多。 NumPy（Numeric Python）提供了许多高级的数值编程 阅读全文
摘要：
一、背景 采集企业官网的产品数据，以ASM-Pacific科技公司https://www.asmpacific.com/zh-cn/为例。 网站数据是动态加载的，点击加载更多进行抓包。 看到Request URL为：https://www.asmpacific.com/zh-cn/index.php 阅读全文
摘要：
## 一、Scrapy简介 **什么是框架？** 所谓的框架简单通用解释就是就是一个具有很强通用性并且集成了很多功能的项目模板，该模板可被应用在不同的项目需求中。也可被视为是一个项目的半成品。 **如何学习框架？** 对于刚接触编程或者初级程序员来讲，对于一个新的框架，只需要掌握该框架的作用及其各个 阅读全文
摘要：
一、反射Reflection Reflection（反射）是被视为动态语言的关键，反射机制允许程序在执行期借助于Reflection API取得任何类的内部信息，并能直接操作任意对象的内部属性及方法。加载完类之后，在堆内存的方法区中就产生了一个Class类型的对象（一个类只有一个Class对象），这 阅读全文
摘要：
使用XPath用来解析网页已经在https://www.cnblogs.com/wkfvawl/p/14725960.html上面提到了一点，但不是很详细，这里结合w3school的教程，使用python实践一下。 https://www.w3school.com.cn/xpath/index.as 阅读全文
摘要：
一、注解 (Annotation) 概述 从 JDK 5.0 开始, Java 增加了对元数据(MetaData) 的支持, 也就是Annotation(注解) Annotation 其实就是代码里的特殊标记, 这些标记可以在编译, 类加载, 运行时被读取, 并执行相应的处理。通过使用 Annota 阅读全文
摘要：
一、枚举类定义 类似这种当一个变量有几种固定可能的取值时，就可以将它定义为枚举类型。举例如下： 星期：Monday(星期一)、......、Sunday(星期天) 性别：Man(男)、Woman(女) 季节：Spring(春节)......Winter(冬天) 支付方式：Cash（现金）、WeCha 阅读全文
摘要：
一、selenium引入概述 我们在抓取⼀些普通⽹⻚的时候requests基本上是可以满⾜的，但是，如果遇到⼀些特殊的⽹站，它的数据是经过加密的，但是浏览器却能够正常显示出来。那我们通过requests抓取到的内容可能就不是我们想要的结果了。 例如，电影票房数据，在浏览器上看的时候是正常的。那么按照 阅读全文
摘要：
一、单例模式的应用 单例对象（Singleton）是一种常用的设计模式。在 Java 应用中，单例对象能保证在一个 JVM中，该对象只有一个实例存在。这样的模式有几个好处： 1、某些类创建比较频繁，对于一些大型的对象，这是一笔很大的系统开销。 2、省去了 new 操作符，降低了系统内存的使用频率，减 阅读全文
摘要：
一、String特性 String类：代表字符串。Java 程序中的所有字符串字面值（如"abc" ）都作为此类的实例实现。 String源码部分： public final class String implements java.io.Serializable, Comparable<Strin 阅读全文
摘要：
本篇文章会涉及到操作系统中的一些概念，如：程序、进程、线程、并发、并行、单核、多核、死锁等，这里不再赘述，只专注于实现。 一、线程的创建和启动 Java语言的JVM允许程序运行多个线程，它通过java.lang.Thread类来体现。 Thread类的特性 每个线程都是通过某个特定Thread对象的 阅读全文
摘要：
之前在第三章的例子中爬取了梨视频的视频，那么那种方式是否也适合爬取电视剧或者电影呢？其实不是这样的。 我们想要抓取⽹上的视频资源就必须要了解我们的视频⽹站是如何⼯作的，这⾥我⽤91看剧来做举例.，其他⽹站的原理是⼀样的。 一、视频⽹站是如何⼯作的 假设, 你现在想要做⼀个视频⽹站. 也有很多的UP主 阅读全文
摘要：
一、多线程抓取北京新发地菜价 多线程、多进程和线程池等的概念，我单独成章了，算到Python基础知识里面，https://www.cnblogs.com/wkfvawl/p/14729542.html 这里就直接开启练习，抓取菜价其实在第二章已经讲过了，那时候用的是bs4解析的网页，这里使用xpat 阅读全文
摘要：
一、基本概念 线程和进程是操作系统中经常考察的概念。区别和联系可以查看我之前的博客https://www.cnblogs.com/wkfvawl/p/14407427.html#scroller-6 进程 进程是程序在计算机上的一次执行活动。从内核的观点看，进程的目的就是担当分配系统资源（CPU时间 阅读全文