摘要：
第1章 Hadoop概述 1.1 Hadoop是什么 1.2 Hadoop发展历史（了解） 1.3 Hadoop三大发行版本（了解） Hadoop三大发行版本：Apache、Cloudera、Hortonworks。 Apache版本最原始（最基础）的版本，对于入门学习最好。2006 Clouder 阅读全文
posted @ 2021-09-18 11:38
王陸
阅读(207)
评论(0)
推荐(0)
摘要：
创建者模式 创建型模式的主要关注点是“怎样创建对象？”，它的主要特点是“将对象的创建与使用分离”。 这样可以降低系统的耦合度，使用者不需要关注对象的创建细节。 创建型模式分为： 单例模式 工厂方法模式 抽象工程模式 原型模式 建造者模式 一、单例设计模式 单例模式（Singleton Pattern 阅读全文
posted @ 2021-09-16 14:24
王陸
阅读(226)
评论(0)
推荐(1)
摘要：
一、设计模式概述 1.1 软件设计模式的产生背景 "设计模式"最初并不是出现在软件设计中，而是被用于建筑领域的设计中。 1977年美国著名建筑大师、加利福尼亚大学伯克利分校环境结构中心主任克里斯托夫·亚历山大（Christopher Alexander）在他的著作《建筑模式语言：城镇、建筑、构造》中 阅读全文
posted @ 2021-09-13 15:31
王陸
阅读(666)
评论(0)
推荐(1)
摘要：
第一章 前后端分离 1.1 什么是前后端分离 前端： 即客户端，负责渲染用户显示界面【如web的js动态渲染页面, 安卓， IOS，pc客户端等】 后端：即服务器端，负责接收http请求，处理数据 API：Application Programming Interface 是一些预先定义 阅读全文
posted @ 2021-09-10 14:52
王陸
阅读(5488)
评论(3)
推荐(2)
摘要：
第一章、MongoDB 相关概念 1.1 业务场景 传统的关系型数据库 (比如 MySQL), 在数据操作的”三高”需求以及对应的 Web 2.0 网站需求面前, 会有”力不从心”的感觉 所谓的三高需求: 高并发, 高性能, 高可用, 简称三高 High Performance: 对数据库的高并发读 阅读全文
posted @ 2021-08-29 17:04
王陸
阅读(229)
评论(0)
推荐(1)
摘要：
第一章 Django框架的介绍 2005年发布,采用Python语言编写的开源web框架 早期的时候Django主做新闻和内容管理的 一个重量级的 Python Web框架，Django 配备了常用的大部分组件 基本配置 路由系统 原生HTML模板系统 视图 view Model模型,数据库连接和O 阅读全文
posted @ 2021-08-16 10:51
王陸
阅读(343)
评论(2)
推荐(1)
摘要：
B站动力字节课程 Maven基础篇之Maven实战入门[ https://www.bilibili.com/video/BV1dp4y1Q7Hf](http://www.cnblogs.com/ https://www.bilibili.com/video/BV1dp4y1Q7Hf) 第一章、Mav 阅读全文
posted @ 2021-08-13 14:17
王陸
阅读(497)
评论(0)
推荐(0)
摘要：
一、SpringMVC 概述 1.1 SpringMVC 简介 SpringMVC 也叫 Spring web mvc。它是基于MVC开发模式的框架，用来优化控制器。 SpringMVC是 Spring 框架的一部分，是在 Spring3.0 后发布的。 什么是MVC? 它是一种开发模式,它是模型视 阅读全文
posted @ 2021-08-06 15:07
王陸
阅读(388)
评论(0)
推荐(0)
摘要：
1、全局刷新和局部刷新 B/S 结构项目中， 浏览器（Browse）负责把用户的请求和参数通过网络发送给服务器（Server），服务端使用 Servlet（多种服务端技术的一种）接收请求，并将处理结果返回给浏览器。 浏览器在 html，jsp 上呈现数据，混合使用 css， js 帮助美化页面，或响 阅读全文
posted @ 2021-07-31 18:14
王陸
阅读(145)
评论(0)
推荐(0)
摘要：
Python Matplotlib练习 import numpy as np import pandas as pd import matplotlib.pyplot as plt （1）画出$y=x^{2}+2x+1$在区间[-5,3]的函数图像。 x = np.linspace(-5,3) y 阅读全文
posted @ 2021-07-28 10:14
王陸
阅读(991)
评论(0)
推荐(0)
摘要：
Matplotlib数据展示 1 matplotlib基础 Python的一个2D图形包，pyplot封装很很多画图函数。 import matplotlib.pyplot as plt import numpy as np matplotlib.pyplot包含一系列类似类似MATLAB中绘图函数 阅读全文
posted @ 2021-07-27 13:41
王陸
阅读(1354)
评论(0)
推荐(0)
摘要：
一、Spring 概述 1.1 Spring 框架是什么 Spring 是于 2003 年兴起的一个轻量级的 Java 开发框架，它是为了解决企业应用开发的复杂性而创建的。Spring 的核心是控制反转（IoC）和面向切面编程（AOP）。Spring 是可以在 Java SE/EE 中使用的轻量级开 阅读全文
posted @ 2021-07-20 18:16
王陸
阅读(1175)
评论(0)
推荐(0)
摘要：
Java 反射的相关内容：https://www.cnblogs.com/wkfvawl/p/14806214.html 代理模式 代理模式是指，为其他对象提供一种代理以控制对这个对象的访问。在某些情况下，一个对象不适合或者不能直接引用另一个对象，而代理对象可以在客户类和目标对象之间起到中介的作用。 阅读全文
posted @ 2021-07-19 16:26
王陸
阅读(157)
评论(0)
推荐(0)
摘要：
2.1 数据集 目标 知道数据集的分为训练集和测试集 会使用sklearn的数据集 2.1.1 可用数据集 Kaggle网址：https://www.kaggle.com/datasets UCI数据集网址： http://archive.ics.uci.edu/ml/ scikit-learn网址 阅读全文
posted @ 2021-07-19 09:02
王陸
阅读(215)
评论(0)
推荐(0)
摘要：
JSON (JavaScript Object Notation) 是一种轻量级的文本数据交换格式。 JSON独立于语言 JSON具有自我描述性，更易理解 JSON比XML更小、更快、更易解析 Python 中可以使用 json 模块来对 JSON 数据进行编解码。 官方文档：https://doc 阅读全文
posted @ 2021-07-09 16:40
王陸
阅读(217)
评论(1)
推荐(0)
摘要：
Scrapy默认的是get请求，想要发送post请求，就需要再method中说明，一般常用写法如下 scrapy.Request(url=url,method="POST",headers=self.headers,callback=self.get_goods_list) 但post请求通常会带有 阅读全文
posted @ 2021-07-08 20:35
王陸
阅读(2180)
评论(0)
推荐(0)
摘要：
因为这段时间一直在用python写脚本，所以阅读他人代码的时候经常会看到一些python特有的语法糖，按照公司前辈的意思，这些东西不需要花很多精力去记，差不多会用就行。 主要来自：https://www.cnblogs.com/cwp-bg/p/9041319.html 一、列表推导式 列表推导式即 阅读全文
posted @ 2021-07-02 16:50
王陸
阅读(163)
评论(0)
推荐(0)
摘要：
一、 连接数据库 1、下载安装pymyql库 pip install pymysql 2、导入库 import pymysql 3、连接数据库，最好用try except捕获异常 try: db = pymysql.connect(host="localhost", user="root", pas 阅读全文
posted @ 2021-06-30 17:30
王陸
阅读(1179)
评论(2)
推荐(1)
摘要：
一、预备知识 1、什么是日志 日志是一种可以追踪某些软件运行时所发生事件的方法。软件开发人员可以向他们的代码中调用日志记录相关的方法来表明发生了某些事情。一个事件可以用一个可包含可选变量数据的消息来描述。此外，事件也有重要性的概念，这个重要性也可以被称为严重性级别（level）。 2、日志的等级 级 阅读全文
posted @ 2021-06-29 17:28
王陸
阅读(1394)
评论(0)
推荐(0)
摘要：
一、迭代器 1、迭代器协议 迭代器协议是指：对象必须提供一个next方法，执行该方法要么返回迭代中的下一项，要么就引起一个stoplteration异常，以终止迭代（只能 往后走，不能往前退） 协议是一种约定，可迭代对象实现了迭代器协议，python的内部工具（如for循环，sum，min，max函 阅读全文
posted @ 2021-06-25 17:21
王陸
阅读(291)
评论(0)
推荐(0)
摘要：
参考《图解HTTP》 视频：https://www.bilibili.com/video/BV1NK411w7mc 本文适合作为网络爬虫和自动化测试的前导知识学习 一、了解Web和网络基础 1、Web万维网和HTTP协议 使用HTTP协议访问万维网 WWW万维网的构成 2、HTTP发展历程和版本 3 阅读全文
posted @ 2021-06-20 16:11
王陸
阅读(326)
评论(0)
推荐(1)
摘要：
1、Pandas基础知识 用pandas中的DataFrame时选取行或列： import numpy as np import pandas as pd from pandas import Sereis, DataFrame ser = Series(np.arange(3.)) data = 阅读全文
posted @ 2021-06-15 18:11
王陸
阅读(726)
评论(0)
推荐(0)
摘要：
1 Pandas基本介绍 Python Data Analysis Library或pandas是基于Numpy的一种工具，该工具是为了解决数据分析任务而创建的。Pandas纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所Pandas操作需要的工具。pandas提供了大量能使我们快速便 阅读全文
posted @ 2021-06-06 14:53
王陸
阅读(820)
评论(7)
推荐(0)
摘要：
https://www.runoob.com/numpy NumPy是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵，比Python自身的嵌套列表（nested list structure）结构要高效的多。 NumPy（Numeric Python）提供了许多高级的数值编程 阅读全文
posted @ 2021-06-01 16:19
王陸
阅读(389)
评论(0)
推荐(0)
摘要：
一、背景 采集企业官网的产品数据，以ASM-Pacific科技公司https://www.asmpacific.com/zh-cn/为例。 网站数据是动态加载的，点击加载更多进行抓包。 看到Request URL为：https://www.asmpacific.com/zh-cn/index.php 阅读全文
posted @ 2021-05-28 21:21
王陸
阅读(374)
评论(0)
推荐(0)
摘要：
## 一、Scrapy简介 **什么是框架？** 所谓的框架简单通用解释就是就是一个具有很强通用性并且集成了很多功能的项目模板，该模板可被应用在不同的项目需求中。也可被视为是一个项目的半成品。 **如何学习框架？** 对于刚接触编程或者初级程序员来讲，对于一个新的框架，只需要掌握该框架的作用及其各个 阅读全文
posted @ 2021-05-25 20:07
王陸
阅读(227)
评论(0)
推荐(0)
摘要：
一、反射Reflection Reflection（反射）是被视为动态语言的关键，反射机制允许程序在执行期借助于Reflection API取得任何类的内部信息，并能直接操作任意对象的内部属性及方法。加载完类之后，在堆内存的方法区中就产生了一个Class类型的对象（一个类只有一个Class对象），这 阅读全文
posted @ 2021-05-24 21:12
王陸
阅读(690)
评论(1)
推荐(0)
摘要：
使用XPath用来解析网页已经在https://www.cnblogs.com/wkfvawl/p/14725960.html上面提到了一点，但不是很详细，这里结合w3school的教程，使用python实践一下。 https://www.w3school.com.cn/xpath/index.as 阅读全文
posted @ 2021-05-24 15:40
王陸
阅读(790)
评论(1)
推荐(1)
摘要：
一、注解 (Annotation) 概述 从 JDK 5.0 开始, Java 增加了对元数据(MetaData) 的支持, 也就是Annotation(注解) Annotation 其实就是代码里的特殊标记, 这些标记可以在编译, 类加载, 运行时被读取, 并执行相应的处理。通过使用 Annota 阅读全文
posted @ 2021-05-14 21:00
王陸
阅读(166)
评论(0)
推荐(1)
浙公网安备 33010602011771号