摘要:         目录 (1)Django引入 (2)Django基本操作 (3)Django小白必会三板斧 (4)静态文件配置 (5)pycharm链接数据库(MySQL) (6)Django链接MySQL (7)Django的orm (8)Django请求周期流程图(重要) (9)Django路由层 (10)Dj    阅读全文
目录 (1)Django引入 (2)Django基本操作 (3)Django小白必会三板斧 (4)静态文件配置 (5)pycharm链接数据库(MySQL) (6)Django链接MySQL (7)Django的orm (8)Django请求周期流程图(重要) (9)Django路由层 (10)Dj    阅读全文
 目录 (1)Django引入 (2)Django基本操作 (3)Django小白必会三板斧 (4)静态文件配置 (5)pycharm链接数据库(MySQL) (6)Django链接MySQL (7)Django的orm (8)Django请求周期流程图(重要) (9)Django路由层 (10)Dj    阅读全文
目录 (1)Django引入 (2)Django基本操作 (3)Django小白必会三板斧 (4)静态文件配置 (5)pycharm链接数据库(MySQL) (6)Django链接MySQL (7)Django的orm (8)Django请求周期流程图(重要) (9)Django路由层 (10)Dj    阅读全文
posted @ 2022-12-12 15:49
ExpiredSaury
阅读(68)
评论(0)
推荐(0)
        
 
                    
                
 爬虫的关键是爬取网页的内容,爬取内容由分为两种形式,一种是爬取html渲染的内容,通过解析html的结构拿到内容,这种形式下爬取内容首先需要了解html的知识,才能够解析html,但通过解析html再拿到数据的方式并不是最优的,网站前后端是分离的,前端和后端的数据交互通过API接口的形式进行。通过API接口的形式获取数据比从网页上获取数据会更加高效。
爬虫的关键是爬取网页的内容,爬取内容由分为两种形式,一种是爬取html渲染的内容,通过解析html的结构拿到内容,这种形式下爬取内容首先需要了解html的知识,才能够解析html,但通过解析html再拿到数据的方式并不是最优的,网站前后端是分离的,前端和后端的数据交互通过API接口的形式进行。通过API接口的形式获取数据比从网页上获取数据会更加高效。     1️⃣、HDFS的概述 1.1、HDFS产出背景及定义 1)HDFS产生背景 随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,==迫切需要一种系统来管理多台机器上的文件,==这就是分布式文件管理系统。==HDFS只是分布式文件管理系统
1️⃣、HDFS的概述 1.1、HDFS产出背景及定义 1)HDFS产生背景 随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,==迫切需要一种系统来管理多台机器上的文件,==这就是分布式文件管理系统。==HDFS只是分布式文件管理系统     1️⃣、MapReduce概述 1.1、MapReduce定义 MapReduce是一个==分布式运算程序==的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是==将用户编写的业务逻辑代码和自带默认组件==整合成一个完整的==分布式运算程序==,并发运
1️⃣、MapReduce概述 1.1、MapReduce定义 MapReduce是一个==分布式运算程序==的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是==将用户编写的业务逻辑代码和自带默认组件==整合成一个完整的==分布式运算程序==,并发运     1)如何管理集群资源? 2)如何给任务合理分配资源? ==Yarn==是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的==操作系统平台==,而==MapReduce==等运算程序则相当于运行于==操作系统之上的应用程序。== 1.1、Yarn基础架构 YARN主要由Resou
1)如何管理集群资源? 2)如何给任务合理分配资源? ==Yarn==是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的==操作系统平台==,而==MapReduce==等运算程序则相当于运行于==操作系统之上的应用程序。== 1.1、Yarn基础架构 YARN主要由Resou     1️⃣、Hadoop概述 1.1、Hadoop是什么 Hadoop是一个由Apache基金会所开发的分布式系统基础架构 主要解决 海量数据的==存储==和海量数据的==分析计算==问题 广义上来说,Hadoop通常是指一个更广泛的概念 Hadoop生态圈== 发展史: 1.2、三大发行版本 Hado
1️⃣、Hadoop概述 1.1、Hadoop是什么 Hadoop是一个由Apache基金会所开发的分布式系统基础架构 主要解决 海量数据的==存储==和海量数据的==分析计算==问题 广义上来说,Hadoop通常是指一个更广泛的概念 Hadoop生态圈== 发展史: 1.2、三大发行版本 Hado     目录 (1)Web应用模式及API接口 (2)Restful规范 (3)drf安装和简单使用 (4)源码分析 (5)序列化器-Serializer (6)局部和全局响应配置 (7)视图 (8)路由-Routers (9)认证-Authentication (10)权限-Permissions (11
目录 (1)Web应用模式及API接口 (2)Restful规范 (3)drf安装和简单使用 (4)源码分析 (5)序列化器-Serializer (6)局部和全局响应配置 (7)视图 (8)路由-Routers (9)认证-Authentication (10)权限-Permissions (11     
         浙公网安备 33010602011771号
浙公网安备 33010602011771号