摘要: 一、什么是Scrapy Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。 Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试. 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 后台也应用在获取API所返回的 阅读全文
posted @ 2022-04-02 16:13 文明老人 阅读(118) 评论(0) 推荐(0)
摘要: ssh服务(重点) ssh(secureshell,安全外壳协议),该协议有2个常用的作用:远程连接协议、远程文件传输协议。 协议使用端口号:默认是22可以是被修改的,如果需要修改,则需要修改ssh服务的配置文件: #/etc/ssh/ssh_config 端口号可以修改, 但是得注意2个事项:a. 阅读全文
posted @ 2022-04-02 15:36 文明老人 阅读(114) 评论(0) 推荐(0)
摘要: 一、视图 1.1、什么是视图? 视图(view)是一种虚拟存在的表,是一个逻辑表,本身并不包含数据。作为一个select语句保存在数据字典中的。 1.2、视图是干什么用的? 通过视图,可以展现基表的部分数据; 视图数据来自定义视图的查询中使用的表,使用视图动态生成。 基表:用来创建视图的表叫做基表 阅读全文
posted @ 2022-04-02 14:52 文明老人 阅读(38) 评论(0) 推荐(0)
摘要: 通过爬取百度贴吧的案例来了解爬虫的基本使用 from urllib import request import re # 定义了一个URL page = 100 url = "https://tieba.baidu.com/f?kw=%E6%AE%B5%E5%AD%90&ie=utf-8&pn=" 阅读全文
posted @ 2022-03-20 14:25 文明老人 阅读(43) 评论(0) 推荐(0)
摘要: 1.索引介绍 1.1、什么是索引? 一般的应用系统,读写比例在10:1左右,而且插入操作和一般的更新操作很少出现性能问题,在生产环境中,我们遇到最多的,也是最容易出问题的,还是一些复杂的查询操作,因此对查询语句的优化显然是重中之重。说起加速查询,就不得不提到索引了。 1.2、为什么要有索引呢? 索引 阅读全文
posted @ 2022-03-20 14:14 文明老人 阅读(35) 评论(0) 推荐(0)
摘要: 一、关于shell脚本 1、什么是shell Shell(外壳) 是一个用 C 语言编写的程序,它是用户使用 Linux 的桥梁。Shell 既是一种命令语言,又是一种程序设计语言。 Shell 是指一种应用程序,这个应用程序提供了一个界面,用户通过这个界面访问操作系统内核的服务。 Shell是一个 阅读全文
posted @ 2022-03-20 13:53 文明老人 阅读(98) 评论(0) 推荐(0)
摘要: 一、什么是爬虫 爬虫:一段自动抓取互联网信息的程序,从互联网上抓取对于我们有价值的信息。 二、Python爬虫架构 Python 爬虫架构主要由五个部分组成,分别是调度器、URL管理器、网页下载器、网页解析器、应用程序(爬取的有价值数据)。 调度器:相当于一台电脑的CPU,主要负责调度URL管理器、 阅读全文
posted @ 2022-03-13 20:36 文明老人 阅读(103) 评论(0) 推荐(0)
摘要: 1、Liunx基础指令: 1、ls :指令 含义:ls(list) 用法1:#ls 列出当前工作目录下的所有文件/文件夹的名 用法2:#ls 路径 含义:列出指定路径下的所有文件/文件夹的名称 关于路径(重要): 路径可以分为两种:相对路径、绝对路径。 相对路径:相对首先得有一个参照物(一般就是当前 阅读全文
posted @ 2022-03-12 16:16 文明老人 阅读(90) 评论(0) 推荐(0)
摘要: 一、什么是MySQL MySQL 是一款安全、跨平台、高效的,并与 PHP、Java 等主流编程语言紧密结合的数据库系统。该数据库系统是由瑞典的 MySQL AB 公司开发、发布并支持,由 MySQL 的初始开发人员 David Axmark 和 Michael Monty Widenius 于 1 阅读全文
posted @ 2022-03-12 11:09 文明老人 阅读(148) 评论(0) 推荐(0)