2020年4月15日

scrapy框架的初始
摘要： Scrapy框架(爬虫框架) 什么是Scrapy？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化存储等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、 阅读全文
posted @ 2020-04-15 20:51 异步非阻塞 阅读(245) 评论(0) 推荐(0)
 
提升request模块的效率--线程池
摘要： 普通方法：爬取梨视频 import re import time import random import requests from lxml import etree start_time = time.time() url = "https://www.pearvideo.com/catego 阅读全文
posted @ 2020-04-15 20:37 异步非阻塞 阅读(333) 评论(0) 推荐(0)
 
selenium的用法
摘要： 一、selenium概念 用来完成浏览器自动化的相关操作 使用程序编写一系列的键盘、鼠标的相关操作(让浏览器来完成), 当我们执行代码时，就会触发一系列的事件 二、selenium在爬虫中的作用 可以获取动态加载的数据 三、selenium安装 pip install selenium 下载浏览器驱 阅读全文
posted @ 2020-04-15 20:29 异步非阻塞 阅读(1323) 评论(0) 推荐(0)
 
模拟登录
摘要： 一、模拟登录的意义 当我们需要爬取的数据是登录之后的个人信息, 就需要使用模拟登录 二、使用打码平台处理验证码 云打码 打码兔 三、注册: 普通用户注册 充值题分（1块钱） 开发者用户注册 添加软件下载调用示例 填写相关信息 用户名 密码 软件名称 软件密钥 四、调用实例 import http.c 阅读全文
posted @ 2020-04-15 20:05 异步非阻塞 阅读(500) 评论(0) 推荐(0)
 
shell的数组
摘要： 数组 数组的分类 普通数组: 只能使用整数作为数组索引 关联数组: 可以使用字符作为数组索引 元素=索引=下标 普通数组定义 [root@shell ~]# array[0]=shell [root@shell ~]# array[10]=MySQL [root@shell ~]# echo ${a 阅读全文
posted @ 2020-04-15 17:20 异步非阻塞 阅读(239) 评论(0) 推荐(0)
 
shell的函数
摘要： 函数的作用 1)命令的集合 完成特定功能的代码块 2)函数的优势可以使代码完全的模块化 便于复用 加强可读 易于修改 3)函数和变量类似 先定义才可调用，如果定义不调用则不执行 定义函数 函数的传参 函数内的变量 返回值 return 定义函数 #!/bin/sh fun1(){ echo "第一种 阅读全文
posted @ 2020-04-15 17:10 异步非阻塞 阅读(1106) 评论(0) 推荐(0)
 
shell的循环
摘要： for循环 语法 for 变量名 in 取值列表 {#取值列表可以是数字 字符串 序列 命令} 以空格分隔 do 命令的集合 done for 手 in 苹果 梨 香蕉 橘子 变量的值 依次从左到右读取 do echo 包裹${手} done 包裹苹果 包裹梨 包裹香蕉 包裹橘子 案例1: 要求判断 阅读全文
posted @ 2020-04-15 17:04 异步非阻塞 阅读(882) 评论(0) 推荐(0)
 
shell的流程控制语句case
摘要： 流程控制语句case case语法 case 变量 可以是直接传参 赋值 read读入 case 变量 in 模式1) 命令序列 ;; 模式2) 命令序列 ;; 模式3) 命令序列 ;; *) 无匹配后命令序列 esac 案例： #!/bin/sh cat<<EOF 1.NFS 2.MySQL 3. 阅读全文
posted @ 2020-04-15 16:57 异步非阻塞 阅读(260) 评论(0) 推荐(0)
 
shell的while循环
摘要： while的使用语法 while true do 代码块 done 案例：猜数字游戏 使用命令随机生成一个数字 1-100echo $((RANDOM%100+1))while truedo 要求用户输入要猜的数字 （数字需要判断是否是整数）read -p xxx num 比对随机数和用户猜的数字 阅读全文
posted @ 2020-04-15 16:48 异步非阻塞 阅读(431) 评论(0) 推荐(0)
 
shell的if条件判断
摘要： if 语法[]两边都有空格 if [ 表达式 ];then 执行的命令 fi if [ 如果你有房子 ];then 我就嫁给你 fi if第二种书写方式 if [ 表达式 ] then 执行的命令 fi if 单分支 if [ -f /etc/passwd ] then echo ok fi if 阅读全文
posted @ 2020-04-15 16:46 异步非阻塞 阅读(343) 评论(0) 推荐(0)
 
shell的for循环
摘要： for语法 for 变量 in 元素do做什么done [root@shell ~]# cat for.sh #!/bin/sh for i in I am ajie teacher I am 18 do echo $i done 知道每个单词的长度是多少 [root@shell ~]# cat f 阅读全文
posted @ 2020-04-15 16:43 异步非阻塞 阅读(521) 评论(0) 推荐(0)
 
shell的条件测试
摘要： 1）文件测试 [ -e file|dir ] 存在即为真 [ -f file ] 文件存在即为真 [ -d dir ] 目录存在即为真 [ -r file ] 是否有读的权限 [ -w file ] 是否有写入权限 [ -x file ] 是否有执行权限 [root@shell ~]# [ -f / 阅读全文
posted @ 2020-04-15 16:41 异步非阻塞 阅读(233) 评论(0) 推荐(0)
 
shell的数值运算
摘要： expr [root@shell ~]# expr 10 + 10 20 [root@shell ~]# expr 10 - 10 0 [root@shell ~]# expr 10 * 10 expr: syntax error [root@shell ~]# expr 10 \* 10 100 阅读全文
posted @ 2020-04-15 16:37 异步非阻塞 阅读(141) 评论(0) 推荐(0)
 
shell基础认知
摘要： shell 实现的功能 1）手动安装操作系统2）初始化操作系统3）安装服务4）服务启动systemd5）shell进行代码上线6）监控zabbix cacti网卡 Nagios监控硬件交换机路由器7）日志分析 面试题：你都写过什么脚本，系统初始化都有哪些，系统优化那些内容 必备基础 1.熟练使用vi 阅读全文
posted @ 2020-04-15 16:31 异步非阻塞 阅读(838) 评论(0) 推荐(0)