01 2020 档案

高性能异步爬虫
摘要：引入 很多同学对于异步这个概念只是停留在了“听说很NB”的认知层面上，很少有人能够在项目中真正的使用异步实现高性能的相关操作。本节课，咱们就一起来学习一下，爬虫中如何使用异步实现高性能的数据爬取操作。 背景 其实爬虫的本质就是client发请求批量获取server的响应数据，如果我们有多个url待爬 阅读全文
posted @ 2020-01-20 00:37 silencio。
设计模式
摘要：设计模式是什么？ Christopher Alexander：“每一个模式描述了一个在我们周围不断重复发生的问题，以及该问题的解决方案的核心。这样你就能一次又一次地使用该方案而不必做重复劳动。” 设计模式是经过总结、优化的，对我们经常会碰到的一些编程问题的可重用解决方案。一个设计模式并不像一个类或一 阅读全文
posted @ 2020-01-20 00:33 silencio。
列表排序
摘要：一. 列表查询 """要求：从列表中查询指定元素输入：列表，待查询元素输出：元素下标或未查找到元素方法： 1. 顺序查找 2. 二分查找(列表为升序)""" # 顺序查找 def linear_search(data_set, value): for i in range(len(data_set) 阅读全文
posted @ 2020-01-19 23:15 silencio。
pandas模块
摘要：pandas 引入约定 >>> from pandas import Series,DataFrame >>> import pandas as pd Series 类似于一维数组的对象，由一组数据和相关的数据标签（索引）组成 >>> obj=Series([4,7,-5,3]) >>> obj 0 阅读全文
posted @ 2020-01-19 23:07 silencio。
configparser、subprocess模块
摘要：configparser模块 该模块适用于配置文件的格式与windows ini文件类似，可以包含一个或多个节（section），每个节可以有多个参数（键=值）。 1、创建文件 一般软件的常见文档格式如下： [DEFAULT] ServerAliveInterval = 45 Compression 阅读全文
posted @ 2020-01-18 03:42 silencio。
Linux计划任务
摘要：1.计划任务基本概述 1.什么是crond crond就是计划任务，类似于我们平时生活中的闹钟。定点执行。 2.为什么要使用crondcrond主要是做一些周期性的任务，比如: 凌晨3点定时备份数据。比如：11点开启网站抢购接口，12点关闭网站抢购接口。 3.计划任务主要分为以下两种使用情况: 1. 阅读全文
posted @ 2020-01-16 20:28 silencio。
Linux系统服务
摘要：1.Linux启动流程 CentOS6启动级别CentOS6 VS Centos7开机启动流程图解 2.Linux运行级别 1.什么是运行级别，运行级别就是操作系统当前正在运行的功能级别 System V init运行级别systemd目标名称作用 0 runlevel0.target, power 阅读全文
posted @ 2020-01-16 20:26 silencio。
Linux进程管理
摘要：1.介绍 1.什么是进程 比如: 开发写的代码我们称为程序，那么将开发的代码运行起来。我们称为进程。总结一句话就是: 当我们运行一个程序，那么我们将运行的程序叫进程。PS1: 当程序运行为进程后，系统会为该进程分配内存，以及进程运行的身份和权限。PS2: 在进程运行的过程中，系统会有各种指标来表示当 阅读全文
posted @ 2020-01-16 20:21 silencio。
Linux压缩打包
摘要：1.文件打包与压缩 1.什么是文件压缩? 将多个文件或目录合并成为一个特殊的文件。比如: 搬家…脑补画面 img. 2.为什么要对文件进行压缩？ 当我们在传输大量的文件时，通常都会选择将该文件进行压缩，然后在进行传输。首先：压缩后的文件会比压缩前的文件小。一个28G的文件夹压缩后能达到6G其次：多个 阅读全文
posted @ 2020-01-16 20:12 silencio。
Linux输入输出
摘要：1.重定向概述 1.什么是重定向 将原本要输出到屏幕的数据信息，重新定向到某个指定的文件中。比如：每天凌晨定时备份数据，希望将备份数据的结果保存到某个文件中。这样第二天通过查看文件的内容就知道昨天备份的数据是成功还是失败。 2.为何要使用重定向 1.当屏幕输出的信息很重要，而且希望保存重要的信息时； 阅读全文
posted @ 2020-01-16 20:10 silencio。
Linux权限管理
摘要：一、Linux基本权限 1.权限基本概述 1.什么是权限？ 我们可以把它理解为操作系统对用户能够执行的功能所设立的限制，主要用于约束用户能对系统所做的操作，以及内容访问的范围，或者说，权限是指某个特定的用户具有特定的系统资源使用权力。 2.为什么要有权限？ 因为系统中不可能只存在一个root用户，一 阅读全文
posted @ 2020-01-16 20:07 silencio。
Linux用户管理
摘要：1.用户基本概述 1.什么是用户? 用户指的是能够正常登录Linux或Windows系统(可以理解为你租了房子，能够正常入驻)F:那Linux与Windows系统的用户有什么区别? Q:本质都是登陆系统，只不过Linux支持多个用户同时登陆。F:难道Windows就不算多用户操作系统吗? Q:其实不 阅读全文
posted @ 2020-01-16 20:05 silencio。
Linux文件管理
摘要：1.文件管理概述 1.Bash Shell对文件进行管理 谈到Linux文件管理，首先我们需要了解的就是，我们要对文件做些什么事情？其实无非就是对一个文件进行、创建、复制、移动、查看、编辑、压缩、查找、删除、等等例如 : 当我们想修改系统的主机名称，是否应该知道文件在哪，才能去做对应的修改？ 2.内 阅读全文
posted @ 2020-01-16 20:04 silencio。
Linux-Shell
摘要：1.什么是Bash shell(壳) Bash Shell是一个命令解释器，它在操作系统的最外层，负责用户程序与内核进行交互操作的一种接口，将用户输入的命令翻译给操作系统，并将处理后的结果输出至屏幕。 通过xshell连接，就是打开了一个bash程序的窗口，不能点鼠标，只能输入命令 当我们使用远程连 阅读全文
posted @ 2020-01-13 12:08 silencio。
Centos7 安装jdk1.8
摘要：一 下载linux版jdk 我们安装jdk1.8 地址：https://www.oracle.com/java/technologies/oracle-java-archive-downloads.html 找到对应版本 下载：需要账号（从网上找个别人的账号或者注册一个即可：账号2696671285 阅读全文
posted @ 2020-01-13 00:32 silencio。
Python数据分析之路
摘要：业务数据分析 第1篇：【Excel数据分析】 什么是数据分析 Excel基础的操作 Excel的7个操作技巧 公式与函数 数据可视化 数据透视表 Excel进行数据分析 第2篇：【业务指标&分析方法】 常见业务指标 常见业务分析方法1 常见业务分析方法2 电商数据分析 第3篇：【SQL实战】 SQL 阅读全文
posted @ 2020-01-04 00:29 silencio。