染指未来

摘要： Linux yum的配置 , python环境管理, nginx搭建简单学习 一丶配置yum的数据仓库 ### yum 工具, 方便,自行解决软件之间的依赖关系. # 配置yum源仓库 (可以使用,清华源,阿里源) # 1.配置第一个仓库，里面有大量系统常用软件 wget -O /etc/yum.r 阅读全文

摘要： Linux 常用命令 , 其他名 , 文件管理 一丶Linux常用的指令 1. bsystemctl stop firewalld #关闭防火墙 2. iptables -F #清空防火墙规则 3. ps -ef|grep sshd # 检查进程 4. netstat -tunlp|grep 22 阅读全文

摘要： 散点图和KNN预测 一丶案例引入 二丶机器学习的概念 三丶k 近邻算法(KNN) k 近邻算法原理 欧几里得距离(Euclidean Distance) 案例一: 需求:预测年收入是否大于50K美元 阅读全文

摘要： pandas的操作 pandas的拼接操作 一丶pd.concat()级联 二丶pd.merge()合并 案例:人口分析 三丶数据处理 删除重复的元素 映射 四丶使用聚合操作对数据异常值检测和过滤 五丶排序 六丶 数据分类处理【重点】 分组 高级数据聚合 transform() 方法+自定义函数 t 阅读全文

摘要： 数据分析三剑客之: Numpy 一丶Numpy的使用 ​ numpy 是Python语言的一个扩展程序库,支持大维度的数组和矩阵运算.也支持针对数组运算提供大量的数学函数库 创建ndarray 使用np的routines函数创建 nadarray的属性 二丶ndarray的基本操作 索引 ​ 维与列 阅读全文

摘要： CrawlSpider实现的全站数据的爬取 新建一个工程 cd 工程 创建爬虫文件：scrapy genspider t crawl spiderName www.xxx.com 连接提取器LinkExtractor 可以根据指定的规则对指定的连接进行提取 提取的规则就是构造方法中的allow（‘正 阅读全文

摘要： 一丶scrapy的图片数据爬取（流数据的爬取） ​ scrapy中封装好了一个管道类（ImagesPipeline），基于该管道类可以实现图片资源的请求和持久化存储 编码流程： 爬虫文件中解析出图片的地址 将图片地址封装到item中且提交给管道 管道文件中自定义一个管道类（父类：ImagesPipe 阅读全文

摘要： python爬虫 js加密和混淆,scrapy框架的使用. 一丶js加密和js混淆 js加密 ​ 对js源码进行加密,从而保护js代码不被黑客窃取.(一般加密和解密的方法都在前端) js混淆 二丶SCRAPY爬虫框架 概述scrapy框架特点 下载与安装 基本使用 ​ 创建项目 ​ scrapy目录 阅读全文

摘要： python爬虫 单线程+多任务的异步协程,selenium爬虫模块的使用 一丶单线程+多任务的异步协程 特殊函数 协程对象 阅读全文

摘要： python爬虫 爬虫的数据解析的流程和解析数据的几种方式 一丶爬虫数据解析 概念：将一整张页面中的局部数据进行提取/解析 作用：用来实现聚焦爬虫的吧 实现方式： 数据解析的通用原理是什么？ 页面中的相关的字符串的数据都存储在哪里呢？ 基于聚焦爬虫的编码流程 正则解析 BS4解析 XPATH解析 其 阅读全文