10 2021 档案
摘要:异常情况处理: 在linux编辑过程中出现连接中断,再次编辑文件会提示相应信息 出现原因: 1.编辑过程中突然出现了中断 2.文件被多个人使用 解决方式:删除显示的隐藏文件 rm-f .oldboy.txt.swp 结论:出现了隐藏文件,没有及时删除 挂载的概念: 结构特点说明: linux根下面的
阅读全文
摘要:网络连接模式: 桥接模式:(可以访问互联网) 配置的地址信息和物理网段地址信息相同,容易造成冲突 NAT模式:(可以访问互联网) 配置地址信息和物理主机网段地址不相同,不会造成冲突 仅主机模式:(不可以访问互联网) 获取地址主要用于虚拟主机之间沟通,但不能访问外部网络 安装过程说明 a. 开启物理主
阅读全文
摘要:1.安装VMware 下一步 下一步不要放在c盘 取消自动更新 下一步 输入秘钥 进入界面 配置虚拟机 下一步 配置网络环境 设置完成后 打开虚拟机 开始按照图片操作 选择英文 点击设置 打开 on 勾上自动连接网络 关闭占用性能的设置 关闭安全协议 给磁盘做分区 安装工具 设置时区 之后 在打开x
阅读全文
摘要:贝叶斯模型: 通过已知类别的训练数据集,计算样本的先验概率,然后利⽤⻉叶斯 概率公式测算未知类别样本属于某个类别的后验概率 最终以最⼤后验概率所对应的类别作为样本的预测值 贝叶斯模型三大分类: 1.高斯贝叶斯分类器 适用于自变量为连续数值类型的情况 案例: 解题思路: 步骤一: 步骤二: 与计算出来
阅读全文
摘要:模型的假设检验(F与T) F检验:提出原假设和备择假设 之后计算统计量与理论值 最后比较 F检验主要检验的是模型是否合理 #即 正向验证与反向验证 主要是用来检验模型是否合理 # 导⼊第三⽅模块 import numpy as np # 计算建模数据中因变量的均值 ybar=train.Profit
阅读全文
摘要:一元线性回归模型与多远线性回归模型 一元线性回归模型: 公式: y=ax+b 多元线性回归模型: 公式: y=ax+ax1+ax2+...+b 区别就在于有不同的函数 常用数学符号以及读法: 散点图: 计算公式: 因变量与自变量的概念: 在函数关系式中,某个量会随一个(或几个)变动的量的变动而变动,
阅读全文
摘要:数据清洗 数据清洗概念: 数据分析过程: 明确需求>>>收集采集>>>数据清洗>>>数据分析>>>数据报告(数据可视化) 数据清洗专业定义: 数据清洗是从记录表,表格,数据库中检测,纠正或删除损坏或者不正确的记录的过程 专业名词解释: 脏数据:没有经过处理自身含有一定问题的数据(缺失,异常,重复)
阅读全文
摘要:条形图(垂直)绘制:关键字(bar) 虽然饼图可以很好地表达离散型变量在各水平上的差异,但其不擅长对比差异不大或水平值过多的离散型变量,因为饼图是通过各扇形面积的大小来比价差异的,面积的比较有时并不直观; 对于条形图而言,对比的是柱形的高低,柱体越高,代表的数值越大,反之亦然; bar(x, hei
阅读全文
摘要:缺失值处理: 现有数据: res.fillna() 对缺失值进行填充,可以指定value=xxx来填充 但实际不合理 res.dropna() 删除缺失值所在的行 res.isnull() 缺失值返回True或false 统计列字段下是否有数据缺失: res.isnull().any(axis=0)
阅读全文
摘要:数据分析基本概要 数据分析工作流程 1.需求分析2.数据采集3.数据清洗4.数据分析5.数据报告5.1.数据可视化 数据分析三剑客:numpy pandas matplotlib ipython模块:在终端提供一个更加方便的编程环境 jupyter模块:核心功能是notebook,jupyter分析
阅读全文
摘要:series数据操作: 增: 删: 改: 查: 算术运算符: """ add 加(add) sub 减(substract) div 除(divide) mul 乘(multiple) """ 加: 减: 乘: 除: 当数据数量不相等时,可以通过fill_value=0或者其他数值 DataFram
阅读全文
摘要:练习: 1. 1.计算数组每一行和每一列的中位数(不能使用axis参数) array([ [ 80.5, 60., 40.1, 20., 90.7], [ 10.5, 30., 50.4, 70.3, 90.], [ 35.2, 35., 39.8, 39., 31.], [91.2, 83.4,
阅读全文
摘要:4由于python对数字的不准确,不只是python 其他很多编程语言对数字都不是很敏感 但python又可以做人工智能,量化交易等,数据必须精确无误,就需要用到numpy模块 numpy简介 1.Numpy是高性能科学计算和数据分析的基础包2.也是pandas等其他数据分析的工具的基础3.NumP
阅读全文
摘要:关于数据分析 数据分析就是从现有的数据中挖掘出价值 应用领域: 商品推荐 :根据分析用户日常行为数据挖掘潜在用户 金融量化交易:指定股票的交易规则,战略,使用代码控制股票的买入卖出 视频网站推送:根据用户在网站所看视频的标签分类 精准推送用户感兴趣的视频从而增加用户粘性 数据分析的工作流程: ①:需
阅读全文
摘要:思路: """ 1.先进入官网看图片的标签数据 2.查看英雄细节界面 皮肤是背景图片 3.查看网页代码 4.找到了url参数,研究发现了一个可疑的请求 5.对json加密的数据进行解密,发现结果如下: 6.通过不同的英雄逐渐发现图片地址的规律以及单页同英雄皮肤图片数据的规律 7.在url中前者的数字
阅读全文
摘要:用户权限管理 1.涉及到用户权限相关 引号推荐全部使用双引号 2.mongodb针对用户权限的创建,数据可以保存在不同的数据库下 之后在登录的时候只需要自己指定账户数据来源于哪个数据库即可 3.管理员数据推荐保存到admin库下,普通用户任意库都可以,为了便于管理可以在test库下创建 管理员账户需
阅读全文
摘要:爬虫框架之scrapy 框架:别人提前搭建好了基本架构,具备了一定的动能 安装 pip3 install scrapy 安装完毕后 win+r 输入scrapy 出现此界面表示安装成功 在安装时 mac不会出现问题 ,windows电脑会出现问题 windows电脑如果下载报错并且没有典型的关键字特
阅读全文
摘要:爬取京东数据商品(单页) 关于延时等待 有时候我们在访问网站数据的时候 加载需要一定的时间 没有加载完全的情况下代码极其容易报错 此时需要我们的等待页面数据加载完毕 如何精确等待? bro.implicitly_wait(10) #延时等待十秒(对于正常网速十秒足够) 关于控制浏览器鼠标滚轮下滑 w
阅读全文
摘要:第一章:爬取百度翻译,天气数据,药品许可证 第二章:爬取红牛分公司,农产品数据 第三章:爬取糗图百科,优美图库,梨视频 第四章:爬取梨视频网站详细过程 第五章:爬取链家 汽车之家数据 第六章:爬取京东数据 百度自动登录 知乎破解登录
阅读全文

浙公网安备 33010602011771号