摘要: 主页:https://github.com/soimort/you-get 安装 (base) $ pip3 install you-get 使用 查看信息 (base) $ you-get -i https://v.qq.com/x/page/xxxxxxx?start=1 Site: QQ.co 阅读全文
posted @ 2021-02-02 20:01 小然- 阅读(67) 评论(0) 推荐(0) 编辑
摘要: 特征使用方案 实现我们的目标需要哪些数据?基于业务理解 ,尽可能找出对因变量有影响的所有自变量 可用性评估 获取难度 覆盖率 准确率 特征获取方案 如何获取这些特征? 如何存储? 特征处理 特征清洗 清洗异常样本 采样 数据不均衡 样本权重 预处理 单个特征 归一化 离散化 Dummy Coding 阅读全文
posted @ 2021-02-02 16:31 小然- 阅读(66) 评论(0) 推荐(0) 编辑
摘要: 什么是拉索回归 LASSO: Least Absolute Shrinkage and Selection Operator Regression 岭回归的目标: 使 $J(\theta) = MSE(Y, \hat; \theta) \alpha \frac{1}{2} \sum_n \theta 阅读全文
posted @ 2021-02-02 11:05 小然- 阅读(2080) 评论(0) 推荐(0) 编辑
摘要: TF 计算的每一个变量必须是 tensor 格式; import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' import tensorflow.compat.v1 as tf tf.disable_eager_execution() a = 3 # 创建 阅读全文
posted @ 2021-02-02 09:19 小然- 阅读(425) 评论(0) 推荐(0) 编辑
摘要: 安装 深度学习库的优势 参考教程:https://www.bilibili.com/video/BV1Rv411y7oE 提供 GPU 加速; 自动求导; 常用 API Tensor 运算 Torch.add Torch.mul Torch.matmul Torch.view Torch.expan 阅读全文
posted @ 2021-02-02 09:17 小然- 阅读(93) 评论(0) 推荐(0) 编辑
摘要: LSTM 长短记忆网络 LSTM 是 RNN 的升级版,应用更广泛。 解决的问题: 增加控制参数C,保留有价值的信息; C 可以看做一个权重列表:[0, 0.1, 0.8, 1] 舍弃,小部分保留,大部分保留,全部保留。 LSTM 的重点是 控制参数怎么更新 如何训练C参数? 门是一种让信息选择式通 阅读全文
posted @ 2021-02-02 08:56 小然- 阅读(98) 评论(0) 推荐(0) 编辑
摘要: RNN RNN:Recurrent Neural Network,循环神经网络,或 递归神经网络 来源 全连接神经网络和卷积神经网络 都只能单独的取处理一个个的输入,前一个输入和后一个输入是完全没有关系的。 但是,某些任务需要能够更好的处理序列的信息,即前面的输入和后面的输入是有关系的。 比如,当我 阅读全文
posted @ 2021-02-02 08:55 小然- 阅读(186) 评论(0) 推荐(0) 编辑
摘要: 卷积神经网络:Convolutional Neural Networks 神经网络基础上的改进版本。 用途 主要用于 计算机视觉领域,如 检测、追踪、分类、检索、分割;医学任务:细胞检测,人体透视图,对动态图进行识别等;无人驾驶。 检索:输入一张图像,判断是什么,返回有相似度的其他图片。 如上传 梅 阅读全文
posted @ 2021-02-02 08:53 小然- 阅读(376) 评论(0) 推荐(0) 编辑
摘要: 线性函数 也可以称为 得分函数 假设十分类 W 为权重参数,里面每一个数值代表这个点的重要性;正值是促进作用,负数代表抑制作用;控制着决策边界。这里有10 行数据; b 为偏置,微调; 损失函数 \(L_I = \sum_{j \neq y_i} max(0, s_j - s_{y_i} + 1)\ 阅读全文
posted @ 2021-02-02 08:50 小然- 阅读(433) 评论(0) 推荐(0) 编辑
摘要: 常用 User Guide (建议通读) https://scikit-learn.org/stable/user_guide.html ApacheCN:scikit-learn (sklearn) 官方文档中文版 https://sklearn.apachecn.org https://gith 阅读全文
posted @ 2021-02-02 07:39 小然- 阅读(83) 评论(0) 推荐(0) 编辑
摘要: 转载自:https://mp.weixin.qq.com/s/tJbOw5O4ZU-Iqm6uwv8Q6Q 匿名用户回答: 从一个cv内卷失败者的角度来聊一下。cv难的地方主要包含创新算法,模型底层加速和部署。 前者就是各种大佬,既能够提出好的idea,又能够解决实现idea的各种问题,刚开始ide 阅读全文
posted @ 2021-02-02 07:37 小然- 阅读(1108) 评论(0) 推荐(0) 编辑
摘要: 使用 minst = fetch_mldata('MINST original') 获取数据的时候,提示这个错误 ConnectionResetError: [Errno 54] Connection reset by peer 看到这篇博文一步步往下走,解决了问题 https://blog.csd 阅读全文
posted @ 2021-02-02 07:29 小然- 阅读(330) 评论(0) 推荐(0) 编辑
摘要: 查看数据信息 数据异常 空数据 数据不均衡 数据归一化 大量数据 预处理方法 数据的归一化 数据引入 csv html, html、sax、dom 解析器 xml databases,pyodbc json pdf, pdfminer 查看数据信息 DataFrame的基础属性 DataFrame的 阅读全文
posted @ 2021-02-02 07:15 小然- 阅读(116) 评论(0) 推荐(0) 编辑
摘要: 训练集 & 测试集 如果拿所有原始数据来训练,存在的问题: 模型很差无法调整; 真实环境难以拿到真实 label; 所以将数据区分为 训练数据 和 测试数据(train test split); 将训练数据来训练模型;然后用测试数据测试模型; 使用这种方式也存在问题; python 原生分离 iri 阅读全文
posted @ 2021-02-02 07:11 小然- 阅读(639) 评论(0) 推荐(0) 编辑
摘要: 什么是机器学习? 传统计算机任务:编写规则,让计算机去执行 机器学习:让计算机去学习,自定义规则 传统任务遇到的问题: 1、对于很多问题,规则难以制定; 2、规则在不断变化。 人工智能、机器学习、深度学习 机器学习是AI 的一种方法; AI 还有其他解决方法,如: 以搜索为基础的算法(传统的搜索策略 阅读全文
posted @ 2021-02-02 07:06 小然- 阅读(185) 评论(0) 推荐(1) 编辑