随笔分类 -  机器学习

自动机器学习超参数调整(贝叶斯优化)
摘要:【导读】机器学习中,调参是一项繁琐但至关重要的任务,因为它很大程度上影响了算法的性能。手动调参十分耗时,网格和随机搜索不需要人力,但需要很长的运行时间。因此,诞生了许多自动调整超参数的方法。贝叶斯优化是一种用模型找到函数最小值方法,已经应用于机器学习问题中的超参数搜索,这种方法性能好,同时比随机搜索 阅读全文

posted @ 2025-01-13 17:26 ExplorerMan 阅读(1198) 评论(0) 推荐(0)

用户画像--《美团机器学习实践》笔记
摘要:原文:https://cloud.tencent.com/developer/article/2212164 最近学习了用户画像方面的内容,本文主要是学习《美团机器学习实践》的读书笔记。 什么是用户画像? 用户模型和用户画像的区别。用户模型是指真实用户的虚拟代表,在真实数据的基础上抽象处理的一个用户 阅读全文

posted @ 2024-12-11 16:35 ExplorerMan 阅读(437) 评论(0) 推荐(0)

一文从0到1掌握用户画像知识体系
摘要:编辑导语:如今在这个大数据的时代,系统会对数据进行分析达到精准营销的目的,最常见的就是淘宝时给你推荐的都是你喜欢的,或者你曾经查找过类似的商品;本文作者详细分析了掌握用户画像知识体系,我们一起来看一下。 原文:https://www.woshipm.com/pd/4268665.html 前段时间上 阅读全文

posted @ 2024-12-11 16:34 ExplorerMan 阅读(434) 评论(0) 推荐(0)

AutoML(Automated Machine Learning) 自动化机器学习
摘要:AutoML(Automated Machine Learning),即自动化机器学习,是指利用机器学习算法和技术来自动化机器学习的各个阶段,包括数据预处理、特征工程、模型选择、超参数调优和模型部署等过程。以下是对AutoML的详细解释: 一、AutoML的定义与目的 AutoML旨在降低机器学习的 阅读全文

posted @ 2024-11-20 19:12 ExplorerMan 阅读(935) 评论(0) 推荐(0)

准确率和召回率的评估方法
摘要:准确率和召回率的评估方法: 准确率和召回率是分类任务中常用的评估指标,它们从不同的角度衡量了分类模型的性能。以下是准确率和召回率的评估方法: 定义混淆矩阵:混淆矩阵(Confusion Matrix)是一个表格,用于展示分类模型的预测结果与实际结果之间的关系。它的行通常代表实际类别,列代表预测类别。 阅读全文

posted @ 2024-04-12 17:22 ExplorerMan 阅读(421) 评论(0) 推荐(0)

什么是HuggingFace
摘要:一.HuggingFace简介1.HuggingFace是什么可以理解为对于AI开发者的GitHub,提供了模型、数据集(文本|图像|音频|视频)、类库(比如transformers|peft|accelerate)、教程等。2.为什么需要HuggingFace主要是HuggingFace把AI项目 阅读全文

posted @ 2024-02-28 21:08 ExplorerMan 阅读(1287) 评论(0) 推荐(1)

词向量的维度应该怎么选择
摘要:在之前的文章《最小熵原理(六):词向量的维度应该怎么选择?》中,我们基于最小熵思想推导出了一个词向量维度公式“n>8.33logN�>8.33log⁡�”,然后在《让人惊叹的Johnson-Lindenstrauss引理:应用篇》中我们进一步指出,该结果与JL引理所给出的O(logN)�(log⁡� 阅读全文

posted @ 2024-01-29 14:49 ExplorerMan 阅读(262) 评论(0) 推荐(0)

人工智能平台 PAI
摘要:产品架构 更新时间:2023-12-15 18:13:26 产品详情 相关技术圈 我的收藏 本文为您介绍PAI的产品架构。 如上图所示,PAI的业务架构分为五层: 基础设施层:包括CPU、GPU、FPGA及NPU。 计算引擎和容器服务层:包括MaxCompute、EMR、实时计算等计算引擎及容器服务 阅读全文

posted @ 2023-12-19 19:52 ExplorerMan 阅读(148) 评论(0) 推荐(0)

阿里-可视化建模-模型部署及训练
摘要:快速开始预置了多种预训练模型。您可以基于预训练模型快速上手并使用PAI的训练和部署功能。本文为您介绍如何在快速开始查找适合您业务需求的模型、部署和调试模型、微调训练模型。 前提条件 如果您需要对模型进行微调训练或增量训练,需要创建OSS Bucket存储空间,具体操作请参见控制台创建存储空间。 使用 阅读全文

posted @ 2023-12-19 17:45 ExplorerMan 阅读(151) 评论(0) 推荐(0)

阿里-可视化建模-评估模型
摘要:登录PAI控制台,进入工作流页面。 操作详情请参见step1:进入工作流页面。 构建预测节点。 在组件列表中分别搜索预测组件,找到后将其拖入画布,并将生成的节点作为拆分-1、逻辑回归二分类-1节点的下游节点,拼接为实验。 单击画布中的预测-1节点,在右侧节点配置中,分别单击特征列字段、原样输出列字段 阅读全文

posted @ 2023-12-19 17:42 ExplorerMan 阅读(67) 评论(0) 推荐(0)

阿里-可视化建模-数据准备与预处理
摘要:通常情况下,在构建一个模型时,您需要准备好用于模型构建和调试所需要使用的数据,并完成数据的预处理,以便后续根据业务需求进行模型开发所需的进一步加工。本示例以PAI为您提供的公开数据为例,演示数据准备与预处理的操作步骤。 前提条件 已经新建了一个工作流,详情请参见新建自定义工作流。 step1:进入工 阅读全文

posted @ 2023-12-19 17:40 ExplorerMan 阅读(203) 评论(0) 推荐(0)

机器学习篇-指标:AUC
摘要:AUC是什么东西?AUC是一个模型评价指标,只能够用于二分类模型的评价,对于二分类模型来说还有很多其他的评价指标:比如:logloss,accuracy,precision在上述的评价指标当中,数据挖掘类比赛中,AUC和logloss是比较常见的模型评价指标那么问题来了||ヽ( ̄▽ ̄)ノミ|Ю为啥是 阅读全文

posted @ 2023-10-26 11:42 ExplorerMan 阅读(472) 评论(0) 推荐(0)

将Python深度神经网络转换成C++
摘要:项目方案:将Python深度神经网络转换成C++项目概述本项目旨在将使用Python编写的深度神经网络模型转换为C代码,以便在C环境中部署和运行。通过将模型从Python转换为C++,可以提高模型的性能和效率,并扩展模型在不同平台和设备上的应用。 技术方案1. 选择转换工具我们可以使用以下两种常见的 阅读全文

posted @ 2023-09-05 14:08 ExplorerMan 阅读(1419) 评论(0) 推荐(0)

NLP句子相似性方法总结及实现
摘要:目录 1、基于Word2Vec的余弦相似度 2、TextRank算法中的句子相似性 3、莱文斯坦距离(编辑距离) 4、莱文斯坦比 5、汉明距离 6、Jaro距离(Jaro Distance) 7、Jaro-Winkler距离(Jaro-Winkler Distance) 8、基于Doc2Vec的句子 阅读全文

posted @ 2023-07-26 20:52 ExplorerMan 阅读(467) 评论(0) 推荐(0)

使用Python训练好的决策树模型生成C++代码
摘要:提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录前言一、决策树模型二、解析决策树模型1. 模型分解2. 构建决策二叉树3. 生成代码3.1 生成python代码3.1 生成C++代码三、扩展3.1 验证3.2 深层决策树总结引用前言提示:这里可以添加本文要记录的大概内容: 阅读全文

posted @ 2023-03-13 15:19 ExplorerMan 阅读(422) 评论(0) 推荐(0)

AI机器学习模型python到C/C++的转换播
摘要:了解过机器学习的人应该都知道python的sklearn库非常好用的机器学习助手。从sklearn导入某个机器学习的库,调用fit函数即可生成模型,用来预测测试数据。 1、保存模型 如果想将模型保存下来,可以使用dump函数保存,往往会保存为.m或者.pkl文件,如下: joblib.dump(cl 阅读全文

posted @ 2023-03-13 15:01 ExplorerMan 阅读(727) 评论(0) 推荐(0)

文本预处理
摘要:1.1 认识文本预处理学习目标文本预处理及其作用文本语料在输送给模型前一般需要一系列的预处理工作, 才能符合模型输入的要求, 如: 将文本转化成模型需要的张量, 规范张量的尺寸等, 而且科学的文本预处理环节还将有效指导模型超参数的选择, 提升模型的评估指标.文本预处理中包含的主要环节文本处理的基本方 阅读全文

posted @ 2023-03-13 11:41 ExplorerMan 阅读(258) 评论(0) 推荐(0)

Pytorch基本语法
摘要:1.1 认识Pytorch学习目标了解什么是Pytorch.掌握Pytorch的基本元素操作.掌握Pytorch的基本运算操作.什么是PytorchPytorch是一个基于Numpy的科学计算包, 向它的使用者提供了两大功能.作为Numpy的替代者, 向用户提供使用GPU强大功能的能力.做为一款深度 阅读全文

posted @ 2023-03-13 11:41 ExplorerMan 阅读(244) 评论(0) 推荐(0)

Pytorch初步应用
摘要:2.1 使用Pytorch构建一个神经网络学习目标掌握用Pytorch构建神经网络的基本流程.掌握用Pytorch构建神经网络的实现过程.关于torch.nn:使用Pytorch来构建神经网络, 主要的工具都在torch.nn包中.nn依赖于autograd来定义模型, 并对其自动求导.构建神经网络 阅读全文

posted @ 2023-03-13 11:40 ExplorerMan 阅读(83) 评论(0) 推荐(0)

特征工程以及特征工程的方法
摘要:什么是特征工程有这么一句话在业界广泛流传:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢?顾名思义,其本质是一项工程活动,目的是最大限度地从原始数据中提取特征以供算法和模型使用。通过总结和归纳,人们认为特征工程包括以下方面: 特征工程的常用处理方法1.时间戳 阅读全文

posted @ 2023-03-13 11:24 ExplorerMan 阅读(431) 评论(0) 推荐(0)

导航