ExplorerMan

hive 的order by ,sort by，distribute by，cluster by

摘要： order by order by会对输入做全局排序，因此只有一个Reducer(多个Reducer无法保证全局有序)，然而只有一个Reducer，会导致当输入规模较大时，消耗较长的计算时间，在生产环境中遇到数据量较大的情况，一般无法成功。 sort by sort by不是全局排序，其在数据进入r 阅读全文

posted @ 2023-08-10 21:48 ExplorerMan 阅读(50) 评论(0) 推荐(0)

大数据-hive 添加分区

摘要： 1、静态分区1> 添加一个alter table t2 add partition (city=‘shanghai’);2> 添加多个alter table t2 add partition (city=‘chengdu’) partition(city=‘tianjin’);3> 添加分区指定位置阅读全文

posted @ 2023-08-10 21:11 ExplorerMan 阅读(2524) 评论(0) 推荐(0)

Golang中结构体映射mapstructure库深入详解

摘要： mapstructure用于将通用的map[string]interface{}解码到对应的 Go 结构体中，或者执行相反的操作。很多时候，解析来自多种源头的数据流时，我们一般事先并不知道他们对应的具体类型。只有读取到一些字段之后才能做出判断 + 目录在数据传递时，需要先编解码；常用的方式是JSO 阅读全文

posted @ 2023-07-27 15:44 ExplorerMan 阅读(2416) 评论(0) 推荐(0)

NLP句子相似性方法总结及实现

摘要：目录 1、基于Word2Vec的余弦相似度 2、TextRank算法中的句子相似性 3、莱文斯坦距离（编辑距离） 4、莱文斯坦比 5、汉明距离 6、Jaro距离（Jaro Distance） 7、Jaro-Winkler距离（Jaro-Winkler Distance） 8、基于Doc2Vec的句子阅读全文

posted @ 2023-07-26 20:52 ExplorerMan 阅读(402) 评论(0) 推荐(0)

Golang 规则引擎原理及实战

摘要：本文主要介绍规则引擎在 golang 中的使用，将首先介绍 golang 中主要的规则引擎框架，然后利用 golang 原生的 parser 搭建一个简单的规则引擎实现基本的 bool 表达式解析工作。背景随着业务代码的不断迭代，诞生出了越来越多的 if-else，并且 if-else 中的逻辑阅读全文

posted @ 2023-07-24 14:44 ExplorerMan 阅读(450) 评论(0) 推荐(1)

开源项目消息推送平台Austin

摘要：开源项目消息推送平台Austin终于要上线了，迎来在线演示的第一版！ 🔥项目在线演示地址：http://139.9.73.20:3000/ 消息推送平台🔥推送下发【邮件】【短信】【微信服务号】【微信小程序】【企业微信】【钉钉】等消息类型。 https://gitee.com/zhongfuche 阅读全文

posted @ 2023-05-05 17:31 ExplorerMan 阅读(1635) 评论(0) 推荐(0)

使用Python训练好的决策树模型生成C++代码

摘要：提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、决策树模型二、解析决策树模型1. 模型分解2. 构建决策二叉树3. 生成代码3.1 生成python代码3.1 生成C++代码三、扩展3.1 验证3.2 深层决策树总结引用前言提示：这里可以添加本文要记录的大概内容：阅读全文

posted @ 2023-03-13 15:19 ExplorerMan 阅读(375) 评论(0) 推荐(0)

AI机器学习模型python到C/C++的转换播

摘要：了解过机器学习的人应该都知道python的sklearn库非常好用的机器学习助手。从sklearn导入某个机器学习的库，调用fit函数即可生成模型，用来预测测试数据。 1、保存模型如果想将模型保存下来，可以使用dump函数保存，往往会保存为.m或者.pkl文件，如下： joblib.dump(cl 阅读全文

posted @ 2023-03-13 15:01 ExplorerMan 阅读(649) 评论(0) 推荐(0)

文本预处理

摘要： 1.1 认识文本预处理学习目标文本预处理及其作用文本语料在输送给模型前一般需要一系列的预处理工作, 才能符合模型输入的要求, 如: 将文本转化成模型需要的张量, 规范张量的尺寸等, 而且科学的文本预处理环节还将有效指导模型超参数的选择, 提升模型的评估指标.文本预处理中包含的主要环节文本处理的基本方阅读全文

posted @ 2023-03-13 11:41 ExplorerMan 阅读(225) 评论(0) 推荐(0)

Pytorch基本语法

摘要： 1.1 认识Pytorch学习目标了解什么是Pytorch.掌握Pytorch的基本元素操作.掌握Pytorch的基本运算操作.什么是PytorchPytorch是一个基于Numpy的科学计算包, 向它的使用者提供了两大功能.作为Numpy的替代者, 向用户提供使用GPU强大功能的能力.做为一款深度阅读全文

posted @ 2023-03-13 11:41 ExplorerMan 阅读(210) 评论(0) 推荐(0)

hive 的order by ,sort by，distribute by，cluster by

大数据-hive 添加分区

Golang中结构体映射mapstructure库深入详解

NLP句子相似性方法总结及实现

Golang 规则引擎原理及实战

开源项目消息推送平台Austin

使用Python训练好的决策树模型生成C++代码

AI机器学习模型python到C/C++的转换播

文本预处理

Pytorch基本语法

导航

公告

搜索

常用链接

随笔分类 (2328)

随笔档案 (2341)

评论排行榜

推荐排行榜