ExplorerMan

摘要： -mkdir 创建目录 hdfs dfs -mkdir [-p] < paths> -ls 查看目录下内容，包括文件名，权限，所有者，大小和修改时间 hdfs dfs -ls [-R] < args> -put 将本地文件或目录上传到HDFS中的路径 hdfs dfs -put < localsrc 阅读全文

摘要： order by order by会对输入做全局排序，因此只有一个Reducer(多个Reducer无法保证全局有序)，然而只有一个Reducer，会导致当输入规模较大时，消耗较长的计算时间，在生产环境中遇到数据量较大的情况，一般无法成功。 sort by sort by不是全局排序，其在数据进入r 阅读全文

摘要： 1、静态分区1> 添加一个alter table t2 add partition (city=‘shanghai’);2> 添加多个alter table t2 add partition (city=‘chengdu’) partition(city=‘tianjin’);3> 添加分区指定位置 阅读全文

摘要： mapstructure用于将通用的map[string]interface{}解码到对应的 Go 结构体中，或者执行相反的操作。很多时候，解析来自多种源头的数据流时，我们一般事先并不知道他们对应的具体类型。只有读取到一些字段之后才能做出判断 + 目录 在数据传递时，需要先编解码；常用的方式是JSO 阅读全文

摘要： 目录 1、基于Word2Vec的余弦相似度 2、TextRank算法中的句子相似性 3、莱文斯坦距离（编辑距离） 4、莱文斯坦比 5、汉明距离 6、Jaro距离（Jaro Distance） 7、Jaro-Winkler距离（Jaro-Winkler Distance） 8、基于Doc2Vec的句子 阅读全文

摘要： 本文主要介绍规则引擎在 golang 中的使用，将首先介绍 golang 中主要的规则引擎框架，然后利用 golang 原生的 parser 搭建一个简单的规则引擎实现基本的 bool 表达式解析工作。 背景 随着业务代码的不断迭代，诞生出了越来越多的 if-else，并且 if-else 中的逻辑 阅读全文

摘要： 开源项目消息推送平台Austin终于要上线了，迎来在线演示的第一版！ 🔥项目在线演示地址：http://139.9.73.20:3000/ 消息推送平台🔥推送下发【邮件】【短信】【微信服务号】【微信小程序】【企业微信】【钉钉】等消息类型。 https://gitee.com/zhongfuche 阅读全文

摘要： 提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、决策树模型二、解析决策树模型1. 模型分解2. 构建决策二叉树3. 生成代码3.1 生成python代码3.1 生成C++代码三、扩展3.1 验证3.2 深层决策树总结引用前言提示：这里可以添加本文要记录的大概内容： 阅读全文

摘要： 了解过机器学习的人应该都知道python的sklearn库非常好用的机器学习助手。从sklearn导入某个机器学习的库，调用fit函数即可生成模型，用来预测测试数据。 1、保存模型 如果想将模型保存下来，可以使用dump函数保存，往往会保存为.m或者.pkl文件，如下： joblib.dump(cl 阅读全文

摘要： 1.1 认识文本预处理学习目标文本预处理及其作用文本语料在输送给模型前一般需要一系列的预处理工作, 才能符合模型输入的要求, 如: 将文本转化成模型需要的张量, 规范张量的尺寸等, 而且科学的文本预处理环节还将有效指导模型超参数的选择, 提升模型的评估指标.文本预处理中包含的主要环节文本处理的基本方 阅读全文