摘要: 1、搭建maven 工程 pom文件 自动生成,版本信息,元数据信息 引入依赖,flink scala 、flink-streaming-scala... 引入插件,编译打包,管理生命周期,scala-maven-plugin 编译用,打包插件 maven-assembly-plugin 和 jar 阅读全文
posted @ 2021-04-23 17:21 静悟生慧 阅读(49) 评论(0) 推荐(0) 编辑
摘要: Flink: 大数据流式处理框架:Flink 和 spark streaming Flink 延迟更小,实时性更好 低延迟、高吞吐,准确性高 API: source transform sink 一、Flink简介: Flink(德语:快速、灵巧) Flink 是一个框架,分布式处理引擎,对有界和无 阅读全文
posted @ 2021-04-23 14:50 静悟生慧 阅读(122) 评论(0) 推荐(0) 编辑
摘要: Holt-winters 三次指数平滑 原始预测——简单平均——移动平均———加权移动平均 1)单指数平滑法:s(t+1)= a*x(t) + (1-a)* s(t-1) , a许更适合被称作记忆衰减率: 越高,预测模型越快“忘记”过去 很明显,α为0.9时预测值更接近观测值。但这并不适用于任何系列 阅读全文
posted @ 2021-03-01 11:36 静悟生慧 阅读(216) 评论(0) 推荐(0) 编辑
摘要: 1、给定一个整数数组和一个整数 k,你需要找到该数组中和为 k 的连续的子数组的个数。 示例 1 : 输入:nums = [1,1,1], k = 2输出: 2 , [1,1] 与 [1,1] 为两种不同的情况。说明 : 数组的长度为 [1, 20,000]。数组中元素的范围是 [-1000, 10 阅读全文
posted @ 2021-02-20 19:03 静悟生慧 阅读(75) 评论(0) 推荐(0) 编辑
摘要: XGBoost也可以用于时间序列预测,尽管要先把时间序列数据集转换成适用于有监督学习的形式。它还需要使用一种专门的技术来评估模型,称为前向推进验证,因为模型评估使用了k-折叠交叉,这会产生有正偏差的结果。 在本文中,你将会了解到如何开发应用于时间序列预测的XGBoost模型。 完成本教程后,你将知道 阅读全文
posted @ 2021-01-12 11:27 静悟生慧 阅读(891) 评论(0) 推荐(0) 编辑
摘要: 神经网络语言模型综述(译) https://zhuanlan.zhihu.com/p/109564205 原文: https://arxiv.org/pdf/1906.03591.pdf 链接:https://zhuanlan.zhihu.com/p/117450353 阅读全文
posted @ 2020-12-30 19:52 静悟生慧 阅读(68) 评论(0) 推荐(0) 编辑
摘要: hive 从array类型的字段中,筛选出表包含某元素的记录: 注意有特殊符号时的转义; SELECT * FROM table_m WHERE dt = sysdate( - 2) AND ARRAY_CONTAINS(array_name, "aaa\\;5") limit 100; 阅读全文
posted @ 2020-12-22 15:03 静悟生慧 阅读(1647) 评论(0) 推荐(0) 编辑
摘要: 下载并安装好iterm2 配置过程: https://blog.csdn.net/hu_feng903/article/details/104077950 https://www.jianshu.com/p/d8512d2b2bf0 Linux为sh脚本文件添加执行权限 chmod是权限管理命令ch 阅读全文
posted @ 2020-12-02 17:33 静悟生慧 阅读(125) 评论(0) 推荐(0) 编辑
摘要: Jenkins Pipeline(或简称为 "Pipeline")是一套插件,将持续交付的实现和实施集成到 Jenkins 中。 持续交付 Pipeline 自动化的表达了这样一种流程:将基于版本控制管理的软件持续的交付到您的用户和消费者手中。 Jenkins Pipeline 提供了一套可扩展的工 阅读全文
posted @ 2020-11-30 16:41 静悟生慧 阅读(69) 评论(0) 推荐(0) 编辑
摘要: 机器学习中,随机森林是一个包含多个决策树的分类器,并且其输出的类别是由个别输出的类别的众树而定,它有着许多的有点,能很好地处理多分类问题。 基本算法 原始训练集为N,应用bootstrap法有放回的随机抽取k个新的自助样本集,并由构建k棵决策树。每次未被抽到的样本组成了k个袋外数据; 设有M个变量, 阅读全文
posted @ 2020-11-18 12:27 静悟生慧 阅读(2966) 评论(0) 推荐(0) 编辑