starqiu

摘要： 背景 vscode不是最新版本，且所在网络不能联网 插件市场只提供最新插件下载，插件历史只提供最近五次历史且加载很慢 新版本的插件一般支持的是新版本的vscode，插件对旧版本的兼容性不能保证 问题 如何快速定位需要下载的插件版本并下载该版本的插件呢？ 解决方案 如何快速定位需要下载的插件版本？ 自 阅读全文

摘要： 背景 在某地市开展项目的时候，发现数据采集，数据探索，预处理，数据统计，训练预测都需要很多资源，现场资源不够用。 目前该项目的资源3台旧的服务器，每台的资源 内存为128G，cores 为24 （core可暂时忽略，以下仅考虑内存即可） 。 案例分析 我们先对任务分别分析，然后分类。 数据采集基于D 阅读全文

摘要： 背景 ​ SQL作为一门标准的、通用的、简单的DSL，在大数据分析中有着越来越重要的地位;Spark在批处理引擎领域当前也是处于绝对的地位，而Spark2.0中的SparkSQL也支持ANSI SQL 2003标准。因此SparkSQL在大数据分析中的地位不言而喻。 本文将通过分析一条SQL在Spa 阅读全文

摘要： 背景 ​ 我们的数据挖掘平台对数据统计有比较迫切的需求，而Spark本身对数据统计已经做了一些工作，希望梳理一下Spark已经支持的数据统计功能，后期再进行扩展。 准备数据 在参考文献6中下载 "鸢尾花数据" ，此处格式为iris.data格式， 先将data后缀改为csv后缀（不影响使用，只是为了 阅读全文