dlimeng

摘要： hadoop报错总结01:https://blog.csdn.net/qq_19968255/article/details/82803768 1.当脚本在运行时报错信息如下： Examining task ID: task_201201061122_0007_m_000002 (and more) 阅读全文

摘要： 一．简介 Linkis面临将多种类型的数据存储到文件里面的需求，如：将Hive表数据存储到文件，并希望能保存字段的类型、列名和comment等元数据信息。 二．Storage存储多种文件系统 三．结果集-Parquet 3.1 Parquet 组成 Parquet仅仅是一种存储格式，它是语言、平台无 阅读全文

摘要： PR: Pull Request. 拉取请求，给其他项目提交代码LGTM: Looks Good To Me. 代码已经过 review，可以合并SGTM: Sounds Good To Me. 和上面那句意思差不多，也是已经通过了 review 的意思WIP: Work In Progress. 阅读全文

摘要： 一·GitHub设置 问题：最近在使用GigHub时，发现提交的记录并没有统计在GitHub首页的Contributions Graph里（即贡献图上没有绿块）。 原因：经过查资料发现，是因为提交时填写的邮箱与GitHub账号里的邮箱不一致导致，而GitHub是以邮箱关联GitHub账号的。 解决： 阅读全文

摘要： 文章目录 一.简介 二.锁模式 三.总结 一.简介 读写锁（ReadWriteLock）允许多个线程同时读共享变量，适用于读多写少的场景，读多写少场景中比这更快的方案就是StampedLock，比读写锁性能好。 二.锁模式 ReadWriteLock支持两种模式：一种是读锁，一种是写锁，而Stamp 阅读全文

摘要： 文章目录 一.介绍 二.案例 三.RDD 的核心特征和属性 3.1 简介 3.2 小结 四.源码 一.介绍 RDD 作为 Spark 对于分布式数据模型的抽象，是构建 Spark 分布式内存计算引擎的基石。很多 Spark 核心概念与核心组件，如 DAG 和调度系统都衍生自 RDD。因此，深入理解 阅读全文

摘要： 文章目录 一.简介二.建立模型2.1 简介2.2 示例2.3 小结 三.分类3.1 简介3.2 监督学习3.3 无监督学习3.4 半监督学习 四.强化学习五.深度学习六.总结 一.简介 机器学习之父 Arthur Samuel 对机器学习的定义是：在没有明确设置的情况下，使计算机具有学习能力的研究领 阅读全文

摘要： 1.背景 最近环境切换到CDH6.3，用到Spark2.4，Hive2.1，Hadoop3.0，Beam等组件，Beam中嵌套了很多组件的原生API。 2.安装 2.1 Spark 具体步骤略，照着网上文档按步骤就可以安装好，下面步骤，展示如何启动Master,Worker进程。 安装目录：/opt 阅读全文

摘要： 文章目录 一.示例二.指标混乱状态2.1 相同指标名称，口径定义不同2.2 相同口径，指标名称不一样2.3 不同限定词，描述相同事实过程的两个指标，相同事实部分口径不一致。2.4 指标口径描述不清晰。2.5 指标口径描述错误。2.6 指标命名难于理解。2.7 指标数据来源和计算逻辑不清晰。 三.规范 阅读全文

摘要： 一.示例 Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop的一个文件系统接口。Hadoop中关于文件操作类基本上全部是在"org.apache.hadoop.fs"包中，这些API能够支持的操作包含：打开文件，读写文件，删除文件等。 Hadoop类库中最 阅读全文