lenmom

摘要： 在CDH5.7下，配置了NameNode的HA后，Hive无正常查询数据了，但是其他的组件HDFS , HBase ,Spark都正常的。Hive新建表出现如下异常： Hive查询会出现如下异常： 初步怀疑是Hive元数据的问题，在Hive数据库中有两张表：DBS ： Hive数据仓库的总路径SDS 阅读全文

摘要： 我们都知道Maven本质上是一个插件框架，它的核心并不执行任何具体的构建任务，所有这些任务都交给插件来完成。 例如编译源代码是由maven-compiler-plugin完成的。 进一步说，每个任务对应了一个插件目标（goal），每个插件会有一个或者多个目标。 例如maven-compiler-pl 阅读全文

摘要： https://blog.csdn.net/rotkang/article/details/78914866 阅读全文

摘要： https://www.cnblogs.com/avivaye/category/814820.html 阅读全文

摘要： 1. 时间维度表结构 2. C#生成预置数据代码 3. 结果预览 阅读全文

摘要： gradle 跳过测试直接编译gradle build -x test 根据build.gradle和setting.gradle文件生成idea项目： gradle idea gradle这几年发展迅猛，github越来越多的项目都开始采用gradle来构建了，但是并不是所有人都对gradle很熟 阅读全文

摘要： 1. 在Windows中安装sbt 下载 官网: http://www.scala-sbt.org/ github: https://github.com/sbt/sbt/releases/download/v0.13.15/sbt-0.13.15.msi (官网的地址好像下到一半就失败.) 安装 阅读全文

摘要： withSpout在spark中是用来做DAG可视化的，它在代码里的用法如下（以map为例，spark 2.0.0版本） 因为对scala语法比较生疏，初次见面，一脸懵逼，这里的withScope是个什么用法？乍看一下有种java的implements Comparable的感觉。 其实，withS 阅读全文

摘要： 1. local模式 2. Spark standalone模式 先上传文件到hdfs spark操作 最后保存的结果为: 3. yarn模式 还有一种mesos部署模式，因为环境没有做部署，没有做测试。 spark-shell参数列表: 阅读全文

摘要： 默认情况下，hadoop官方发布的二进制包是不包含native库的，native库是用C++实现的，用于进行一些CPU密集型计算，如压缩。比如apache kylin在进行预计算时为了减少预计算的数据占用的磁盘空间，可以配置使用压缩格式。 默认情况下，启动spark-shell,会有无法加载nati 阅读全文