skyer1992 - 博客园

独一无二 hortonworks spark 源码编译教程

摘要： hortonworks的源码在github上能找到！ https://github.com/hortonworks/spark2-release 找到对应版本release源码后下载到本地在windows可以直接编译，在ubuntu需要安装zinc spark项目使用了hortonworks的私人阅读全文

posted @ 2018-06-01 18:11 skyer1992 阅读(925) 评论(4) 推荐(1)

一文读懂:为什么齐次方程系数行列式的值等于0，方程就有无数的非零解

摘要：由于矩阵通过可逆变换不会改变行列式的非零性，所以通过矩阵变换把原系数矩阵变换为倒三角形式，例如A1: 变换后A2：这个变换不会影响行列式非零性，然后通过行列式公式算的det(A2) = x1*y1*z1,也就是说倒三角矩阵的行列式等于对角线元素的乘积。所以如果行列式等于0，那么必然z1等于0，那阅读全文

posted @ 2018-05-02 16:39 skyer1992 阅读(15372) 评论(0) 推荐(0)

一文读懂:超详细正态分布方差等于o的推导

摘要： (uv)' = [(u+△u)(v+△v) - uv] /△x = (v△u+u△v +△u△v)/△x = v(△u/△x) + u(△v/△x) +(△u△v)/△x =u'v+uv' 阅读全文

posted @ 2018-04-25 18:32 skyer1992 阅读(6070) 评论(0) 推荐(0)

spark 写 hbase 数据库，遇到Will not attempt to authenticate using SASL (unknown error)

摘要：今日在windows上用spark写hbase的函数 saveAsHadoopDataset 写hbase数据库的时候，遇到Will not attempt to authenticate using SASL (unknown error) 错误，程序卡在那里不动了，百度后发现是我的windows 阅读全文

posted @ 2018-03-26 16:52 skyer1992 阅读(9565) 评论(5) 推荐(0)

spark 与 hbase-server 集成版本问题

摘要：今天在使用spark存储hbase的时候遇到异常Exception in thread "main" java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/Pooled 阅读全文

posted @ 2018-03-26 14:51 skyer1992 阅读(544) 评论(0) 推荐(0)

spark yarn 集群提交kafka代码

摘要：配置好hadoop的环境，具体根据http://blog.csdn.net/u010638969/article/details/51283216博客所写的进行配置。运行start-dfs.sh启动hdfs集群，成功后运行jps应该有NameNode,DataNode,SecondaryNameN 阅读全文

posted @ 2018-03-16 09:34 skyer1992 阅读(303) 评论(0) 推荐(0)

scala高阶函数类型推断什么时候失效?

摘要：这段代码中的test()函数是有重载的，且以高阶函数为参数。当我们调用的时候必须指明高阶函数的参数类型。第6行是正确的，可以编译通过，但是第7行被注释的代码是不能编译通过的，也就是说这里类型推断失效了。经过测试发现，当有重载函数，且参数个数相同，且高阶函数所处的位置一样时，这时高阶函数类型推断会失阅读全文

posted @ 2018-03-05 17:50 skyer1992 阅读(209) 评论(0) 推荐(0)

一文读懂超简单的spark structured stream 源码解读

摘要：为了让大家理解structured stream的运行流程，我将根据一个代码例子，讲述structured stream的基本运行流程和原理。下面是一段简单的代码: 这段代码就是单词计数。先从一个socket数据源读入数据，然后以" " 为分隔符把一行文本转换成单词的DataSet，然后转换成有标阅读全文

posted @ 2018-03-02 18:11 skyer1992 阅读(1844) 评论(0) 推荐(0)

一文读懂spark yarn集群搭建

摘要：文是超简单的spark yarn配置教程: yarn是hadoop的一个子项目，目的是用于管理分布式计算资源，在yarn上面搭建spark集群需要配置好hadoop和spark。我在搭建集群的时候有3台虚拟机，都是centos系统的。下面就开始一步一步地进行集群搭建。一、配置hosts文件 hos 阅读全文

posted @ 2018-02-26 17:07 skyer1992 阅读(11586) 评论(0) 推荐(2)

linux平台 spark standalone集群使用 start-all，stop-all 管理集群的启动和退出

摘要：一、配置/etc/profile: 文件尾部增加以下内容: 二、配置spark环境变量在spark的conf文件夹中复制 spark-env.sh.template生成 spark-env.sh文件,在尾部添加如下代码: 第三行的变量指定的是master的IP，我的机器上面worker节点不能直接阅读全文

posted @ 2018-02-24 17:00 skyer1992 阅读(1405) 评论(0) 推荐(0)

曙光

导航

公告