摘要：
参考：http://tieba.baidu.com/p/3233996339#57290767555l 在CentOS中配置静态IP后不生效。 解决办法：将/etc/sysconfig/network-scripts/ifcfg-eth0文件中的DEVICE=eth0注释掉 解决过程： 一开始，配置 阅读全文
posted @ 2019-04-26 21:17
梦醒江南·Infinite
阅读(4036)
评论(0)
推荐(0)
摘要：
UDAF：用户自定义聚合函数 Scala 2.10.7，spark 2.0.0 阅读全文
posted @ 2019-04-25 16:26
梦醒江南·Infinite
阅读(565)
评论(0)
推荐(0)
摘要：
UDF即用户自定函数，注册之后，在sql语句中使用。 基于scala-sdk-2.10.7，Spark2.0.0。 结果 阅读全文
posted @ 2019-04-25 15:46
梦醒江南·Infinite
阅读(583)
评论(0)
推荐(0)
摘要：
Spark SQL是Spark中用于结构化数据处理的组件。 Spark SQL可以从Hive中读取数据。 执行结果是Dataset/DataFrame。 DataFrame是一个分布式数据容器。然而DataFrame更像传统数据库的二维表格，除了数据以外，还掌握数据的结构信息，即schema。同时， 阅读全文
posted @ 2019-04-25 13:55
梦醒江南·Infinite
阅读(496)
评论(0)
推荐(0)
摘要：
RDD(Resilient Distributed Dateset)，弹性分布式数据集。 <!-- ^ Position is not set to relative / absolute here because of Mozilla --> ◆哪里体现RDD的弹性？ 1.partition的个数 阅读全文
posted @ 2019-04-25 10:54
梦醒江南·Infinite
阅读(124)
评论(0)
推荐(0)
摘要：
来源：http://spark.apache.org/docs/2.0.0/configuration.html spark中的内存使用主要分为两类：执行和存储。执行内存指的是用于shuffles、join、sorts 和aggregations中的计算的内存，而存储内存指的是用于在集群中cache 阅读全文
posted @ 2019-04-25 10:22
梦醒江南·Infinite
阅读(314)
评论(0)
推荐(0)
摘要：
来源：https://www.numpy.org/devdocs/user/quickstart.html 轴：即维度 eg. [1, 2, 1]，有一个轴 [[ 1, 0, 0],[ 0, 1, 2]] ，有两个轴，第一个个轴的长度是2，第二个轴的长度是3 ndarray：numpy的数组类，也叫 阅读全文
posted @ 2019-04-24 19:44
梦醒江南·Infinite
阅读(293)
评论(0)
推荐(0)
摘要：
来源：http://spark.apache.org/docs/latest/submitting-applications.html 提交程序常用的一些选项 --class: The entry point for your application (e.g. org.apache.spark.e 阅读全文
posted @ 2019-04-24 10:35
梦醒江南·Infinite
阅读(525)
评论(0)
推荐(0)
摘要：
来源：http://spark.apache.org/docs/latest/cluster-overview.html User program built on Spark. Consists of a driver program and executors on the cluster. （ 阅读全文
posted @ 2019-04-24 10:19
梦醒江南·Infinite
阅读(192)
评论(0)
推荐(0)
摘要：
来源：https://dev.mysql.com/doc/refman/5.7/en/keywords.html 标有(R)的为保留关键字。 A ACCESSIBLE (R) ACCOUNT; added in 5.7.6 (nonreserved) ACTION ADD (R) AFTER AGA 阅读全文
posted @ 2019-04-24 00:34
梦醒江南·Infinite
阅读(185)
评论(0)
推荐(0)
浙公网安备 33010602011771号