上一页 1 ··· 11 12 13 14 15 16 17 18 19 ··· 25 下一页

2017年5月19日

error when start pyspark

摘要: ERROR spark.SparkContext: Error initializing SparkContext.java.lang.IllegalArgumentException: Required executor memory (1024+384 MB) is above the max 阅读全文

posted @ 2017-05-19 13:08 大大的橙子 阅读(366) 评论(0) 推荐(0)

2017年5月18日

Hive 优化

摘要: 一、Hadoop 计算框架的特性 1、什么是数据倾斜? •由于数据分布不均匀,造成数据大量的集中到一点,造成数据热点。 2、Hadoop框架的特性 •不怕数据大,怕数据倾斜。 •jobs数比较多的作业运行效率相对比较低,如子查询比较多。 •sum,count,max,min等聚集函数,不会有数据倾斜 阅读全文

posted @ 2017-05-18 15:55 大大的橙子 阅读(310) 评论(0) 推荐(0)

2017年5月16日

OSI 与 TCP/IP

摘要: TCP/IP OSI 阅读全文

posted @ 2017-05-16 11:31 大大的橙子 阅读(297) 评论(0) 推荐(0)

Proxy server

摘要: sss 阅读全文

posted @ 2017-05-16 11:24 大大的橙子 阅读(258) 评论(0) 推荐(0)

Gateway

摘要: 网关在传输层上以实现网络互连,是最复杂的网络互连设备,仅用于两个高层协议不同的网络互连。网关的结构也和路由器类似,不同的是互连层。网关既可以用于广域网互连,也可以用于局域网互连。 网关是一种充当转换重任的计算机系统或设备。在使用不同的通信协议、数据格式或语言,甚至体系结构完全不同的两种系统之间,网关 阅读全文

posted @ 2017-05-16 10:35 大大的橙子 阅读(727) 评论(0) 推荐(0)

2017年5月15日

gradient descent

摘要: gradient descent 阅读全文

posted @ 2017-05-15 13:42 大大的橙子 阅读(404) 评论(0) 推荐(0)

TF linear regression

摘要: 本文的作者 Nishant Shukla 为加州大学洛杉矶分校的机器视觉研究者,从事研究机器人机器学习技术。Nishant Shukla 一直以来兼任 Microsoft、Facebook 和 Foursquare 的开发者,以及 SpaceX 的机器学习工程师。他还是《Haskell Data A 阅读全文

posted @ 2017-05-15 13:36 大大的橙子 阅读(609) 评论(0) 推荐(0)

2017年5月10日

hadoop balance

摘要: balancer 阅读全文

posted @ 2017-05-10 10:17 大大的橙子 阅读(403) 评论(0) 推荐(0)

2017年5月7日

HIVE 数据类型

摘要: 数据类型 Hive基本的数据类型: Hive集合数据类型: 另外还有一个复合数据类型,可以综合上面的数据类型组合到一起。 · union: UNIONTYPE<data_type, data_type, ...> 限定符 Hive默认的限定符: Structs: structs内部的数据可以通过DO 阅读全文

posted @ 2017-05-07 20:20 大大的橙子 阅读(17818) 评论(0) 推荐(0)

2017年5月3日

Scala window下安装

摘要: 第一步:Java 设置 检测方法前文已说明,这里不再描述。 如果还为安装,可以参考我们的Java 开发环境配置。 接下来,我们可以从 Scala 官网地址 http://www.scala-lang.org/downloads 下载 Scala 二进制包(页面底部),本教程我们将下载 2.11.7版 阅读全文

posted @ 2017-05-03 10:13 大大的橙子 阅读(329) 评论(0) 推荐(0)

上一页 1 ··· 11 12 13 14 15 16 17 18 19 ··· 25 下一页

导航