2018 年 10月 18 日随笔档案 - TIMLONG

2018年10月18日

摘要： https://blog.csdn.net/ytbigdata/article/details/47154529 阅读全文

posted @ 2018-10-18 22:05 TIMLONG 阅读(686) 评论(0) 推荐(0)

spark：neither spark.yarn.jars not spark.yarn.archive is set

摘要： 1.Spark启动警告：neither spark.yarn.jars not spark.yarn.archive is set，falling back to uploading libraries under SPARK_HOME 原因：如果没设置spark.yarn.jars，每次提交到y 阅读全文

posted @ 2018-10-18 16:09 TIMLONG 阅读(1169) 评论(0) 推荐(0)

Spark2.x学习笔记：5、Spark On YARN模式

摘要： https://blog.csdn.net/chengyuqiang/article/details/77864246 阅读全文

posted @ 2018-10-18 15:55 TIMLONG 阅读(220) 评论(0) 推荐(0)

Spark记录-spark报错Unable to load native-hadoop library for your platform

摘要：解决方案一： #cp $HADOOP_HOME/lib/native/libhadoop.so $JAVA_HOME/jre/lib/amd64 #源码编译snappy ./configure make & make install #cp libsnappy.so $JAVA_HOME/jre/l 阅读全文

posted @ 2018-10-18 14:55 TIMLONG 阅读(332) 评论(0) 推荐(0)

开源项目镜像

摘要：开源项目镜像源名源链接CentOS http://mirror-status.centos.org/#cnArchlinux https://www.archlinux.org/mirrors/status/Ubuntu https://launchpad.net/ubuntu/+cdmirror 阅读全文

posted @ 2018-10-18 12:14 TIMLONG 阅读(273) 评论(0) 推荐(0)

转载：Spark中文指南(入门篇)-Spark编程模型(一)

摘要：原文：https://www.cnblogs.com/miqi1992/p/5621268.html 前言本章知识点概括 Apache Spark简介 Spark的四种运行模式 Spark基于Standlone的运行流程 Spark基于YARN的运行流程 Apache Spark是什么？ Spar 阅读全文

posted @ 2018-10-18 09:31 TIMLONG 阅读(404) 评论(0) 推荐(0)

MapReduce\Tez\Storm\Spark四个框架的异同

摘要： 1） MapReduce:是一种离线计算框架，将一个算法抽象成Map和Reduce两个阶段进行处理，非常适合数据密集型计算。 2） Spark:MapReduce计算框架不适合迭代计算和交互式计算，MapReduce是一种磁盘计算框架，而Spark则是一种内存计算框架，它将数据尽可能放到内存中以阅读全文

posted @ 2018-10-18 08:49 TIMLONG 阅读(1874) 评论(0) 推荐(0)

公告