L先生AI课堂

摘要： 一、前述 分享一篇hadoop的常用命令的总结，将常用的Hadoop命令总结如下。 二、具体 1、启动hadoop所有进程start-all.sh等价于start-dfs.sh + start-yarn.sh 但是一般不推荐使用start-all.sh(因为开源框架中内部命令启动有很多问题)。 2、 阅读全文

摘要： 一、前述 SparkStreaming中的算子分为两类，一类是Transformation类算子，一类是OutPutOperator类算子。 Transformation类算子updateStateByKey，reduceByKeyAndWindow，transform OutPutOperator 阅读全文

摘要： 一、前述 企业中linux搭建ftp服务器还是很实用的，所以本文针对centoos7和centoos6搭建服务器教程做个总结。 二、具体 1、显示如下图则表示已安装 vsftp软件。如果未显示则需要安装vsftpd软件。 如果没有则通过yarm源进行安装 yum install -y vsftpd 阅读全文

摘要： 一、前述 SparkStreamin是流式问题的解决的代表，一般结合kafka使用，所以本文着重讲解sparkStreaming+kafka两种模式。 二、具体 1、Receiver模式 原理图： receiver模式理解： 在SparkStreaming程序运行起来后，Executor中会有rec 阅读全文

摘要： 一、前述 本文总结了常用的Spark的troubleshooting。 二、具体 1、shuffle file cannot find：磁盘小文件找不到。 1) connection timeout shuffle file cannot find 提高建立连接的超时时间，或者降低gc，降低gc了那 阅读全文

摘要： 一、前述 数据倾斜问题是大数据中的头号问题，所以解决数据清洗尤为重要，本文只针对几个常见的应用场景做些分析 。 二。具体方法 1、使用Hive ETL预处理数据 方案适用场景： 如果导致数据倾斜的是Hive表。如果该Hive表中的数据本身很不均匀（比如某个key对应了100万数据，其他key才对应了 阅读全文

摘要： 一、前述 Spark中调优大致分为以下几种 ，代码调优，数据本地化，内存调优，SparkShuffle调优，调节Executor的堆外内存。 二、具体 1、代码调优 1、避免创建重复的RDD，尽量使用同一个RDD 2、对多次使用的RDD进行持久化 如何选择一种最合适的持久化策略？ 默认情况下，性能最 阅读全文

摘要： 一、前述 持久化概念：将数据从掉电易失的内存存放到能够永久存储的设备上。 Redis持久化方式RDB（Redis DB） hdfs: fsimageAOF（AppendOnlyFile） hdfs : edit logs 默认关闭的 二、RDB方式 在默认情况下，Redis 将数据库快照保存在名字为 阅读全文

摘要： 一、前述 本文将单台节点不同端口模拟集群方式。 二、具体搭建 前提是安装好redis具体可参考http://www.cnblogs.com/LHWorldBlog/p/8463269.html 1、规划 redis集群 3.x版本物理节点1个指定3个主节点端口为7000、7001、7002对应的3个 阅读全文

摘要： 一、前述 Redis是当前比较热门的NOSQL系统之一，它是一个key-value存储系统。和Memcache类似，但很大程度补偿了Memcache的不足，它支持存储的value类型相对更多，包括string、list、set、zset和hash。这些数据类型都支持push/pop、add/remo 阅读全文