01 2018 档案

No partition metadata for topic test due to kafka.common.LeaderNotAvailableException
摘要：使用kafka-console-producer.sh --broker-list localhost:9092 --topic test 发送消息时报了错误： 错误是说没有分区元数据，搞不清楚是什么回事，之后查了一下，stackoverflow 有帖子说要删zookeeper 和kafka的数据目 阅读全文
posted @ 2018-01-24 16:23 yimison 阅读(1082) 评论(0) 推荐(0)
spark 免密码登录- ssh 指定非22端口
摘要：vi /etc/profile 在profile 文件最后一行加入命令： export SPARK_SSH_OPTS="-p 7315" #注：7315 是ssh 端口 阅读全文
posted @ 2018-01-23 15:33 yimison 阅读(501) 评论(0) 推荐(0)
jvm中的新生代Eden和survivor区
摘要：聊聊JVM的年轻代 1.为什么会有年轻代 我们先来屡屡，为什么需要把堆分代？不分代不能完成他所做的事情么？其实不分代完全可以，分代的唯一理由就是优化GC性能。你先想想，如果没有分代，那我们所有的对象都在一块，GC的时候我们要找到哪些对象没用，这样就会对堆的所有区域进行扫描。而我们的很多对象都是朝生夕 阅读全文
posted @ 2018-01-16 14:16 yimison 阅读(640) 评论(0) 推荐(0)
nexus 开机自启动
摘要：一.创建shell服务脚本 创建脚本nexus,并将脚本文件放在/etc/init.d 服务启动目录 二.配置权限 三. 让chkconfig 管理脚本 四.启动服务 阅读全文
posted @ 2018-01-12 21:21 yimison 阅读(2023) 评论(1) 推荐(0)
idea 上传jar包到nexus
摘要：一.项目pom配置 上面有两个配置,一个是发布版的仓库,另一个是快照版的仓库 id 必须跟maven 的conf/setting.xml 里配的仓库id相应 二.maven conf/setting.xml 配置仓库认证信息 在conf/setting.xml 里面配置上述节点信息 上述server 阅读全文
posted @ 2018-01-10 09:46 yimison 阅读(746) 评论(0) 推荐(0)
Spark standalone HA
摘要：Spark standalone HA 配置Spark standalone HA 主机：node1,node2,node3 master: node1,node2 slave:node2,node3 修改配置文件： node1,node3: spark-env.sh export SPARK_MA 阅读全文
posted @ 2018-01-05 16:21 yimison 阅读(200) 评论(0) 推荐(0)
spark 性能优化指南
摘要：Spark性能优化指南——高级篇 李雪蕤 ·2016-05-12 14:47 前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。 数据倾斜调优 调优概述 有的 阅读全文
posted @ 2018-01-04 17:35 yimison 阅读(303) 评论(0) 推荐(0)
spark 体验点滴- executor 数量 和task 并行数
摘要：一.指定spark executor 数量的公式 executor 数量 = spark.cores.max/spark.executor.cores spark.cores.max 是指你的spark程序需要的总核数 spark.executor.cores 是指每个executor需要的核数 参 阅读全文
posted @ 2018-01-04 14:49 yimison 阅读(10040) 评论(0) 推荐(0)