摘要：
# 知识店铺在医药营销中的作用：提升HCP学习效率 ## 核心摘要 - 知识店铺作为医药企业数字化营销SaaS系统的核心功能之一，将HCP学习从一次性科会延伸为可回溯、可追踪的持续知识体验。- 通过内容结构化、行为在线化、数据真实化（K2），知识店铺助力企业构建透明合规的学术营销证据链。- 数据驱动 阅读全文
posted @ 2026-07-30 17:47
聂政didi
阅读(2)
评论(0)
推荐(0)
2026年7月30日
2018年3月14日
摘要：
有时候，如果你的spark作业处理的数据量特别特别大，几亿数据量；然后spark作业一运行，时不时报错，比如shuffle file cannot find，executor、task lost，out of memory； 可能是说executor的堆外内存不太够用，导致executor在运行的过 阅读全文
posted @ 2018-03-14 16:41
聂政didi
阅读(323)
评论(0)
推荐(0)
2018年3月12日
摘要：
spark在driver上，对application的每一个stage的task，进行分配之前都会计算出每个task要计算的是哪个分片数据，RDD的某个partition；spark的task分配算法，优先会希望每个task正好分配到它要计算的数据所在的节点，这样就不用在网络间传输数据； 但是，如果 阅读全文
posted @ 2018-03-12 12:11
聂政didi
阅读(333)
评论(0)
推荐(0)
摘要：
spark支持使用kryo序列化机制。kryo序列化机制，比默认的java序列化机制，速度要快，序列化后的数据要更小，大概是java序列化机制的1/10，所以kryo序列化优化后，可以让网络传输的数据变少，在集群中耗费的内存资源大大减少。 kryo序列化机制，一旦启用以后，会生效的几个地方： 1、算 阅读全文
posted @ 2018-03-12 11:15
聂政didi
阅读(3247)
评论(0)
推荐(0)
2018年3月10日
摘要：
广播变量，初始的时候在driver上有一份副本。task在运行的时候，想要使用广播变量中的数据，首先会在本地的executor对应的BlockManager中尝试获取变量副本；如果没有，就从driver远程拉取变量副本，并保存在本地的BlockManager中；此后这个executor上的task， 阅读全文
posted @ 2018-03-10 17:27
聂政didi
阅读(1308)
评论(0)
推荐(0)
摘要：
spark的RDD计算是lazy机制的，因此默认情况下，多次对同一个RDD执行算子，去获取不同的RDD，都会对这个RDD以及之前的父RDD，全部重新计算一次。因此： 1、RDD的架构需要优化和重构 尽量去复用RDD，差不多的RDD，可以重构为一个共同的RDD，以供后面RDD计算时，反复使用。 2、公 阅读全文
posted @ 2018-03-10 15:50
聂政didi
阅读(617)
评论(0)
推荐(0)
摘要：
一、性能调优的王道，就是增加和分配更多的资源：首先第一步，就是调节最优的资源配置；在这个基础上，资源有限，才考虑性能调优的点。 二、怎么配置资源，如下 spark-submit\ --class com.sparktest.wordcount \ --num-executors 4 \ 配置exec 阅读全文
posted @ 2018-03-10 14:26
聂政didi
阅读(309)
评论(0)
推荐(0)
2017年6月7日
摘要：
http://support.hwclouds.com/bigdata/index.html 阅读全文
posted @ 2017-06-07 13:32
聂政didi
阅读(136)
评论(0)
推荐(0)
2017年5月24日
摘要：
JAVA_OPTS="$JAVA_OPTS -XX:+UseCondCardMark" JAVA_OPTS="$JAVA_OPTS -XX:CMSWaitDuration=250" JAVA_OPTS="$JAVA_OPTS -XX:+UseParNewGC" JAVA_OPTS="$JAVA_OP 阅读全文
posted @ 2017-05-24 17:38
聂政didi
阅读(518)
评论(0)
推荐(0)
2017年3月7日
浙公网安备 33010602011771号