摘要: 榨干Spark性能-driver、exector内存突破256M 阅读全文
posted @ 2018-01-11 13:40 junneyang 阅读(2971) 评论(0) 推荐(0)
摘要: Sparkstreaming-性能调优 阅读全文
posted @ 2018-01-11 13:39 junneyang 阅读(1598) 评论(0) 推荐(0)
摘要: 软件设计-非功能性需求-性能-可靠性-安全性等 阅读全文
posted @ 2018-01-11 13:39 junneyang 阅读(2210) 评论(0) 推荐(0)
摘要: Spark-架构 Spark-架构 Spark Master at spark://node-01:7077spark clustermanager_百度搜索看了之后不再迷糊-Spark多种运行模式 - 简书Spark不同Cluster Manager下的数据本地性表现 - CSDN博客Spark架 阅读全文
posted @ 2018-01-11 13:38 junneyang 阅读(215) 评论(0) 推荐(0)
摘要: Kafka-副本-分区设置-性能调优 阅读全文
posted @ 2018-01-11 13:38 junneyang 阅读(2708) 评论(0) 推荐(0)
摘要: SparkStreaming-Tasks-数量如何设置? 阅读全文
posted @ 2018-01-11 13:37 junneyang 阅读(2023) 评论(0) 推荐(0)
摘要: Spark-性能调优-系列文章 阅读全文
posted @ 2018-01-11 13:37 junneyang 阅读(180) 评论(0) 推荐(0)
摘要: Spark-空RDD判断与处理 阅读全文
posted @ 2018-01-11 13:36 junneyang 阅读(4745) 评论(0) 推荐(0)
摘要: Git-add之后-忽略部分文件的方法 阅读全文
posted @ 2018-01-11 13:36 junneyang 阅读(2142) 评论(0) 推荐(0)
摘要: Spark-Hadoop-架构对比 注意,本文的多进程和多线程,指的是同一个节点上多个任务的运行模式。无论是MapReduce和Spark,整体上看,都是多进程:MapReduce应用程序是由多个独立的Task进程组成的;Spark应用程序的运行环境是由多个独立的Executor进程构建的临时资源池 阅读全文
posted @ 2018-01-11 13:35 junneyang 阅读(571) 评论(0) 推荐(0)
摘要: Kafka-分区数-备份数-如何设置-怎么确定-怎么修改 阅读全文
posted @ 2018-01-11 13:35 junneyang 阅读(3009) 评论(0) 推荐(0)
摘要: Kafka-数据倾斜问题-参考资料-解决方案 阅读全文
posted @ 2018-01-11 13:35 junneyang 阅读(3803) 评论(0) 推荐(0)
摘要: Scala-使用ExecutorService-等待所有线程完成 阅读全文
posted @ 2018-01-11 13:34 junneyang 阅读(895) 评论(0) 推荐(0)
摘要: Eclipse-Build-缓慢-卡住 阅读全文
posted @ 2018-01-11 13:33 junneyang 阅读(926) 评论(0) 推荐(0)
摘要: PS-查看Java进程-线程数 阅读全文
posted @ 2018-01-11 13:33 junneyang 阅读(4060) 评论(0) 推荐(0)
摘要: Scala-case-参考资料 阅读全文
posted @ 2018-01-11 13:32 junneyang 阅读(507) 评论(0) 推荐(0)
摘要: Sparkstreaming-共享变量-缓存RDD-到底是什么情况? 阅读全文
posted @ 2018-01-11 13:32 junneyang 阅读(1271) 评论(0) 推荐(0)
摘要: Scala-调用Java-集合 阅读全文
posted @ 2018-01-11 13:31 junneyang 阅读(833) 评论(0) 推荐(0)
摘要: SAX解析characters 错误截取问题的解决 阅读全文
posted @ 2018-01-11 13:31 junneyang 阅读(509) 评论(0) 推荐(0)
摘要: Java-正则匹配-性能优化 阅读全文
posted @ 2018-01-11 13:30 junneyang 阅读(3225) 评论(0) 推荐(0)
摘要: Java-XML解析利器-SAX-高性能-易用 阅读全文
posted @ 2018-01-11 13:30 junneyang 阅读(682) 评论(0) 推荐(0)
摘要: Scala-循环与遍历 阅读全文
posted @ 2018-01-11 13:29 junneyang 阅读(810) 评论(0) 推荐(0)
摘要: Java-fastjson-基本使用方法 阅读全文
posted @ 2018-01-11 13:29 junneyang 阅读(303) 评论(0) 推荐(0)
摘要: SparkStreaming-Kafka-集成-终极参考资料 阅读全文
posted @ 2018-01-11 13:28 junneyang 阅读(442) 评论(0) 推荐(0)
摘要: Java-Redis-Hash算法对比-参考资料 阅读全文
posted @ 2018-01-11 13:28 junneyang 阅读(851) 评论(0) 推荐(0)
摘要: SparkStreaming-高可用-HA-Master 阅读全文
posted @ 2018-01-11 13:27 junneyang 阅读(474) 评论(0) 推荐(0)
摘要: SparkStreaming-Kafka-Redis-集成-基础参考资料 阅读全文
posted @ 2018-01-11 13:27 junneyang 阅读(852) 评论(0) 推荐(0)
摘要: Scala-Map使用方法 阅读全文
posted @ 2018-01-11 13:26 junneyang 阅读(835) 评论(0) 推荐(0)
摘要: Kafka-配置参数详解-参数调优 阅读全文
posted @ 2018-01-11 13:26 junneyang 阅读(843) 评论(0) 推荐(0)
摘要: Scala多线程-并发实践 阅读全文
posted @ 2018-01-11 13:25 junneyang 阅读(2208) 评论(0) 推荐(0)
摘要: SparkStreaming-foreachrdd foreachpartition 阅读全文
posted @ 2018-01-11 13:25 junneyang 阅读(561) 评论(0) 推荐(0)
摘要: Java-Scala-单例模式实现方法 阅读全文
posted @ 2018-01-11 13:24 junneyang 阅读(737) 评论(0) 推荐(0)
摘要: Eclipse性能调优 阅读全文
posted @ 2018-01-11 13:24 junneyang 阅读(143) 评论(0) 推荐(0)
摘要: SparkStreaming-Checkpoint-容错 阅读全文
posted @ 2018-01-11 13:23 junneyang 阅读(160) 评论(0) 推荐(0)
摘要: SparkStreaming-加载外部配置文件 阅读全文
posted @ 2018-01-11 13:23 junneyang 阅读(1323) 评论(0) 推荐(0)
摘要: Spark Streaming + Kafka direct 的 offset 存入Zookeeper并重用 阅读全文
posted @ 2018-01-11 13:22 junneyang 阅读(1729) 评论(0) 推荐(0)
摘要: Java-UTC-时间戳处理 阅读全文
posted @ 2018-01-11 13:22 junneyang 阅读(2966) 评论(0) 推荐(0)
摘要: Spark Streaming 动态更新filter关注的内容 阅读全文
posted @ 2018-01-11 13:21 junneyang 阅读(331) 评论(0) 推荐(0)
摘要: Maven-maven编译报错 -source 1.5 中不支持 lambda 表达式 阅读全文
posted @ 2018-01-11 13:21 junneyang 阅读(618) 评论(0) 推荐(0)
摘要: Spark-Java-Scala-哪种语言 阅读全文
posted @ 2018-01-11 13:20 junneyang 阅读(4968) 评论(0) 推荐(0)
摘要: Scala-Option-Null的蹊跷 阅读全文
posted @ 2018-01-11 13:20 junneyang 阅读(248) 评论(0) 推荐(0)
摘要: SparkStreaming-如何使用checkpoint 阅读全文
posted @ 2018-01-11 13:19 junneyang 阅读(185) 评论(0) 推荐(0)
摘要: 单例模式-为什么是静态变量 阅读全文
posted @ 2018-01-11 13:19 junneyang 阅读(852) 评论(0) 推荐(0)
摘要: SparkStreaming-输出到Kafka 阅读全文
posted @ 2018-01-11 13:18 junneyang 阅读(930) 评论(0) 推荐(0)
摘要: Scala-None-null引发的血案 阅读全文
posted @ 2018-01-11 13:18 junneyang 阅读(1016) 评论(0) 推荐(0)
摘要: Java-ShutDownHook-优雅关闭系统资源 Java-ShutDownHook-优雅关闭系统资源 java shuadownhook_百度搜索Java应用中使用ShutdownHook友好地清理现场 - 残雪余香 - 博客园java kill -9_百度搜索java怎样注册和捕捉到kill 阅读全文
posted @ 2018-01-11 13:18 junneyang 阅读(448) 评论(0) 推荐(0)
摘要: 提交Spark任务-ClassNotFoundException-错误处理 阅读全文
posted @ 2018-01-11 13:17 junneyang 阅读(3330) 评论(0) 推荐(0)
摘要: Spark-Redis连接池 Spark-Redis连接池 jedispool returnresource 遭废弃 用 什么替代_百度知道spark-stream 访问 Redis数据库示例 - 阿里云【Redis】Java中使用Jedis操作Redis(Maven导入包)、创建Redis连接池 阅读全文
posted @ 2018-01-11 13:17 junneyang 阅读(4506) 评论(0) 推荐(0)
摘要: 王加林-大数据学习资料 阅读全文
posted @ 2018-01-11 13:16 junneyang 阅读(246) 评论(0) 推荐(0)
摘要: SparkStreaming-提交到集群运行 阅读全文
posted @ 2018-01-11 13:15 junneyang 阅读(981) 评论(0) 推荐(0)
摘要: SparkStreaming-CPU资源设置的蹊跷、 阅读全文
posted @ 2018-01-11 13:14 junneyang 阅读(338) 评论(0) 推荐(0)
摘要: Spark-foreachRDD需要注意的问题 阅读全文
posted @ 2018-01-11 13:12 junneyang 阅读(999) 评论(0) 推荐(0)
摘要: Spark-reduceByKey-深入理解 阅读全文
posted @ 2018-01-11 13:11 junneyang 阅读(2032) 评论(0) 推荐(0)
摘要: Kafka为什么要加入分区的概念 Kafka为什么要加入分区的概念 kafka 分区 作用_百度搜索(1 封私信)kafka中的topic为什么要进行分区? - 知乎 Kafka安装版本选择 Kafka安装版本选择 Apache Kafka nc使用 nc使用 nc命令用法举例 - nmap - 博 阅读全文
posted @ 2018-01-11 13:11 junneyang 阅读(1433) 评论(0) 推荐(0)
摘要: OpenAPI规范 阅读全文
posted @ 2018-01-11 13:10 junneyang 阅读(1294) 评论(0) 推荐(0)
摘要: 跨语言-RPC框架 阅读全文
posted @ 2018-01-11 13:09 junneyang 阅读(1280) 评论(0) 推荐(0)
摘要: PostgresSQL-MySQL对比 阅读全文
posted @ 2018-01-11 13:09 junneyang 阅读(1158) 评论(0) 推荐(0)
摘要: ServiceMesh初步了解 阅读全文
posted @ 2018-01-11 13:08 junneyang 阅读(966) 评论(0) 推荐(0)
摘要: 技术-工具-平台-语言&框架 阅读全文
posted @ 2018-01-11 11:29 junneyang 阅读(212) 评论(0) 推荐(0)
摘要: 红黑树-二叉树-算法 阅读全文
posted @ 2018-01-11 11:28 junneyang 阅读(420) 评论(0) 推荐(0)
摘要: GRPC-负载均衡 阅读全文
posted @ 2018-01-11 11:26 junneyang 阅读(1158) 评论(0) 推荐(0)
摘要: Kafka Stream-Spark Streaming-Storm流式计算框架比较选型 Kafka Stream-Spark Streaming-Storm流式计算框架比较选型 elasticsearch-headElasticsearch-sql clientNLPchina/elasticse 阅读全文
posted @ 2018-01-11 10:56 junneyang 阅读(1330) 评论(0) 推荐(0)
摘要: 大数据处理-Lambda架构-Kappa架构 阅读全文
posted @ 2018-01-11 10:55 junneyang 阅读(2237) 评论(0) 推荐(0)
摘要: ES5新特性-keyword-text类型-查询区别 阅读全文
posted @ 2018-01-11 10:54 junneyang 阅读(1766) 评论(0) 推荐(0)
摘要: 大数据-实时统计分析-方案对比选型 BI报表-实时数据分析-方案对比-参考资料 阅读全文
posted @ 2018-01-11 10:53 junneyang 阅读(2999) 评论(0) 推荐(0)
摘要: SparkStreaming-流处理-规则动态更新-解决方案 阅读全文
posted @ 2018-01-11 10:52 junneyang 阅读(2827) 评论(0) 推荐(0)
摘要: ElasticSearch-SQL插件 阅读全文
posted @ 2018-01-11 10:51 junneyang 阅读(496) 评论(0) 推荐(0)
摘要: ElasticSearch-索引优化-自定义索引 阅读全文
posted @ 2018-01-11 10:49 junneyang 阅读(1172) 评论(0) 推荐(0)
摘要: 大数据匹配-算法 阅读全文
posted @ 2018-01-11 10:44 junneyang 阅读(3688) 评论(0) 推荐(0)
摘要: Springboot-Quartz-分布式任务调度 阅读全文
posted @ 2018-01-11 10:29 junneyang 阅读(3798) 评论(0) 推荐(0)
摘要: 概要设计-详细设计 阅读全文
posted @ 2018-01-11 10:28 junneyang 阅读(1245) 评论(0) 推荐(0)
摘要: Eclipse代码格式化-代码模板 阅读全文
posted @ 2018-01-11 10:26 junneyang 阅读(1636) 评论(0) 推荐(0)
摘要: Scala学习资料 阅读全文
posted @ 2018-01-11 10:25 junneyang 阅读(463) 评论(0) 推荐(0)