上一页 1 2 3 4 5 6 ··· 17 下一页
摘要: 通常我们在生产环境中,Tomcat的默认配置显然不能满足我们的产品需求,所以很多时候都需要对Tomcat的配置进行调优,以下综合我自己的经验来配置 Tomcat 安全与优化情况,如果你有更好的方案,请留言,我会参考并加纳进去。 1.编辑修改配置文件: # vim /usr/program/tomca 阅读全文
posted @ 2019-02-21 19:02 thinker1017 阅读(752) 评论(0) 推荐(0) 编辑
摘要: 本文主要介绍大型分布式系统中缓存的相关理论,常见的缓存组件以及应用场景。 1 缓存概述 缓存概述 2 缓存的分类 缓存主要分为以下四类 缓存的分类 2.1 CDN缓存 基本介绍 CDN(Content Delivery Network 内容分发网络)的基本原理是广泛采用各种缓存服务器,将这些缓存服务 阅读全文
posted @ 2019-02-18 14:19 thinker1017 阅读(959) 评论(0) 推荐(0) 编辑
摘要: redis是键值对的数据库,常用的五种数据类型为字符串类型(string),散列类型(hash),列表类型(list),集合类型(set),有序集合类型(zset) Redis用作缓存,主要两个用途:高性能,高并发,因为内存天然支持高并发 应用场景 分布式锁(string) setnx key va 阅读全文
posted @ 2019-02-15 18:17 thinker1017 阅读(1799) 评论(0) 推荐(0) 编辑
摘要: EhCache 是一个纯Java的进程内缓存框架,具有快速、精干等特点,是Hibernate中默认的CacheProvider。 ehcache提供了多种缓存策略,主要分为内存和磁盘两级,所以无需担心容量问题。 spring-boot是一个快速的集成框架,其设计目的是用来简化新Spring应用的初始 阅读全文
posted @ 2018-11-04 11:42 thinker1017 阅读(1963) 评论(0) 推荐(1) 编辑
摘要: 1 框架一览 事件处理的架构图如下所示。 2 优化总结 当我们第一次部署整个方案时,kafka和flume组件都执行得非常好,但是spark streaming应用需要花费4-8分钟来处理单个batch。这个延迟的原因有两点,一是我们使用DataFrame来强化数据,而强化数据需要从hive中读取大 阅读全文
posted @ 2018-11-02 21:00 thinker1017 阅读(2185) 评论(0) 推荐(0) 编辑
摘要: 1.1 避免使用 GroupByKey 让我们看一下使用两种不同的方式去计算单词的个数,第一种方式使用 reduceByKey, 另外一种方式使用 groupByKey: val words = Array("one", "two", "two", "three", "three", "three" 阅读全文
posted @ 2018-11-02 20:59 thinker1017 阅读(1505) 评论(0) 推荐(0) 编辑
摘要: 当你开始编写Apache Spark代码或者浏览公开的API的时候,你会遇到诸如transformation,action,RDD等术语。了解到这些是编写Spark代码的基础。同样,当你任务开始失败或者你需要透过web界面去了解自己的应用为何如此费时的时候,你需要去了解一些新的名词:job, sta 阅读全文
posted @ 2018-11-02 20:57 thinker1017 阅读(788) 评论(0) 推荐(0) 编辑
摘要: 由于大部分Spark计算都是在内存中完成的,所以Spark程序的瓶颈可能由集群中任意一种资源导致,如:CPU、网络带宽、或者内存等。最常见的情况是,数据能装进内存,而瓶颈是网络带宽;当然,有时候我们也需要做一些优化调整来减少内存占用,例如将RDD以序列化格式保存。 本文将主要涵盖两个主题:1.数据序 阅读全文
posted @ 2018-11-02 20:55 thinker1017 阅读(242) 评论(0) 推荐(0) 编辑
摘要: 1 spark on yarn常用属性介绍 2 客户端模式和集群模式的区别 这里我们要区分一下什么是客户端模式(client mode),什么是集群模式(cluster mode)。 我们知道,当在YARN上运行Spark作业时,每个Spark executor作为一个YARN容器(containe 阅读全文
posted @ 2018-11-02 20:51 thinker1017 阅读(292) 评论(0) 推荐(0) 编辑
摘要: kylin实战系列(一) 把之前kylin的实践小结一下,以备以后查看。 阅读全文
posted @ 2018-08-09 17:10 thinker1017 阅读(139) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 17 下一页