thinker1017 - 博客园

2019年2月21日

摘要：通常我们在生产环境中，Tomcat的默认配置显然不能满足我们的产品需求，所以很多时候都需要对Tomcat的配置进行调优，以下综合我自己的经验来配置 Tomcat 安全与优化情况，如果你有更好的方案，请留言，我会参考并加纳进去。 1.编辑修改配置文件： # vim /usr/program/tomca 阅读全文

posted @ 2019-02-21 19:02 thinker1017 阅读(805) 评论(0) 推荐(0)

2019年2月18日

深入理解分布式系统中的缓存架构(上)

摘要：本文主要介绍大型分布式系统中缓存的相关理论，常见的缓存组件以及应用场景。 1 缓存概述缓存概述 2 缓存的分类缓存主要分为以下四类缓存的分类 2.1 CDN缓存基本介绍 CDN(Content Delivery Network 内容分发网络)的基本原理是广泛采用各种缓存服务器，将这些缓存服务阅读全文

posted @ 2019-02-18 14:19 thinker1017 阅读(982) 评论(0) 推荐(0)

2019年2月15日

Redis的n种妙用，不仅仅是缓存

摘要： redis是键值对的数据库，常用的五种数据类型为字符串类型（string），散列类型（hash），列表类型（list），集合类型（set），有序集合类型（zset） Redis用作缓存，主要两个用途：高性能，高并发，因为内存天然支持高并发应用场景分布式锁（string） setnx key va 阅读全文

posted @ 2019-02-15 18:17 thinker1017 阅读(1811) 评论(0) 推荐(0)

2018年11月4日

springBoot整合ecache缓存

摘要： EhCache 是一个纯Java的进程内缓存框架，具有快速、精干等特点，是Hibernate中默认的CacheProvider。 ehcache提供了多种缓存策略，主要分为内存和磁盘两级，所以无需担心容量问题。 spring-boot是一个快速的集成框架，其设计目的是用来简化新Spring应用的初始阅读全文

posted @ 2018-11-04 11:42 thinker1017 阅读(2024) 评论(0) 推荐(1)

2018年11月2日

Spark Streaming实时处理应用

摘要： 1 框架一览事件处理的架构图如下所示。 2 优化总结当我们第一次部署整个方案时，kafka和flume组件都执行得非常好，但是spark streaming应用需要花费4-8分钟来处理单个batch。这个延迟的原因有两点，一是我们使用DataFrame来强化数据，而强化数据需要从hive中读取大阅读全文

posted @ 2018-11-02 21:00 thinker1017 阅读(2199) 评论(0) 推荐(0)

Spark 实践

摘要： 1.1 避免使用 GroupByKey 让我们看一下使用两种不同的方式去计算单词的个数，第一种方式使用 reduceByKey，另外一种方式使用 groupByKey： val words = Array("one", "two", "two", "three", "three", "three" 阅读全文

posted @ 2018-11-02 20:59 thinker1017 阅读(1561) 评论(0) 推荐(0)

spark性能调优

摘要：当你开始编写Apache Spark代码或者浏览公开的API的时候，你会遇到诸如transformation，action，RDD等术语。了解到这些是编写Spark代码的基础。同样，当你任务开始失败或者你需要透过web界面去了解自己的应用为何如此费时的时候，你需要去了解一些新的名词:job, sta 阅读全文

posted @ 2018-11-02 20:57 thinker1017 阅读(798) 评论(0) 推荐(0)

Spark调优

摘要：由于大部分Spark计算都是在内存中完成的，所以Spark程序的瓶颈可能由集群中任意一种资源导致，如：CPU、网络带宽、或者内存等。最常见的情况是，数据能装进内存，而瓶颈是网络带宽；当然，有时候我们也需要做一些优化调整来减少内存占用，例如将RDD以序列化格式保存。本文将主要涵盖两个主题：1.数据序阅读全文

posted @ 2018-11-02 20:55 thinker1017 阅读(251) 评论(0) 推荐(0)

spark优化系列一：参数介绍

摘要： 1 spark on yarn常用属性介绍 2 客户端模式和集群模式的区别这里我们要区分一下什么是客户端模式（client mode），什么是集群模式（cluster mode）。我们知道，当在YARN上运行Spark作业时，每个Spark executor作为一个YARN容器(containe 阅读全文

posted @ 2018-11-02 20:51 thinker1017 阅读(312) 评论(0) 推荐(0)

2018年8月9日

kylin实战系列（一）

摘要： kylin实战系列（一）把之前kylin的实践小结一下，以备以后查看。阅读全文

posted @ 2018-08-09 17:10 thinker1017 阅读(147) 评论(0) 推荐(0)

公告