随笔分类 -  分布式应用

1 2 3 下一页
hadoop记录篇10-数据仓库查询组件impala
摘要：一。impala架构 Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query P... 阅读全文
posted @ 2018-04-25 09:42 饺子吃遍天 阅读(1021) 评论(0) 推荐(0)
springfox集成openapi实践
摘要：一 。openapi介绍 OpenAPI的前身是swagger规范。Swagger是一套有助于前后端分离，接口管理和测试工具集 SwaggerTM是一个用于描述和文档化RESTful接口的项目。 Swagger规范定义了一系列的文件，用以描述API。这些文件可以被... 阅读全文
posted @ 2018-03-14 17:02 饺子吃遍天 阅读(913) 评论(0) 推荐(0)
CPU-bound(计算密集型) 和I/O bound(I/O密集型)
摘要：I/O密集型 (IO-bound) I/O bound 指的是系统的CPU效能相对硬盘/内存的效能要好很多，此时，系统运作，大部分的状况是 CPU 在等 I/O (硬盘/内存) 的读/写，此时 CPU Loading 不高。CPU bound 指的是系统的 硬盘/内存... 阅读全文
posted @ 2018-03-02 11:20 饺子吃遍天 阅读(405) 评论(0) 推荐(0)
Trafficserver实现代理和cdn缓存
摘要：一。Trafficserver简介 Apache Traffic Server™ 提供高性能可伸缩的使用http/https通信的正向和反向代理解决方案，同时支持多种代理方案同时配置 关于代理中，正向代理，反向代理，透明代理的概念参考（http://blog.cs... 阅读全文
posted @ 2018-02-28 15:08 饺子吃遍天 阅读(709) 评论(0) 推荐(0)
Mysql高可用之PXC
摘要：一。PXC简介 Percona XtraDB Cluster简称PXC。是一套开源mysql高可用解决方案(XtraDb是mysql被oracle收购之前 开源一个分支 其他分支还有mariadb)，Percona Xtradb Cluster的实现是在... 阅读全文
posted @ 2018-02-05 17:35 饺子吃遍天 阅读(701) 评论(0) 推荐(0)
mysql中间件-atlas介绍
摘要：一 。atlas简介Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上，修改了大量bug，添加了很多功能特性。目前该项目在360公司内部... 阅读全文
posted @ 2018-01-29 15:35 饺子吃遍天 阅读(2398) 评论(0) 推荐(0)
springcloud记录篇6-分布式配置中心
摘要：一。分布式配置中心简介 Spring Cloud Config为服务端和客户端提供了分布式系统的外部化配置支持。配置服务器为各应用的所有环境提供了一个中心化的外部配置。它实现了对服务端和客户端对Spring Environment和PropertySource抽象的映... 阅读全文
posted @ 2018-01-05 11:12 饺子吃遍天 阅读(143) 评论(0) 推荐(0)
分布式事务模型-TCC
摘要：一个TCC事务框架需要解决的当然是分布式事务的管理。关于TCC事务机制的介绍，可以参考TCC事务机制简介。TCC事务模型虽然说起来简单，然而要基于TCC实现一个通用的分布式事务框架，却比它看上去要复杂的多，不只是简单的调用一下Confirm/Cancel业务就可以了的... 阅读全文
posted @ 2017-12-27 08:42 饺子吃遍天 阅读(347) 评论(0) 推荐(0)
mq系列kafka01-简介和集群安装
摘要：一。kafka简介 Kafka是一个分布式消息系统，由LinkedLn使用Scala编写，用作LinkedLn的活动流和运营数据处理管道的基础，具有高水平扩展和高吞吐量。它已被多家不同类型的公司作为多种类型的数据管道和消息系统使用。目前越来越多的开源分布式处理系... 阅读全文
posted @ 2017-12-15 14:23 饺子吃遍天 阅读(191) 评论(0) 推荐(0)
分布式日志收集套件-ELK
摘要：一。 ELK介绍ELK 是elastic公司提供的一套完整的日志收集、展示解决方案，是三个产品的首字母缩写，分别是ElasticSearch、Logstash 和 Kibana。ElasticSearch简称ES，它是一个实时的分布式搜索和分析引擎，它可以用于全文搜索... 阅读全文
posted @ 2017-12-13 15:03 饺子吃遍天 阅读(511) 评论(0) 推荐(0)
企业级搜索elasticsearch应用04-集群和常用插件安装
摘要：一。配置集群 一个 Elasticsearch 集群至少包括一个节点和一个索引。或者它 可能有一百个数据节点、三个单独的主节点，以及一小打客户端节点——这些共同操作一千个索引（以及上万个分片）。 1》配置集群名称 Elasticsearch 默认启动的集群... 阅读全文
posted @ 2017-12-11 17:29 饺子吃遍天 阅读(223) 评论(0) 推荐(0)
企业级搜索elasticsearch应用03-前置处理器
摘要：一。Ingest Node IngestNode节点被用于对原始json数据预处理的节点 该节点只需要在 elasticsearch.yml中 添加 node.ingest: true 需要预处理的文档 只需要添加一个pipeline（管道） 指定一系列的p... 阅读全文
posted @ 2017-12-11 10:46 饺子吃遍天 阅读(130) 评论(0) 推荐(0)
企业级搜索elasticsearch应用02-elasticsearch搜索
摘要：一 。使用命令搜索 1》uri搜索(参考https://www.elastic.co/guide/en/elasticsearch/reference/current/search-uri-request.html) uri搜索表示将查询以及操作的动作置于u... 阅读全文
posted @ 2017-12-08 10:59 饺子吃遍天 阅读(304) 评论(0) 推荐(0)
企业级搜索elasticsearch应用01-单机安装和索引文档操作
摘要：一 。elasticsearch简介 elasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码... 阅读全文
posted @ 2017-12-06 10:27 饺子吃遍天 阅读(349) 评论(0) 推荐(0)
文档型数据库mongodb介绍2-副本集
摘要：一。 副本集介绍 之前的文章介绍了 mongodb主从 mongodb提供了另外一种 基于副本集的集群 该方式 是一主一从的升级版 一主多从，仍然是主节点负责写入 从节点定时同步主节点数据 使用该种方式 从节点可以负责读取的操作 主节点负责写入 可以轻松实现... 阅读全文
posted @ 2017-11-01 16:47 饺子吃遍天 阅读(228) 评论(0) 推荐(0)
文档型数据库mongodb介绍1-基本操作和主从
摘要：一。 mongodb简介 MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语... 阅读全文
posted @ 2017-11-01 11:32 饺子吃遍天 阅读(405) 评论(0) 推荐(0)
hadoop记录篇7-hive常用sql统计
摘要：一 。参考文档参考 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL二。 数据库操作》》创建数据库 环境参考 http://blog.csdn.net/liaomin416100... 阅读全文
posted @ 2017-10-31 12:20 饺子吃遍天 阅读(578) 评论(0) 推荐(0)
freemarker模板引擎
摘要：一。 freemarker简介 在互联网软件内容网站中 一般首页的访问量大，为了提供首页的访问效率，一般 首页的内容以及其中的新闻等信息都可以实现html静态化 浏览器访问时 设置浏览器的缓存策略和生成静态页面的周期一致 可以使访问效率大大提升 同时配合cdn处... 阅读全文
posted @ 2017-10-26 09:06 饺子吃遍天 阅读(533) 评论(0) 推荐(0)
hadoop记录篇2-namenode高可用（HA）之QJM+NFS
摘要：一 。QJM简介和原理 hadoop集群环境 namenode元数据保存在一台机器中 存在单点故障 传统的高可用解决方案 至少有一台从机 用于备份主机数据，同一时间只有主机对外提供服务，如果主机宕机 从机能够自动接管主机服务，从机为了同步主机的数据 必须定期同步主... 阅读全文
posted @ 2017-10-21 09:18 饺子吃遍天 阅读(312) 评论(0) 推荐(0)
hadoop记录篇1-hdfs集群安装
摘要：一。hdfs原理和架构 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throug... 阅读全文
posted @ 2017-10-20 10:19 饺子吃遍天 阅读(187) 评论(0) 推荐(0)

1 2 3 下一页