2017 年 10月随笔档案 - 饺子吃遍天

摘要：一。参考文档参考 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL二。数据库操作》》创建数据库环境参考 http://blog.csdn.net/liaomin416100... 阅读全文

posted @ 2017-10-31 12:20 饺子吃遍天阅读(578) 评论(0) 推荐(0)

摘要：一。hive简介 hive是基于hadoop文件系统的大数据分析工具，能够轻松实现数据汇总点对点查询大批量数据分析等使用传统的SQL语法提供了UDF 用户自定义函数来分析统计数据。hive的数据组成：数据库（Databases）类似于 my... 阅读全文

posted @ 2017-10-30 17:33 饺子吃遍天阅读(308) 评论(0) 推荐(0)

摘要：一。 MAP REDUCE执行原理 MapReduce主要分为三个阶段 Map阶段 Shuffle阶段 Reduce阶段 1》Map阶段：Hadoop Map/Reduce框架为每一个InputSplit产生一个map任务，而每个InputSplit是由该作... 阅读全文

posted @ 2017-10-27 12:46 饺子吃遍天阅读(243) 评论(0) 推荐(0)

摘要：一。 yarn架构 mapreduce从 0.2.3之后进行了重构，发布新的mapreduce 版本v2，也可以称为 yarn 引入了资源调度的概念之前的JobTracker 被拆分成了 Resouce Manager和ApplicationMaster... 阅读全文

posted @ 2017-10-27 08:56 饺子吃遍天阅读(206) 评论(0) 推荐(0)

freemarker模板引擎

摘要：一。 freemarker简介在互联网软件内容网站中一般首页的访问量大，为了提供首页的访问效率，一般首页的内容以及其中的新闻等信息都可以实现html静态化浏览器访问时设置浏览器的缓存策略和生成静态页面的周期一致可以使访问效率大大提升同时配合cdn处... 阅读全文

posted @ 2017-10-26 09:06 饺子吃遍天阅读(530) 评论(0) 推荐(0)

摘要：一。Federation简介和原理之前的ha和集群都是单namenode对外提供服务明显当用户量大时会出现服务宕机问题就算standby服务器激活也会导致崩溃为了水平的拓展namnode服务 federation提供了多个namnode 这些... 阅读全文

posted @ 2017-10-21 15:20 饺子吃遍天阅读(243) 评论(0) 推荐(0)

摘要：一。QJM简介和原理 hadoop集群环境 namenode元数据保存在一台机器中存在单点故障传统的高可用解决方案至少有一台从机用于备份主机数据，同一时间只有主机对外提供服务，如果主机宕机从机能够自动接管主机服务，从机为了同步主机的数据必须定期同步主... 阅读全文

posted @ 2017-10-21 09:18 饺子吃遍天阅读(312) 评论(0) 推荐(0)

摘要：一。hdfs原理和架构 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throug... 阅读全文

posted @ 2017-10-20 10:19 饺子吃遍天阅读(187) 评论(0) 推荐(0)

摘要：一。 zuul介绍路由是微服务架构的不可或缺的一部分。例如：”/” 可能映射到你应用主页，/api/users映射到用户服务，/api/shop映射到购物服务。Zuul。Zuul是Netflix出品的一个基于JVM路由和服务端的负载均衡器当一个UI应用想要... 阅读全文

posted @ 2017-10-10 17:37 饺子吃遍天阅读(152) 评论(0) 推荐(0)

摘要：一。断路器介绍分布式系统中服务和服务之间调用必然存在多层，调用过程必然涉及到网络 cpu 内存的占用假设订阅者调用发布者发布者服务出现宕机等订阅者如果不能及时发现监控到错误所有的请求依然会被请求到失败的发布者服务，失败的请求可能需要连接网络开启线程失... 阅读全文

posted @ 2017-10-09 09:28 饺子吃遍天阅读(1286) 评论(0) 推荐(0)

摘要：一。客户端介绍在springcloud中发布的服务一般为http服务使用http服务客户端即可调用最底层的http协议是使用它tcp协议实现清晰理解http协议请求响应模型可以使用Socket来进行请求这种方式开发成本太大，java.net包提供了 Ht... 阅读全文

posted @ 2017-10-06 10:14 饺子吃遍天阅读(157) 评论(0) 推荐(0)

饺子吃遍天