🈲小呆

摘要： 前提和设计目标硬件错误硬件错误是常态而不是异常。HDFS可能由成百上千的服务器所构成，每个服务器上存储着文件系统的部分数据。我们面对的现实是构成系统的组件数目是巨大的，而且任一组件都有可能失效，这意味着总是有一部分HDFS的组件是不工作的。因此错误检测和快速、自动的恢复是HDFS最核心的架构目标。流 阅读全文

摘要： hadoop框架 Hadoop使用主/从（Master/Slave）架构，主要角色有NameNode，DataNode，secondary NameNode，JobTracker，TaskTracker组成。 其中NameNode，secondary NameNode，JobTracker运行在Ma 阅读全文

摘要： Hadoop核心之MapReduce 上部分提到Hadoop存储大数据的核心模块HDFS，这一部分介绍Hadoop处理大数据部分的核心模块MapReduce。 Apache Foundation对MapReduce的介绍：“Hadoop MapReduce is a software framewo 阅读全文

摘要： Hadoop核心之分布式文件系统HDFS Hadoop分布式文件系统（Hadoop Distributed File System，简称HDFS）是Hadoop的核心模块之一，它主要解决Hadoop的大数据存储问题，其思想来源与Google的文件系统GFS。HDFS的主要特点： 保存多个副本，且提供 阅读全文

摘要： 1 Hadoop是什么？ Google公司发表了两篇论文：一篇论文是“The Google File System”，介绍如何实现分布式地存储海量数据；另一篇论文是“Mapreduce:Simplified Data Processing on Large Clusters”，介绍如何对分布式大规模 阅读全文

摘要： 最新项目一直出现线上问题，定位原因看到是由于表数据过大导致的，现在有个登录表，登录游戏玩家每次登录的信息，久而久之，这几个表的数据量达到了两亿多条。每天都在上报，采集，由于没有定期删除，数据大量累积。大概有一年左右的数据，一个表的数据已经达到亿级别的。这样算下来，一个表的数据至少是几十GB了。因此需 阅读全文

摘要： 线上测试环境搭建过程记录 第一步：安装JDK，以jdk1.8为例子： 1.将jdk1.8的rpm软件包拷贝到 /usr/local 下 2.执行 rpm -ivh jdk-8u191-linux-i586.rpm 3.安装完以后 会在 /usr/java/latest 下有对应的 jdk 版本 4. 阅读全文

摘要： SpringBoot Web学习笔记 一、资源的访问： 情形一、所有的 /webjars/** 都会去 classpath:/META_INFO/resource/webjars/ 下找资源； webjars：以jar包的方式引入静态资源； eg： 引入jquery的 webjar 包 其层级目录如 阅读全文

摘要： 分布式服务架构学习 第一章： 理论基础： 互联网企业对传统技术进行发展和演化，形成一套具有互联网特色的互联网技术，互联网技术以拆分为原则来满足服务于海量 用户的需求，从架构上来讲，分布式、服务化( SOA )、 微服务得到了深入发展，以拆分和服务化为基础，将海量用户产生的大规模的访问流量进行分解，采 阅读全文

摘要： SpringBoot的最大好处就是实现了大部分的自动配置，使得开发者可以更多的关注于业务开发，避免繁琐的业务开发，但是SpringBoot如此好用的 自动注解过程着实让人忍不住的去了解一番，因为本文的注解解析过程会持续更新本部分，所以首先从简单的自动配置原理过程进行描述，后边在 学习完注解驱动开发后 阅读全文