哥们要飞的blog

摘要： 给定一个字符串 s ，请你找出其中不含有重复字符的最长子串的长度。 注意：containsKey class Solution { public int lengthOfLongestSubstring(String s) { Map<Character, Integer> map = new Ha 阅读全文

摘要： 一、简介 1、定义 分布式、可扩展、支持海量数据存储的NoSQL数据库 2、数据模型 2.1逻辑结构 2.2物理存储结构 2.3数据模型介绍 Name Space：相当于数据库，包含很多张表 Region：类似于表，定义表时只需要声明列族，不需要声明具体的列。【字段可以动态、按需指定】 Row：每行 阅读全文

摘要： 运用你所掌握的数据结构，设计和实现一个 LRU (最近最少使用) 缓存机制 。实现 LRUCache 类： LRUCache(int capacity) 以正整数作为容量 capacity 初始化 LRU 缓存int get(int key) 如果关键字 key 存在于缓存中，则返回关键字的值，否则 阅读全文

摘要： 一、概述 1、定义 日志采集、聚合、传输的系统，基于流式结构 即：读取本地磁盘数据，写入HDFS或kafka 2、架构 Agent：JVM进程，以事件形式将数据送到目的地。 Agent由三部分组成：Source、Channel、Sink Source：接受各类日志格式的数据，如avro、thrift 阅读全文

摘要： 一、概念 1、介绍 基于Hadoop的数据仓库工具，将结构化数据映射为一张表，可以通过类SQL方式查询 本质：将HQL转换成MapReduce程序 Hive中具有HQL对应的MapReduce模板 存在：HDFS，分析的底层是MapReduce，程序运行在yarn上 2、优缺点 HQL快速开发、适用 阅读全文

摘要： 一、Zookeeper入门 1、概述 分布式服务管理框架（存储和管理数据） Zookeeper=文件系统+通知机制 2、特点 主从集群 半数以上，正常工作 请求顺序执行 数据更新具有原子性 3、数据结构 树形结构，每个节点被称为一个Znode 一个znode存储1MB数据 4、应用场景 统一命名服务 阅读全文

摘要： 给定一个不含重复数字的数组 nums ，返回其 所有可能的全排列 。你可以 按任意顺序 返回答案。 注意：List里面的list记得转型【父类引用指向子类对象】 class Solution { public List<List<Integer>> permute(int[] nums) { Lis 阅读全文

摘要： 一、数据压缩 1、概述 原则：IO密集而不是计算密集的job 压缩算法选择 2、压缩位置选择 通过参数进行配置 3、压缩实例： 数据流的压缩和解压缩 Map输出端采用压缩 Reduce输出端采用压缩 二、企业优化 1、概述 从六个方面考虑：数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问 阅读全文

摘要： 【某下标处进行了旋转】整数数组 nums 按升序排列，数组中的值 互不相同 。 在传递给函数之前，nums 在预先未知的某个下标 k（0 <= k < nums.length）上进行了 旋转，使数组变为 [nums[k], nums[k+1], ..., nums[n-1], nums[0], nu 阅读全文

摘要： 一、MapReduce概述 1、定义 编程框架，组成分布式运算程序，运行在集群上 2、特点 优点：易于编程、扩展性、容错性（内部完成）、海量数据离线处理 缺点：非实时、不擅长流式计算、不擅长DAG有向图计算 3、原理 编程思想：MapTask-->ReduceTask 三类进程：MrAppMaste 阅读全文