05 2021 档案

HBase
摘要：1. HBase 简介 1.1 什么是 HBase？ 1.2 概念 1.3 HBase 存储 1.4 HBase 架构 2. HBase 命令 1. HBase 简介 1.1 什么是 HBase？ HBase（Hadoop Database）是一个高可靠性、高性能、面向列的、可伸缩的分布式存储系统。 阅读全文
posted @ 2021-05-29 21:18 Juno3550 阅读(290) 评论(0) 推荐(0)
Sqoop
摘要：1. 概念 Sqoop 是一款开源的数据迁移工具，主要用于在 Hadoop（Hive）与传统数据库（Mysql、Oracle...）间进行数据的相互传递，可以将一个关系型数据库（MySQL、Oracle、Postgres 等）中的数据导入到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据 阅读全文
posted @ 2021-05-29 20:36 Juno3550 阅读(191) 评论(0) 推荐(0)
Hive
摘要：1. Hive 简介 1.1 什么是 Hive？ 1.2 Hive 系统架构 2. Hive 配置管理 2.1 Hive 安装配置 2.2 Mysql 配置 2.3 Hive 运行模式 2.4 Hive 启动方式 3. Hive 数据类型及表结构 3.1 数据类型 3.2 数据存储 3.3 数据库 阅读全文
posted @ 2021-05-29 15:53 Juno3550 阅读(301) 评论(0) 推荐(0)
Hadoop & Spark 介绍
摘要：1. Hadoop 简介 2. MapReduce 3. HDFS 4. 数据采集、存储、计算 5. RPC 6. 序列化 7. Spark 1. Hadoop 简介 目前主流的大数据框架 大数据框架能处理传统计算技术所无法处理的大型数据集。它不是单一的技术或工具，而是涉及的业务和技术的许多领域。 阅读全文
posted @ 2021-05-28 23:01 Juno3550 阅读(1543) 评论(0) 推荐(0)
“云计算、大数据、人工智能”简介与关系
摘要：云计算、大数据和人工智能，这三个东西已非常火，并且它们之间好像互相有关系：一般谈云计算的时候会提到大数据、谈人工智能的时候会提大数据、谈人工智能的时候会提云计算……感觉三者之间相辅相成又不可分割。 1. 云计算 1.1 云计算最初的目标 【1】管数据中心就像配电脑 【2】灵活就是想啥时要都有，想要多 阅读全文
posted @ 2021-05-28 14:35 Juno3550 阅读(1086) 评论(0) 推荐(0)
程序“三高”解决方案
摘要：0. 程序三高 1. 缓存 2. 预处理和延后处理 3. 池化 3.1 内存池 3.2 线程池 3.3 连接池 4. 异步（回调） 5. 消息队列 5.1 服务解耦 5.2 异步处理 5.3 流量削峰 6. 批量处理 7. 数据库 7.1 索引 7.2 读写分离 7.3 分库分表 8. 零拷贝 9. 阅读全文
posted @ 2021-05-27 17:24 Juno3550 阅读(1075) 评论(0) 推荐(2)
互联网系统架构演变
摘要：1. 程序三高 2. 传统架构 2.1 提高服务器性能（单机） 2.2 增加服务器数量（DNS 负载均衡） 2.3 负载均衡 Apache + JK Nginx Keepalived LVS 2.4 数据库解决方案 3. 云计算架构 4. 微服务架构 1. 程序三高 1）高并发 高并发（High C 阅读全文
posted @ 2021-05-27 00:15 Juno3550 阅读(1136) 评论(0) 推荐(5)
正则表达式、编辑器（vi、sed、awk）
摘要：1. vi 2. 正则表达式 3. sed 1）打印命令：p 2）删除命令：d 3）替换命令：s 4. awk 1）awk 基本用途 2）匹配打印 3）判断打印 4）数组 1. vi vi 是 Linux 中的标准文本编辑器。所有的 unix 和类 unix 都会提供 vi 编辑器。在 linux 阅读全文
posted @ 2021-05-25 10:46 Juno3550 阅读(1225) 评论(0) 推荐(0)
Linux 系统管理常用命令
摘要：1. 系统状况 1.1 用户管理 1.2 查看硬件 1）raid 基础 2）磁盘 3）内存 4）LOAD（CPU 负载） 5）CPU 1.3 ps：查看进程 1.4 查看网络 1.5 查看系统日志 1.6 查看系统信息 2. 系统安全 2.1 密码管理 2.2 权限管理 2.3 sudo：超级权限 阅读全文
posted @ 2021-05-24 16:21 Juno3550 阅读(792) 评论(0) 推荐(0)