atao-BigData

摘要： Hadoop2.7.6学习 二、分布式文件系统 1、FS File System ​ 文件系统时极域硬盘之上的文件管理的工具 ​ 我们用户操作文件系统可以和硬盘进行解耦 2、DFS Distributed File System ​ 分布式文件系统 ​ 将我们的数据存放在多台电脑上存储 ​ 分布式文 阅读全文

摘要： Hadoop2.7.6学习（一） Hadoop的发展史 Google ​ 爬取全球的网站，然后计算页面的PageRank ​ 要解决网站的问题： ​ a：这些网站怎么存放 ​ b：这些网站应该怎么计算 ​ 发布了三篇论文 ​ a：GFS(Google File System) ​ b：MapRedu 阅读全文

摘要： MySQL:题目总结 2022-05-22 am 1.先查询出每个用户第一次登陆时间（最小登陆时间）--每天新用户表 2.因为涉及到跨天活跃，所以要进行并集操作，将登录时间和登出时间取并集，这里union会去重--用户活跃表 3.将每天新用户表和用户活跃表左连接，只有是同一用户并且该用户第2天依旧登 阅读全文

摘要： hadoop文件切分思想 需求：统计文本文件中的各个班级的人数（一共多到数不清的人） 1500100129,容寄南,23,女,文科三班 1500100130,宁怀莲,21,女,理科四班 1500100131,胡昊明,22,男,文科六班 1500100132,曾安寒,22,女,文科五班 1500100 阅读全文

摘要： Shell高级进阶 算数符的分类 ​ 算数运算符 运算符 说明 举例 + 加法 'expr $a + $b' 为 30。 - 减法 'expr $a-$b'结果为-10。 * 乘法 'expr $a * $b' 结果为 200。 / 除法 'expr$b/$a'结果为2。 % 取余 'expr $b 阅读全文

摘要： Redis学习高级部分（三 收尾 架构相关） 1. Redis 主从复制 1.1 主从复制 主从复制架构仅仅用来解决数据的冗余备份,从节点仅仅用来同步数据 无法解决: 1.master节点出现故障的自动故障转移 1.2 主从复制架构图 1.3 搭建主从复制(做之前拍快照)(带同学们结合官网看redi 阅读全文

摘要： MySQL高级进阶 （1）MySQL的开窗函数 **ROW_NUMBER:**从 1 开始，按照顺序生成组内的记录编号； **RANK:**从 1 开始，按照顺序，相同会重复，名次会留下空的位置，生成组内的记录编号； **DENSE_RANK:**从 1 开始，按照顺序生成组内的记录编号，相同会重复 阅读全文

摘要： Redis学习（三 ） 1.SpringBoot整合Redis Spring Boot Data(数据) Redis 中提供了RedisTemplate和StringRedisTemplate，其中StringRedisTemplate是RedisTemplate的子类，两个方法基本一致，不同之处主 阅读全文

摘要： Redis学习（二） 1. 持久化机制 client redis[内存] > 内存数据- 数据持久化-->磁盘 Redis官方提供了两种不同的持久化方法来将内存的数据存储到硬盘里面分别是: 快照(Snapshot) AOF (Append Only File) 只追加日志文件 1.1 快照(Snap 阅读全文

摘要： Redis学习（一） 1. NoSQL的引言 NoSQL( Not Only SQL )，意即不仅仅是SQL, 泛指非关系型的数据库。Nosql这个技术门类,早期就有人提出,发展至2009年趋势越发高涨。 2. 为什么是NoSQL 随着互联网网站的兴起，传统的关系数据库在应付动态网站，特别是超大规模 阅读全文