摘要: HDFS 读写解析 HDFS 读数据流程 客户端通过 FileSystem 向 NameNode 发起请求下载文件,NameNode 通过查询元数据找到文件所在的 DataNode 地址 挑选一台 DataNode(就近原则)服务器,发送读取数据请求 DataNode 开始传输数据给客户端 客户端以 阅读全文
posted @ 2022-08-08 13:35 女友在高考 阅读(235) 评论(5) 推荐(1) 编辑
摘要: HDFS简介 HDFS(全称:Hadoop Distribute File System)分布式文件系统,是Hadoop核心组成。 HDFS中的重要概念 分块存储 HDFS中的文件在物理上是分块存储的,块的大小可以通过配置参数来规定;Hadoop2.x版本默认的block大小是128M 命名空间 H 阅读全文
posted @ 2022-08-06 09:47 女友在高考 阅读(177) 评论(0) 推荐(0) 编辑
摘要: Apache Hadoop 分布式集群搭建 基础环境准备 三台 linux 节点,操作系统(Centos7) 关闭防火墙 systemctl stop firewalld 开机时禁用防火墙 systemctl disable firewalld 修改主机名 vi /etc/hosts 192.168 阅读全文
posted @ 2022-08-02 20:56 女友在高考 阅读(224) 评论(0) 推荐(0) 编辑
摘要: 软件准备 VirtualBox 6.1.26 centOS镜像 接下来我们就开始进行安装: 创建虚拟机 新建虚拟机 点击下一步,调整内存大小 内存大小根据需要调整,然后点击下一步 3. 虚拟硬盘设置 保持默认即可 4. 虚拟硬盘文件类型 保持默认即可 5. 下一步,选择动态分配即可 下一步,调整文件 阅读全文
posted @ 2022-07-30 17:21 女友在高考 阅读(78) 评论(0) 推荐(1) 编辑
摘要: Hadoop 简介 什么是 Hadoop Hadoop 是一个适合大数据的分布式存储和计算平台。 狭义上来说 Hadoop 就是一个框架平台,广义上讲 Hadoop 代表大数据的一个技术生态圈,包括很多其他软件框架。 Hadoop 生态圈技术栈: | Hadoop 技术栈 | | | | Hadoo 阅读全文
posted @ 2022-07-30 08:32 女友在高考 阅读(54) 评论(0) 推荐(0) 编辑
摘要: CQL函数 1. 字符串函数 功能 | 描述 | UPPER | 将所有字母改为大写 LOWER | 将所有字母改为小写 SUBSTRING | 将获取指定范围的子字符串 REPLACE | 替换一个字符串的子字符串 match (p:Person) return ID(p),LOWER(p.cha 阅读全文
posted @ 2022-07-23 21:38 女友在高考 阅读(39) 评论(0) 推荐(0) 编辑
摘要: Neo4j基础 在学习Neo4j之前,我们先了解下什么是图数据库。 图数据库 图形数据库存储节点和关系而不是表或文档。数据的存储就像您在白板上勾画想法一样。您的数据在存储时不限于预定义的模型,允许以非常灵活的方式思考和使用它。 为什么需要图数据库? 我们生活在一个互联的世界中,理解大多数领域需要处理 阅读全文
posted @ 2022-07-21 13:48 女友在高考 阅读(24) 评论(0) 推荐(0) 编辑
摘要: MongoDB应用实战 MongoDB的适用场景 网站数据:Mongo非常适合实时的插入、更新和查询,并具备网站实时数据存储所需的复制及高度伸缩性 缓存:由于性能很高,Mongo也适合作为信息基础设施的缓存层。在系统重启之后,由Mongo搭建的持久化缓存层可以避免下层的数据源过载 大尺寸、低价值的数 阅读全文
posted @ 2022-07-17 10:04 女友在高考 阅读(25) 评论(0) 推荐(0) 编辑
摘要: MongoDB慢查询 慢查询分析 开启内置的慢查询分析器 db.setProfilingLevel(n,m),n的取值可选0,1,2 0:表示不记录 1:表示记录慢速操作,如果值为1,m需要传慢查询的阈值,单位为ms 2:表示记录所有的读写操作 示例: db.setProfilingLevel(1, 阅读全文
posted @ 2022-07-16 09:33 女友在高考 阅读(202) 评论(0) 推荐(0) 编辑
摘要: MongoDB简介 MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。 MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。它支持的数据结构非常松散,是类似json的bson格 阅读全文
posted @ 2022-07-12 21:17 女友在高考 阅读(105) 评论(0) 推荐(0) 编辑