09 2021 档案

Hadoop和HDFS基础练习
摘要：Hadoop和HDFS基础测试： 测试题目1： Hadoop操作 使用hadoop用户登录Linux系统，启动Hadoop（Hadoop的安装目录为“/usr/local/hadoop”），为hadoop用户在HDFS中创建用户目录“/user/hadoop” 接着在HDFS的目录“/user/ha 阅读全文
posted @ 2021-09-30 20:55 哦心有 阅读(367) 评论(0) 推荐(0)
每日学习
摘要：今天学习MapReduce 核心思想： （1）分布式的运算程序往往需要分成至少 2 个阶段。 （2）第一个阶段的 MapTask 并发实例，完全并行运行，互不相干。 （3）第二个阶段的 ReduceTask 并发实例互不相干，但是他们的数据依赖于上一个阶段 的所有 MapTask 并发实例的输出。 阅读全文
posted @ 2021-09-29 18:36 哦心有 阅读(43) 评论(0) 推荐(0)
每日学习
摘要：今天学习MapReduce的一些基础 .1 MapReduce 定义 MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析 应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序，并发运行在一 阅读全文
posted @ 2021-09-28 18:42 哦心有 阅读(57) 评论(0) 推荐(0)
每日学习
摘要：今天学习hdfs DataNode 节点保证数据完整性的方法。 （1）当 DataNode 读取 Block 的时候，它会计算 CheckSum。 （2）如果计算后的 CheckSum，与 Block 创建时值不一样，说明 Block 已经损坏。 （3）Client 读取其他 DataNode 上的 阅读全文
posted @ 2021-09-27 18:40 哦心有 阅读(46) 评论(0) 推荐(0)
每日学习
摘要：今天熟悉HBASE使用 使用hbaseapi 代码： package test; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase 阅读全文
posted @ 2021-09-23 11:16 哦心有 阅读(39) 评论(0) 推荐(0)
每日学习
摘要：今天进行HDFSAPI操作文件 代码： package com.zhao.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.junit.After; import 阅读全文
posted @ 2021-09-22 11:11 哦心有 阅读(18) 评论(0) 推荐(0)
每日学习
摘要：今天学习HDFS [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH 阅读全文
posted @ 2021-09-21 11:07 哦心有 阅读(17) 评论(0) 推荐(0)
每日学习
摘要：今天学习HDFS 1）NameNode（nn）：就是Master，它 是一个主管、管理者。 （1）管理HDFS的名称空间； （2）配置副本策略； （3）管理数据块（Block）映射信息； （4）处理客户端读写请求。 2）DataNode：就是Slave。NameNode 下达命令，DataNode执 阅读全文
posted @ 2021-09-20 11:04 哦心有 阅读(81) 评论(0) 推荐(0)
idea使用Tomcat打印日志乱码问题
摘要：解决方法： 1.首先在Tomcat目录下找到conf->logging.properties 进入编辑，改为java.util.logging.ConsoleHandler.encoding = UTF-8 2. Vm options改为：-Dfile.encoding=UTF-8 3. 打开set 阅读全文
posted @ 2021-09-17 09:34 哦心有 阅读(321) 评论(0) 推荐(0)
每日学习（hdfs和算法练习）
摘要：今天将hdfs的api相关操作学习了，注意使用时需要导包，并且需要打开Hadoop集群。使用maven空项目开始构建即可，注意一点maven最好用自己下载的，maven的下载配置 在之前的博客中可以找到。对于本人来说，之前使用自带的maven运行失败了，所以自己下载maven配置，之后使用就可以运行 阅读全文
posted @ 2021-09-16 21:11 哦心有 阅读(54) 评论(0) 推荐(0)
每日学习
摘要：今天尝试使用HDFSapi； 需要导入依赖 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.1.3</version> 阅读全文
posted @ 2021-09-15 18:18 哦心有 阅读(29) 评论(0) 推荐(0)
每日学习（hdfs学习和算法练习）
摘要：今天学习了HDFS，学习了HDFS的读写流程，学会了节点距离计算，对机架感知也有了一些了解。 写流程： 读流程： 节点距离计算： 两个节点到达最近的共同祖先的距离总和。 学习了nn和2nn的机制。 了解内存、fsimage和edits的关系。 操作都会放在edits中，每次关机时间内或2nn的定时时 阅读全文
posted @ 2021-09-14 20:10 哦心有 阅读(35) 评论(0) 推荐(0)
每日学习
摘要：今天了解大数据生态技术： 1）Sqoop：Sqoop 是一款开源的工具，主要用于在 Hadoop、Hive 与传统的数据库（MySQL） 间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL，Oracle 等）中的数据导进 到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到 阅读全文
posted @ 2021-09-13 16:41 哦心有 阅读(31) 评论(0) 推荐(0)
虚拟机数据损坏无法正常启动修复问题
摘要：最近遇到一个虚拟机的问题，这里记录一下 运行的三台虚拟机在电脑关闭时未挂起， 有两个虚拟机重启就可以解决问题，还有一台虚拟机数据出现损坏，无法正常启动，需要进行修复 虚拟机版本：centos7 此类问题解决方法 1. ls查看当前目录， 使用ls -l dev/mapper查看那个是XXX-root 阅读全文
posted @ 2021-09-10 23:12 哦心有 阅读(566) 评论(0) 推荐(0)
每日学习（算法练习和HDFS）
摘要：今天学习了HDFS的一些基本理论知识： HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目 录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务 器有各自的角色。 HDFS 的使用场景：适合一次写入，多次读出的 阅读全文
posted @ 2021-09-08 17:10 哦心有 阅读(45) 评论(0) 推荐(0)