哦心有

摘要： 今天学习HDFS 1）NameNode（nn）：就是Master，它 是一个主管、管理者。 （1）管理HDFS的名称空间； （2）配置副本策略； （3）管理数据块（Block）映射信息； （4）处理客户端读写请求。 2）DataNode：就是Slave。NameNode 下达命令，DataNode执 阅读全文

摘要： 解决方法： 1.首先在Tomcat目录下找到conf->logging.properties 进入编辑，改为java.util.logging.ConsoleHandler.encoding = UTF-8 2. Vm options改为：-Dfile.encoding=UTF-8 3. 打开set 阅读全文

摘要： 今天将hdfs的api相关操作学习了，注意使用时需要导包，并且需要打开Hadoop集群。使用maven空项目开始构建即可，注意一点maven最好用自己下载的，maven的下载配置 在之前的博客中可以找到。对于本人来说，之前使用自带的maven运行失败了，所以自己下载maven配置，之后使用就可以运行 阅读全文

摘要： 今天尝试使用HDFSapi； 需要导入依赖 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.1.3</version> 阅读全文

摘要： 今天学习了HDFS，学习了HDFS的读写流程，学会了节点距离计算，对机架感知也有了一些了解。 写流程： 读流程： 节点距离计算： 两个节点到达最近的共同祖先的距离总和。 学习了nn和2nn的机制。 了解内存、fsimage和edits的关系。 操作都会放在edits中，每次关机时间内或2nn的定时时 阅读全文

摘要： 今天了解大数据生态技术： 1）Sqoop：Sqoop 是一款开源的工具，主要用于在 Hadoop、Hive 与传统的数据库（MySQL） 间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL，Oracle 等）中的数据导进 到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到 阅读全文

摘要： 最近遇到一个虚拟机的问题，这里记录一下 运行的三台虚拟机在电脑关闭时未挂起， 有两个虚拟机重启就可以解决问题，还有一台虚拟机数据出现损坏，无法正常启动，需要进行修复 虚拟机版本：centos7 此类问题解决方法 1. ls查看当前目录， 使用ls -l dev/mapper查看那个是XXX-root 阅读全文

摘要： 今天学习了HDFS的一些基本理论知识： HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目 录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务 器有各自的角色。 HDFS 的使用场景：适合一次写入，多次读出的 阅读全文

摘要： 本周完成了数据库系统综合训练，并学习了idea、layui。 代码时间：15h 解决问题：8h。 下周学习公文流转流程系统。 阅读全文

摘要： 最近学到一些前端知识，所以做了一个小系统（简单的增删改查，只是页面美化了一些）来练习。 先分享下做的过程遇到的坑：使用layui中layer时，如果使用弹出框。那么注意，按钮使用type="button"。不要使用submit。 具体怎么个问题，不深究，个人体会。使用submit会刷新页面，不管你有 阅读全文