随笔分类 - 每日日报（大三）
无
摘要：一、今日学习内容 打开hive，需要打开hdfs 和 yarn，相关命令： cd /kkb/install/hive hive --service metastore bin/hive --service hiveserver2 bin/beeline -u jdbc:hive2://node01:
阅读全文
摘要：一、今日学习内容 sqoop是一款用于hadoop和关系型数据库之间数据导入导出的工具。你可以通过sqoop把数据从数据库（比如mysql,oracle）导入到hdfs中；也可以把数据从hdfs中导出到关系型数据库中。sqoop通过Hadoop的MapReduce导入导出，因此提供了很高的并行性能以
阅读全文
摘要：一、今日学习内容 关于Hive安装问题 学习视频：尚硅谷大数据教程 在这里记录一下安装过程中遇到的一些错误，主要问题集中在 hive-site.xml 文件中 1、Hive启动报错 com.ctc.wstx.exc.WstxParsingException: Illegal character en
阅读全文
摘要：一、今日学习内容 今天完成了maven的配置以及在IDE中创建Maven项目 一、maven是什么 简单来说可以这样理解maven项目，就是在java项目和web项目上裹了一层maven，本质上java项目还是java项目，web项目还是web项目，但是包裹了maven之后，就可以使用maven提供
阅读全文
摘要：一、今日学习内容 使用抽象工厂模式，完成下述产品等级结构： 1、类图 2、源代码 2.1 Man.java package test4; /* * 抽象产品类Man */ public interface Man { public void makeM(); } 2.2 WhiteMan.java
阅读全文
摘要：一、今日学习内容 1. 一、什么是元数据 又称中介数据、中继数据，为描述数据的数据，主要是描述数据属性的信息，用来自持如只是存储位置、历史数据、资源查找、文件记录等功能。 二、Hive Metadata Hive Metadata即Hive的元数据。 包含用Hive创建的database、table
阅读全文
摘要：一、今日学习内容 Hive和MySQL对比 1、Hive虽然有RDBMS数据库的外表，包括数据模型、SQL语法都十分相似，但应用场景却完全不同。 2、Hive只适合用来做海量数据的离线分析。Hive的定位是数据仓库，面向分析的OLAP系统。 3、Hive不是大型数据库，也不是要取代MySQL承担业务
阅读全文
摘要：一、今日学习内容 阅读笔记 继续阅读了《人月神话》这本书，越往后读越吸引我，其中的许多内容都让我有深深的思考，对于软件工程的相关内容也有了更深的感悟。在阅读之前觉得团队制定任务表没有那么重要，所以导致好多任务完成不及时，到最后匆匆忙忙，觉得很赶。 要保证一个项目的进度被大幅度推迟，制订进度表很重要。
阅读全文
摘要：一、今日学习内容 目前常用的加密算法有DES（Data Encryption Standard）和IDEA（International Data Encryption Algorithm）国际数据加密算法等，请用工厂方法实现加密算法系统。 1、类图 2、源代码 2.1 结构目录 2.2 所需jar包
阅读全文
摘要：一、今日学习内容 一、Hive简介 hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。 hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduc
阅读全文
摘要：一、今日学习内容 1、类图 2、源程序代码 #include<iostream> #include<vector> using namespace std; typedef enum PersonTypeTag { M, W, R }PersonType; class Person { public
阅读全文
摘要：一、今日学习内容 今天主要完成了软件设计实验一中的编程问题 [实验任务二]：单一职责原则 登录模块在实际项目开发中很常见，请按照教材28页利用单一职责原则重构后的类图实现这一模块。 1、新建 java project 2、导入jar包 mysql-connector-java-8.0.22.jar
阅读全文
摘要：一、今日学习内容 1 开闭原则：一个软件实体如类，模块和函数应该对扩展开放，修改关闭! 背景:一般情况下，在系统相对稳定的时候，一个Dao类都是通过实现一个抽象接口来完成一个Dao类，但是当我们对于某个Dao类的实现并不满足。我们需要在原来的Dao基础上新增方法或者模块。对于专属专用的接口自然比较容
阅读全文
摘要：一、今日学习内容 一、hadoop入门环境准备 1.教程视频参考：【大数据开发入门】开课吧Hadoop从0到精通详解教程，2021年最新全套_哔哩哔哩_bilibili 2.相关资料： 3.VMware版本信息：VMware workstation pro提示：一定一定要按照视频操作来，无脑操作，保
阅读全文
摘要：一、今日学习内容 阅读笔记 这周开始阅读了《人月神话》，阅读这本书的第一感受就是感觉这本书不像是一种和学习相关的书，更像是用很多形象的比喻，阐述项目管理当中的一些问题，让读者能够很轻松，明白的去阅读。 很多人认为，当任务在规定期限内还完成不了的时候，适当的加一些人员进去，可以加快任务的进度，从而能够
阅读全文
摘要：一、今日学习内容 今天进行Hadoop集群的安装配置，做好环境准备工作，并学习了hbase的安装与配置。 二、遇到的问题 对于要安装的内容不熟悉
阅读全文
摘要：一、今日学习内容 今天是这个学习第一次软件需求案例分析的课，在课上，老师让我们看了《梦想改造家》这个节目，这个节目是一名设计师对房屋进行改造，让房屋在有限的条件内变得更温馨、更舒适。 根据观看的视频内容，回答下列问题： 1、 视频中的建筑设计师的名称叫什么？（1分） 2、 你认为客户遇到的问题是什么
阅读全文
摘要：MapReduce - 读取数据 通过InputFormat决定读取的数据的类型，然后拆分成一个个InputSplit，每个InputSplit对应一个Map处理，RecordReader读取InputSplit的内容给Map InputFormat 决定读取数据的格式，可以是文件或数据库等 功能
阅读全文
摘要：一、今日学习内容 问题描述：连接后像192.168.111.140那样的红色图标 原因：没有开启对应的虚拟机 解决办法：打开对应的虚拟机
阅读全文