09 2021 档案

极限测试---数据的导入，清洗，分析，导出，可视化（sale表）
摘要：今天做了极限测试，七个多小时的时间，做数据的导入，清洗，分析，导出，可视化。我做到了导出这一步，可视化还没做，计划明天找个时间把可视化的部分做了。 下面是极限测试的要求与我的操作步骤和流程： 要求： 1、数据导入： 要求将样表文件中的（sales_sample_20170310）数据导入 HIVE 阅读全文
posted @ 2021-09-30 22:46 潘福龙 阅读(247) 评论(0) 推荐(0)
hive安装
摘要：今天安装了hive数据库，参考的尚硅谷的安装方法，便捷高效，安装过程如下 Hive 官网地址：http://hive.apache.org/ 下载地址：http://archive.apache.org/dist/hive/ 安装 Hive1）把 apache-hive-3.1.2-bin.tar. 阅读全文
posted @ 2021-09-28 18:37 潘福龙 阅读(405) 评论(0) 推荐(0)
Hadoop Map/Reduce教程
摘要：今天学习了Hadoop Map/Reduce教程： 目的 这篇教程从用户的角度出发，全面地介绍了Hadoop Map/Reduce框架的各个方面。 先决条件 请先确认Hadoop被正确安装、配置和正常运行中。更多信息见： Hadoop快速入门对初次使用者。 Hadoop集群搭建对大规模分布式集群。 阅读全文
posted @ 2021-09-25 20:06 潘福龙 阅读(288) 评论(0) 推荐(0)
公文流转运行
摘要：今天学习公文流转的相关知识并成功运行起河北金立公文流转系统，程序中还有部分报错，但是大体上是可以运行的。而且系统做的也是比较粗糙 公文流转系统我还要多加联系才可以做到熟练，计划在接下来的一周的时间里都用来了解学习公文流转的知识。 运行截图; 阅读全文
posted @ 2021-09-23 00:21 潘福龙 阅读(36) 评论(0) 推荐(0)
公文流转系统
摘要：今天学习了公文流转系统的大概思路，也在网上搜了几个公文流转的教程，还试着做了做公文流转的系统，花了大概四个小时，中秋过得很充实。 阅读全文
posted @ 2021-09-22 00:16 潘福龙 阅读(57) 评论(0) 推荐(0)
hbase基本概念
摘要：今天学习了habse的基本概念： HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBas 阅读全文
posted @ 2021-09-20 21:32 潘福龙 阅读(108) 评论(0) 推荐(0)
hadoop集群崩了，用了一天才重新弄好。
摘要：今天弄虚拟机的时候发现打开Hadoop集群的那个sbin/start-dfs.sh命令不好使了，报了一堆错，是这样的 Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password) 咋打也打不开，网页搜索http://hadoo 阅读全文
posted @ 2021-09-19 23:51 潘福龙 阅读(194) 评论(0) 推荐(0)
hdfs的权限
摘要：今天学习了hdfs的权限： 下面我来介绍一下hdfs的权限： 概述 Hadoop分布式文件系统实现了一个和POSIX系统类似的文件和目录的权限模型。每个文件和目录有一个所有者（owner）和一个组（group）。文件或目录对其所有者、同组的其他用户以及所有其他用户分别有着不同的权限。对文件而言，当读 阅读全文
posted @ 2021-09-18 21:24 潘福龙 阅读(447) 评论(0) 推荐(0)
掌握需求过程阅读笔记3
摘要：这段时间阅读了掌握需求过程的五六章，下面是总结： 5.命名标准和定义 [定义项目中使用到的所有术语，包括同义词。这里的内容就是一个字典，包括在需求规格说明书中使用的所有名称的含义。这个字典应该使用你的组织或行业使用的标准名称。这些名称也应该反映出在工作领域中当前使用的术语。该字典包括项目中用到的所有 阅读全文
posted @ 2021-09-17 11:26 潘福龙 阅读(53) 评论(0) 推荐(0)
掌握需求过程阅读笔记2
摘要：这段时间阅读了掌握需求过程的三四章 下面是总结： 3.产品的用户 3.1 产品的用户 [产品的潜在用户或操作员的列表。针对每种类型的用户，提供以下信息：] 1） 用户分类 2） 用户工作的任务； 3） 主要相关的经验； 4） 技术经验； 5） 其他用户特征：包括身体、智力、工作态度、对技术的态度、教 阅读全文
posted @ 2021-09-15 20:30 潘福龙 阅读(40) 评论(0) 推荐(0)
hdfs的使用
摘要：今天学习了hdfs的使用，下面介绍我学习的如何使用hdfs: 目的 本文档的目标是为Hadoop分布式文件系统（HDFS）的用户提供一个学习的起点，这里的HDFS既可以作为Hadoop集群的一部分，也可以作为一个独立的分布式文件系统。虽然HDFS在很多环境下被设计成是可正确工作的，但是了解HDFS的 阅读全文
posted @ 2021-09-14 23:14 潘福龙 阅读(196) 评论(0) 推荐(0)
掌握需求过程阅读笔记1
摘要：这段时间阅读了掌握需求过程这本书的前两章。 下面是对前两张的总结： 1.产品的目标 1.1 该项目工作的用户问题或背景 [对引发开发任务的工作和情况的描述。同时也应描述用户希望用将要交付的软件来完成的工作。] [该节内容为该项目提供了合法的理由，你应该考虑用户的问题是否严重，是否应该解决和为什么应该 阅读全文
posted @ 2021-09-13 22:35 潘福龙 阅读(37) 评论(0) 推荐(0)
需求工程阅读笔记3
摘要：今天学习了需求工程的第五六章，第五章是需求验证，第六章是需求管理。 5 需求验证 需求验证的目的是检验是否能够反映用户的意愿,需要对需求文档中定义的需求执行多种检查,评审团队应该检查需求的有效性,一致性和作为一个整体的完备性.包括系统定义的目标是否与用户的要求一致,系统需求分析阶段提供的文档资料是否 阅读全文
posted @ 2021-09-11 22:33 潘福龙 阅读(50) 评论(0) 推荐(0)
Hadoop安装配置
摘要：今天安装配置了一下hadoop, 在网上找的教程 尚硅谷的地址：https://www.bilibili.com/video/BV1Qp4y1n7EN?p=46 从18开始看到31就能安装好hadoop 我总结了一下步骤： 安装VMware; 安装虚拟机 在网上找Hadoop包，jdk包 卸载虚拟机 阅读全文
posted @ 2021-09-10 00:06 潘福龙 阅读(41) 评论(0) 推荐(0)
hdfs的文件操作（增删编写）
摘要：HDFS是一种文件系统，专为MapReduce这类框架下的大规模分布式数据处理而设计。你可以把一个大数据集（比如说100TB）在HDFS中存储为单个文件，而大多数其他的文件系统无力实现这一点。HDFS使你不必考虑这些细节，让你感觉就像在处理单个文件一样。 因为HDFS并不是一个天生的Unix文件系统 阅读全文
posted @ 2021-09-09 21:23 潘福龙 阅读(532) 评论(0) 推荐(0)
需求工程阅读笔记2
摘要：这段时间阅读了需求工程三四章的内容：第三章是需求分析，都包含了：原则、信息域、需求协商、需求建模。 第四章是需求规约，都包含了：信息描述、行为描述、功能描述、检验标准等。 需求分析 3.1 原则 必须能够表示和理解问题的信息域 必须能够定义软件将完成的功能 必须能够表示软件的行为 必须划分描述的数据 阅读全文
posted @ 2021-09-07 20:38 潘福龙 阅读(97) 评论(0) 推荐(0)
搭建hadoop集群
摘要：今天学习了Hadoop集群搭建的方法： 目的 本文描述了如何安装、配置和管理有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群。 如果你希望在单机上安装Hadoop玩玩，从这里能找到相关细节。 先决条件 确保在你集群中的每个节点上都安装了所有必需软件。 获取Hadoop软 阅读全文
posted @ 2021-09-05 22:04 潘福龙 阅读(78) 评论(0) 推荐(0)
hadoop入门
摘要：今天学习了Hadoop的入门知识，在Hadoop官网上学的，下面是内容分享： 目的 这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会，比如在HDFS上运行示例程序或简单作业等。 先决条件 支持平台 GNU/L 阅读全文
posted @ 2021-09-04 23:14 潘福龙 阅读(50) 评论(0) 推荐(0)
hadoop的hdfs
摘要：今天学习了Hadoop的hdfs的概念： Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是 阅读全文
posted @ 2021-09-03 20:24 潘福龙 阅读(137) 评论(0) 推荐(0)
需求工程阅读笔记1
摘要：今天，阅读了《需求工程》第一二章，通过阅读第一二章，知道了需求工程的定义：需求工程是指应用已证实有效的技术、方法进行需求分析，确定客户需求，帮助分析人员理解问题并定义目标系统的所有外部特征的一门学科。需求工程通过合适的工具和记号系统地描述待开发系统及其行为特征和相关约束，形成需求文档，并对用户不断变 阅读全文
posted @ 2021-09-02 21:41 潘福龙 阅读(57) 评论(0) 推荐(0)
hadoop的基本概念
摘要：今天学习了hadoop的基本概念： Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是 阅读全文
posted @ 2021-09-01 22:21 潘福龙 阅读(139) 评论(0) 推荐(0)