02 2020 档案

2
摘要：1 软件质量的有关概念 软件质量是“软件产品具有满足规定的或隐含要求能力要求有关的特征与特征总和”。根据软件质量国家标准GB-T8566--2001G，软件质量评估通常从对软件质量框架的分析开始。 1.1 软件质量框架模型 如图1所示，软件质量框架是一个“质量特征—质量子特征—度量因子”的三层结构模 阅读全文
posted @ 2020-02-29 23:03 20173667
1
摘要：1. 功能性：软件所实现的功能满足用户需求的程度．功能性反映了所开发的软件满足用户称述的或蕴涵的需求的程度，即用户要求的功能是否全部实现了。 2. 可靠性：在规定的时间和条件下，软件所能维持其性能水平的程度。可靠性对某些软件是重要的质量要求，它除了反映软件满足用户需求正常运行的程度，且反映了在故障发 阅读全文
posted @ 2020-02-23 23:02 20173667
软件架构师
摘要：最近开始学习如何成为一名合格的架构师。首先参照别人的观点，在结合自己的实际经验，写出自己对如何成为一名架构师的理解，希望大家热心于与援手，能够指点一二。 沟通能力和自我表达 我认为沟通能力是基本中的基本，最为重要，最为普遍的素质。技术人员好像容易忽略，想成为架构师就不能忽略。因为架构师要做的第一件事 阅读全文
posted @ 2020-02-19 13:45 20173667 阅读(140) 评论(0) 推荐(0)
5
摘要：五、开发JavaWeb+ECharts完成信件数据图表展示过程 大ECharts简介 ECharts，纯Javascript图表库，基于Canvas，底层依赖ZRender，商业产品常用图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。创新的拖拽重计算、数据视图、值域漫游等特性大大增强了 阅读全文
posted @ 2020-02-15 21:38 20173667 阅读(261) 评论(0) 推荐(0)
4
摘要：四、利用Sqoop导出Hive分析数据到MySQL库 Sqoop概述 Sqoop是一款开源的工具，主要用于在Hadoop生态系统（Hadoop、Hive等)与传统的数据库(MySQL、Oracle等)间进行数据的传递，可以将一个关系型数据库中的数据导入到Hadoop的HDFS中，也可以将HDFS的数 阅读全文
posted @ 2020-02-14 19:35 20173667 阅读(373) 评论(0) 推荐(0)
3.2
摘要：初始化操作 1.首先，使用jps查看hadoop相关进程是否已经启动 jps 若未启动，则启动hadoop： cd /apps/hadoop/sbin ./start-all.sh 再次输入JPS查看进程： jps 2.启动MySQL服务(数据库密码为：zhangyu) sudo service m 阅读全文
posted @ 2020-02-13 20:51 20173667 阅读(270) 评论(0) 推荐(0)
3.1
摘要：基础概述 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十 阅读全文
posted @ 2020-02-12 21:31 20173667 阅读(225) 评论(0) 推荐(0)
2
摘要：二、编写MapReduce程序清洗信件内容数据 数据清洗概述 数据清洗是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。 数据清洗从名字上也看的出就是把“脏”的“洗掉”，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等 阅读全文
posted @ 2020-02-11 23:28 20173667 阅读(293) 评论(0) 推荐(0)
爬虫2
摘要：什么是爬虫 网络爬虫，也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。 网络搜索引擎等站点通过爬虫软件更新自身的网站内容或其对其他网站的索引。网络爬虫可以将自己所访问的页面保存下来，以便搜索引擎事后生成索引供用户搜索。 爬虫访问网站的过程会消耗目标系统资 阅读全文
posted @ 2020-02-10 22:37 20173667 阅读(569) 评论(0) 推荐(0)
RDD
摘要：弹性分布式数据集（RDD，Resilient Distributed Datasets），它具备像MapReduce等数据流模型的容错特性，并且允许开发人员在大型集群上执行基于内存的计算。现有的数据流系统对两种应用的处理并不高效：一是迭代式算法，这在图应用和机器学习领域很常见；二是交互式数据挖掘工具 阅读全文
posted @ 2020-02-09 22:55 20173667 阅读(346) 评论(0) 推荐(0)
scala
摘要：Scala是一种纯面向对象的语言，每个值都是对象。对象的数据类型以及行为由类和特质描述。 类抽象机制的扩展有两种途径：一种途径是子类继承，另一种途径是灵活的混入机制。这两种途径能避免多重继承的种种问题。 函数式编程 Scala也是一种函数式语言，其函数也能当成值来使用。Scala提供了轻量级的语法用 阅读全文
posted @ 2020-02-08 23:03 20173667 阅读(127) 评论(0) 推荐(0)
爬虫
摘要：什么是爬虫 网络爬虫，也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。 网络搜索引擎等站点通过爬虫软件更新自身的网站内容或其对其他网站的索引。网络爬虫可以将自己所访问的页面保存下来，以便搜索引擎事后生成索引供用户搜索。 爬虫访问网站的过程会消耗目标系统资 阅读全文
posted @ 2020-02-07 22:21 20173667 阅读(162) 评论(0) 推荐(0)
Spark5
摘要：暂定 阅读全文
posted @ 2020-02-06 21:45 20173667 阅读(111) 评论(0) 推荐(0)
Spark4
摘要：维修中 阅读全文
posted @ 2020-02-05 20:20 20173667 阅读(118) 评论(0) 推荐(0)
Spark3
摘要：电脑损坏等待配件中 阅读全文
posted @ 2020-02-04 21:19 20173667 阅读(92) 评论(0) 推荐(0)
linux基础
摘要：(1)、CD命令 cd /usr/local/hadoop 移动到绝对路径为 "/usr/local/hadoop"的目录下 cd ./data 移动到相对路径为 "./data"的目录下（后面也可以是 data） cd ./../data 先返回上一级（..），再进入返回到的这一级的 data 目 阅读全文
posted @ 2020-02-03 19:52 20173667 阅读(93) 评论(0) 推荐(0)
spark3
摘要：Q：Spark和Hadoop的架构区别 A：Hadoop:MapRedcue由Map和Reduce两个阶段，并通过shuffle将两个阶段连接起来的。但是套用MapReduce模型解决问题，不得不将问题分解为若干个有依赖关系的子问题，每个子问题对应一个MapReduce作业，最终所有这些作业形成一个 阅读全文
posted @ 2020-02-02 22:52 20173667
实验 1 Linux 系统的安装和常用命令
摘要：1、连接FTP服务器 格式：ftp hostname或ip-address a) 在linux命令行下输入架设服务器的机器IP或者主机名：ftp 10.60.48.195 b) 服务器询问你用户名和密码，分别输入以后，待认证通过即可。注意：输入密码时，终端中不显示输入，始终一片空白，所以只要你确定输 阅读全文
posted @ 2020-02-01 22:52 20173667 阅读(236) 评论(0) 推荐(0)
spark2
摘要：分布式数据集 编辑 Spark围绕的核心概念，是弹性分布式数据集（RDD），一个有容错机制，可以被并行操作的集合。目前有两种类型的RDD： 并行集合(Parrallelized Collections)，接收一个已经存在的Scala集合，在它上面运行各种并发计算； Hadoop数据集（Hadoop 阅读全文
posted @ 2020-02-01 22:44 20173667 阅读(127) 评论(0) 推荐(0)