摘要： 今日安装了PySpark库以及学习了如何在Windows系统中通过SSH远程连接Linux系统使用Python语言来开发Spark程序 什么是PySpark 我们前面使用过bin/pyspark 程序, 要注意, 这个只是一个应用程序, 提供一个Python解释器执行环境来运行Spark任务我们现在 阅读全文

摘要： StandAlone HA的原理 基于Zookeeper做状态的维护，开启多个Master进程，一个作为活跃，其他的作为备份，当活跃进程宕机，备份Master进行接管。 Spark StandAlone HA 环境搭建 步骤 前提: 确保Zookeeper 和 HDFS 均已经启动 先在spark- 阅读全文

摘要： Spark的程序运行层次结构 4040：是一个运行的Application在运行过程中临时绑定的端口，用于查看当前任务的状态。4040被占用就会顺延到4041,4042等。 4040是一个临时端口，当前程序运行完成后，4040就会被注销。 8080：默认是StandAlone下，Master角色（进 阅读全文

摘要： Spark StandAlone环境部署 新角色 历史服务器 历史服务器不是Spark环境的必要组件, 是可选的. 回忆: 在YARN中 有一个历史服务器, 功能: 将YARN运行的程序的历史日志记录下来, 通过历史服务器方便用户查看程序运行的历史信息. Spark的历史服务器, 功能: 将Spar 阅读全文

摘要： UML图的作用： UML的目标是以面向对象图的方式来描述任何类型的系统，具有很宽的应用领域。其中最常用的是建立软件系统的模型，但它同样可以用于描述非软件领域的系统，如机械系统、企业机构或业务过程，以及处理复杂数据的信息系统、具有实时要求的工业系统或工业过程等。总之，UML是一个通用的标准建模语言，可 阅读全文

摘要： 主要业务流程：输入进货临时文件来产生进货单，通过对所到货物的核对则填入进货单关系并判断是否为新货，若为新货则在货单关系中登记，反之则修改货物关系中的现存量和库存价，若没有通过核对则产生错进货表提交至供应部门，供应部门提交进货单进行人工审查，无错则计入货栏量，有错打回。 阅读全文

摘要： 1.《软件需求十步走》 10月份写完 2.《需求工程》 11月份 3.《编写有效用例》 期末 阅读全文

摘要： 复习了MR细致知识，编写了wordcount案例并在本地机器上成功运行 阅读全文

摘要： 复习了暑假开始学习的大数据知识 阅读全文

摘要： 复习了上周学到的Python爬虫新知识，并学习使用了线程池来提高爬取效率，使用了学到的相关反爬小知识爬取到了新发地菜价 阅读全文