wjhfree

摘要： 安装Spark3.0.0 网址：Index of /dist/spark/spark-3.0.0 (apache.org) 需要修改Spark的配置文件spark-env.sh cd /usr/local/spark cp ./conf/spark-env.sh.template ./conf/sp 阅读全文

摘要： 今天进行了大数据的课堂测试 测试要求： 1、数据清洗：按照进行数据清洗，并将清洗后的数据导入hive数据库中。 两阶段数据清洗： （1）第一阶段：把需要的信息从原始日志中提取出来 ip: 199.30.25.88 time: 10/Nov/2016:00:01:03 +0800 traffic: 6 阅读全文

摘要： 面向对象开发原则 23 种设计模式均围绕以下6 大原则展开，是判断代码设计优劣的核心标准： 开闭原则：对扩展开放，对修改关闭 单一职责原则：一个类只负责一个功能领域 里氏替换原则：子类可完全替换父类且不影响程序运行 依赖倒置原则：依赖抽象，而非具体实现 接口隔离原则：使用多个专用接口，而非单一总接口 阅读全文

摘要： 设计模式是软件开发中可复用的最佳实践方案，由 GoF（Gang of Four）在《设计模式：可复用面向对象软件的基础》中首次归纳为 23 种核心模式，按功能可分为创建型、结构型、行为型三大类。以下是这 23 种设计模式的核心知识点总结： 阅读全文

摘要： 阅读全文

摘要： 一、实验目的 深入理解随机森林的算法原理，进而理解集成学习的意义，能够使用 Python 语言实现 随机森林算法的训练与测试，并且使用五折交叉验证算法进行模型训练与评估。 二、实验内容 （1）从 scikit-learn 库中加载 iris 数据集，使用留出法留出 1/3 的样本作为测试集（注 意同 阅读全文

摘要： 贵族专制、民主政治和系统设计（Aristocracy, Democracy, and System Design） 本章节探讨了贵族专制和民主政治在系统设计中的比喻，特别是如何确保系统设计的概念完整性。作者使用大教堂的建筑与计算机系统设计之间的对比来阐述这一点。 大教堂的一致性与系统设计的类比： 文 阅读全文

摘要： 一、实验目的 深入理解K均值聚类算法的算法原理，进而理解无监督学习的意义，能够使用Python语言实现K均值聚类算法的训练与测试，并且使用五折交叉验证算法进行模型训练与评估。 二、实验内容 （1）从scikit-learm库中加载iris数据集或本地读取，进行数据分析，去除数据集中类别标签行； （2 阅读全文

摘要： 今天进行了课堂小测，是对一个小项目进行结构化分析建模，本以为软考通过后，对ER图、数据流图这些应该会比较熟悉，但是具体上手设计时却犯了难，毕竟考试是给出图让我们补充分析等，并没有从头开始分析自己设计，所以对于这次测试，让我意识到我还是掌握的不够好，下来再继续学习掌握吧。 然后就是代码实现部分，这部分 阅读全文

摘要： 首先先下载sqoop的压缩包，下载时最好是要跟自己的hadoop版本匹配，可查看后在下载具体哪个版本，官网如下：https://archive.apache.org/dist/sqoop/ 之后便是上传到虚拟机并解压 tar -zxvf sqoop-1.4.6.bin__hadoop-2.6.0.t 阅读全文