摘要：
今天学习训练本地大模型。 阅读全文
posted @ 2025-02-24 08:46
欧吼吼
阅读(9)
评论(0)
推荐(0)
摘要：
11）head命令：取出前面几行 （1）查看当前用户主文件夹下.bashrc文件内容前20行 （2）查看当前用户主文件夹下.bashrc文件内容，后面50行不显示，只显示前面几行 12）tail命令：取出后面几行 （1）查看当前用户主文件夹下.bashrc文件内容最后20行 （2）查看当前用户主文件 阅读全文
posted @ 2025-02-21 16:47
欧吼吼
阅读(28)
评论(0)
推荐(0)
摘要：
列传统并行计算框架，说法错误的是哪一项？ A. 刀片服务器、高速网、SAN，价格贵，扩展性差上 B. 共享式(共享内存/共享存储)，容错性好 C. 编程难度高 D. 实时、细粒度计算、计算密集型 我的答案: B:共享式(共享内存/共享存储)，容错性好;正确答案: B:共享式(共享内存/共享存储)，容 阅读全文
posted @ 2025-02-21 16:46
欧吼吼
阅读(9)
评论(0)
推荐(0)
摘要：
今天进行了一个测验，对日志文件进行数据清洗，通过hive数据库进行统计，然后再将数据导入到mysql数据库中进行图形化界面展示。在这之中遇到了一些问题，解决的了一些，还有一些没有解决。 阅读全文
posted @ 2025-02-19 21:39
欧吼吼
阅读(9)
评论(0)
推荐(0)
摘要：
实验流程 超参数调优 使用 CrossValidator 进行超参数调优，确定最优的主成分数量（PCA 维数）和分类器参数。 通过交叉验证，选择最优的模型参数组合，优化模型的性能。 模型优化与验证 根据超参数调优的结果，重新训练分类模型。 使用测试集验证优化后的模型性能，确保模型的准确性和稳定性。 阅读全文
posted @ 2025-02-16 17:42
欧吼吼
阅读(7)
评论(0)
推荐(0)
摘要：
实验流程 训练分类模型 在主成分分析的基础上，选择逻辑斯蒂回归模型进行训练。 将数据集分为训练集和测试集，使用训练集训练模型。 使用测试集验证模型的性能，计算准确率、精确率、召回率等指标。 模型评估 评估逻辑斯蒂回归模型的性能，分析其在测试集上的表现。 根据评估结果，调整模型参数，优化模型性能。 实 阅读全文
posted @ 2025-02-16 17:42
欧吼吼
阅读(9)
评论(0)
推荐(0)
摘要：
实验流程 进行主成分分析（PCA） 选择数据集中的 6 个连续型数值变量进行主成分分析。 使用 Spark MLlib 的 PCA 算法，通过 setK() 方法将主成分数量设置为 3。 将连续型特征向量转换为 3 维的主成分，并查看转换后的数据。 验证 PCA 结果 查看转换后的主成分数据，确保降 阅读全文
posted @ 2025-02-16 17:41
欧吼吼
阅读(5)
评论(0)
推荐(0)
摘要：
实验流程 实验环境准备 确保 Spark 2.1.0 已正确安装在 Ubuntu 16.04 系统中。 下载 Adult 数据集，并上传到 HDFS 或本地文件系统中。 数据导入 编写 Scala 程序，从文件中导入 Adult 数据集，并将其转换为 DataFrame。 查看数据集的基本信息，包括 阅读全文
posted @ 2025-02-16 17:41
欧吼吼
阅读(5)
评论(0)
推荐(0)
摘要：
实验流程 测试 Flume 与 Spark Streaming 集成 在 Telnet 终端中输入多条消息，验证 Spark Streaming 应用程序是否能够实时处理这些消息。 例如，输入“Hello Spark”和“Hello Flume”，验证 Spark Streaming 是否能够正确统 阅读全文
posted @ 2025-02-16 17:41
欧吼吼
阅读(8)
评论(0)
推荐(0)
摘要：
实验流程 编写独立应用程序实现求平均值问题 创建 Scala 项目，配置 sbt 构建工具。 编写 Spark 独立应用程序，读取多个输入文件（Algorithm、Database、Python 成绩），创建 RDD。 使用 map 操作将每行数据转换为 (学生姓名, 成绩) 的键值对。 使用 re 阅读全文
posted @ 2025-02-16 17:41
欧吼吼
阅读(9)
评论(0)
推荐(0)
浙公网安备 33010602011771号