摘要：初始的DataFrame： from pyspark.sql.types import StructType, StructField schema = StructType([StructField("uuid",IntegerType(),True),StructField("test_123" 阅读全文

摘要：方法一：永久导入jar包 在zeppelin的环境配置文件 "zeppelin-env.sh" 中添加以下内容： export SPARK_SUBMIT_OPTIONS="--jars /moudle/zeppelin-0.9.0/plugins/mysql-connector-java-8.0.2 阅读全文

摘要：遇到问题： 启动zeppelin，登陆时遇到以下问题 查看zeppelin日志，看到以下错误信息： Failed to delete temp dir /opt/module/zeppelin/webapps 解决方案： 确保“webapps”文件夹的权限为755； “webapps”和子文件夹的所 阅读全文

摘要：Spark中的分类算法中总有分类阈值这个参数。 分类阈值用来调整预测的概率大小，算法会计算出每条预测数据属于哪个类别的概率p，将该条数据预测为p/t的最大值下表的类别（下标从0开始）。 类别标签有几个值，也就是几个类别，阈值需要有几个值。如果是二分类，则分类阈值就有两个值，如果是三分类，则分类阈值就 阅读全文

摘要：错误原因： Python3中有个内置模块叫ctypes，它是Python3的外部函数库模块，它提供兼容C语言的数据类型，并通过它调用Linux系统下的共享库(Shared library)，此模块需要使用CentOS7系统中外部函数库(Foreign function library)的开发链接库( 阅读全文