摘要： 最近做了几个模型，需要配置接口提供使用，这时候就用到了日志系统 首先创建一个 logs.py 文件,在文件中配置日志等级、保存路径、日志文件大小、日志输出格式 import os import logging from logging.handlers import RotatingFileHand 阅读全文

摘要： 经常需要对数据进行清洗，所以总结一些好用的命令 1、将参数转变为数字型数据（例如：字符串形式的‘123’，转变成数字型的123） pd.to_numeric(data,errors='ignore')errors有三个值：raise--无效解析引发异常（默认）corece--将无效解析设置为NANi 阅读全文

摘要： 最近工作重心放在了服务器的环境上，来记录一下这几天安装环境的步骤，由于之前对这块知识很少，所以被整的很头疼，不过最后环境安装成功了，模型也可以运行起来 一、miniconda 1、安装miniconda 首先在root/下创建一个文件，里面放各种安装包以及插件 #网上下载对应miniconda版本w 阅读全文

摘要： 最近在维护xgboost二分类算子，经过现场客户反馈的问题，模型在评估推理的时候，结果很不理想，实际测试确实模型预测全为1 一开始以为是数据不均匀导致的预测效果差，也尝试了分布均衡的数据以及网格搜索模型参数调参，结果还是同样的效果，问题没出现在这里 接着经过debug后，发现 模型在fit的时候，特 阅读全文

摘要： 最近测试平台算子，发现xgb算子出现bug：feature_names mismatch ValueError: feature_names mismatch: ['a1', 'a2', 'a3', 'a4'] ['f0', 'f1', 'f2', 'f3'] expected a1, a3, a2 阅读全文

摘要： 小叙：最近测试图像分类算子，发现出现了上述的错误，一开始以为数据格式出现了问题，比如图片通道不同导致的等等，到最后定位到了代码数据处理上 原因：keras激活层需要维度为2，但是只有一列内容 是因为这个算子在图像标签做独热编码处理的时候，直接调用第三方库LabelBinarizer，而二分类的标签经 阅读全文

摘要： 1、下载完spark，解压，我下载的是spark-2.4.1版本，在文件的 \spark-2.4.1-bin-hadoop2.7\python\lib 中有两个文件 这两个文件之后会用到 2、由于使用了pyspark时from pyspark import SparkContext，需要下载py4j 阅读全文

摘要： 首先需要下载一个git插件 https://git-scm.com/downloads 第1步：创建SSH Key 打开Git Bash，在控制台中输入以下命令: $ ssh-keygen -t rsa -C "youremail@example.com" 密钥类型可以用 -t 选项指定。如果没有指 阅读全文

摘要： #将项目中的所有安装包详细输出 pip freeze>requirements.txt #安装requirements.txt中的包 pip install -r requirements.txt conda 批量导出包含环境中所有组件的requirements.txt文件 conda list - 阅读全文

摘要： 1、项目导入之后设置maven依赖之后先将scala代码文件设为source 2、创建resources文件夹，将配置的资源文件放入这里 3、设置在本地运行代码：-Dspark.master=local，并设置其他参数 4、在跑模型之前先读取资源文件中的配置信息进行kerberos认证 def in 阅读全文