ENVI深度学习4.0新特性

ENVI深度学习4.0版本包括以下新功能和改进功能：

• ONNX模型现已被用于所有分类工作流程
• ENVI深度学习已集成分析存储库
• 对象检测现在采用RT-DETRV2 架构
• 从COCO数据集构建对象检测栅格的新能力
• 新的优化数据预处理参数
• 与ENVI深度学习3.0模型的兼容性
• 性能改进
• 安装程序更新
• 新增与重命名工具
• 新增与重命名任务和对象

ONNX分类工作流程

本次ENVI深度学习版本引入了ONNX模型格式（Open Neural Network Exchange），现已应用于所有分类工作流程。ONNX是一种标准的AI模型格式，许多AI框架都支持，它使在不同框架（TensorFlow、PyTorch等）中训练的模型能够在ENVI深度学习中运行。

使用ONNX模型格式的好处包括：

• 可以在选择的框架中训练模型，训练好的模型可以在ENVI深度学习对象检测和像素分类工作流程中运行。
• 在ENVI深度学习4.0中训练的模型将被创建为ONNX模型。
• 与ENVI深度学习3.0相比，使用ONNX的分类任务总体运行速度会快2-4倍。
• 可以选择使用GPU或CPU进行处理（大多数情况下仍建议使用GPU处理，以获得更好的用户体验）。

有关ONNX模型格式的更多信息，请参阅ONNX官网。

与分析存储库的集成

此版本的ENVI深度学习与分析存储库集成，分析存储库是一个跨平台服务器，可自动管理跨多台机器的文件依赖。模型和其他文件可以发布到仓库并下载到其他机器，使你能够在组织内部创建和共享基于分析的内容。

更多信息请参见ENVI帮助，了解如何通过分析存储库发布和下载的详细信息。

用于对象检测的RT-DETRV2

对于对象检测，此版本用RT-DETR V2取代了Retinanet。RT-DETR V2在对象检测方面优于Retinanet，在相同训练量的情况下，处理速度快3-4倍。

这一变化影响了ENVI深度学习3.0版本中创建的所有对象检测模型。有关兼容性的信息，请参阅本主题中兼容性部分。

从COCO数据集构建对象检测栅格

ENVI深度学习现在支持从COCO（Common Objects in Context）文件构建对象检测栅格。该工具利用包含COCO格式注释的JSON数据集生成对象检测栅格。每个栅格对应于COCO输入注释中定义的标记感兴趣区域。

优化的数据预处理

新的数据预处理工作流程支持标准的深度学习栅格数据预处理方法，包括使用拉伸和RGB图像。

数据拉伸

ENVI深度学习将对数据应用自动视觉拉伸，就像打开图像时ENVI所做的拉伸。对于非字节数据，自动应用拉伸将显着提高图像的视觉对比度以及深度学习模型检测特征的能力。

你可以对图像应用额外的拉伸，以进一步增强显示效果并减少噪点。

可视化RGB栅格

你可以使用分类参数设置中添加的Visual RGB选项创建三波段输出栅格。它将从SAR、全色、MSI、CIR和模型数据集中生成RGB图像，允许你混合搭配传感器类型，从而得到泛化性更好的模型。

增强视觉显示

通过分类参数设置中新增的“增强显示”选项，你可以在创建新的深度学习栅格或处理图像时增强数据集的视觉显示。此选项可消除视觉噪音，提供更清晰、更生动的图像，使特征更易被发现。它对带有背景噪声的航拍传感器非常有用。

兼容性

由于本次版本的重大更改，在ENVI深度学习3.0中创建的模型将不兼容ENVI深度学习4.0。为了兼容3.0模型，你需要执行以下操作：

• 所有在3.0版本中训练的像素分类和网格模型都需要重新训练。
• 所有对象检测模型都需要重写以配合RT-DETR V2的加入。

所有名称中包含“TensorFlow”的ENVI深度学习3.0任务和工具均已重命名并使用新参数进行更新。

为了帮助模型迁移，ENVI 6.1和ENVI深度学习3.0可以与ENVI 6.2和ENVI深度学习4.0并行安装。

ENVITensorBoard程序允许更改TensorBoard的位置，以便你可以组织训练。

性能改进

• ENVI深度学习3.0的初始化需要30-45秒（取决于你的硬件）。在ENVI深度学习4.0中，启动时间大幅提升，现在初始化只需几秒钟。每个进程的速度也有所提升，具体如下：
  • 对象检测：RT-DETR的处理时间比Retinanet快3-4倍（这取决于你的架构，但总体上要快得多）。
  • 像素分类：处理时间大约快2倍。
  • 网格：处理时间大约快2倍。
• 新增了ResNet50 v2和ResNet101 v2支持，增强了用于像素分类和基于网格分析的核心神经网络架构。

安装程序更新

ENVI机器学习不再与ENVI深度学习安装包在一起。现在它是一个独立安装程序。

新工具及重命名工具

新工具

• 从COCO构建对象检测栅格：使用包含COCO格式注释的JSON数据集生成对象检测栅格。
• 配置ONNX模型：配置ONNX模型以与ENVI深度学习一起使用。
• 编辑Keras训练模型元数据：允许您编辑经过训练的Keras模型文件元数据
• 编辑ONNX训练模型元数据：允许您编辑经过训练的ONNX模型文件元数据
• 发布ENVI ONNX模型：将配置好的深度学习ONNX模型上传到分析存储库。

重命名工具

以下工具在本版本中被重新命名并更新了新的参数：

• 深度学习网格分类（之前称为TensorFlow网格分类）
• 深度学习对象分类（之前称为TensorFlow对象分类）
• 深度学习优化对象分类（之前称为TensorFlow优化对象分类）
• 深度学习优化像素分类（之前称为TensorFlow优化像素分类）
• 深度学习像素分类（之前称为TensorFlow像素分类）
• 训练深度学习网格模型（之前称为TensorFlow网格模型）
• 训练深度学习对象模型（之前称为训练TensorFlow对象检测模型）
• 训练深度学习像素模型（之前称为训练TensorFlow像素模型）

以下工具取代了ENVI深度学习3.0中的编辑TensorFlow模型元数据工具：

• 编辑Keras训练模型元数据
• 编辑ONNX训练模型元数据

新增及重命名的任务和对象

新任务

• BuildObjectDetectionRastersFromCOCO：使用包含COCO格式注释的JSON数据集生成对象检测栅格。
• ConfigureOnnxModel：配置ONNX模型以配合ENVI深度学习一起使用。
• PublishENVIDeepLearningOnnxModel：将配置好的深度学习ONNX模型上传到分析存储库。

重命名的任务和对象

以下Task任务在此版本中被重新命名。

• ExtractDeepLearningKerasModelFromFile和ExtractDeepLearningOnnxModelFromFile（取代ExtractDeepLearningGridModelFromFile、ExtractDeepLearningObjectModelFromFile和ExtractTensorFlowModelFromFile）
• RandomizeTrainDeepLearningPixelModel（之前为RandomizeTrainTensorFlowPixelModel）
• DeepLearningGridClassification（之前为TensorFlowGridClassification）
• DeepLearningOptimizedObjectClassification（之前为TensorFlowOptimizedObjectClassification）
• DeepLearningOptimizedPixelClassification（之前为ensorFlowOptimizedPixelClassification）
• DeepLearningPixelClassification（之前为TensorFlowPixelClassification）
• TrainDeepLearningGridModel（之前为TrainTensorFlowGridModel）
• TrainDeepLearningObjectModel（之前为TrainTensorFlowObjectModel）
• TrainDeepLearningPixelModel（之前为TrainTensorFlowPixelModel）

以下对象取代了ENVI深度学习3.0中的ENVITensorFlowGridModel、ENVITensorFlowModel和ENVITensorFlowObjectModel：

• ENVIDeepLearningKerasModel
• ENVIDeepLearningOnnxModel