CVPR2022场景文字识别新作SwinTextSpotter

导

语

场景文本定位旨在识别自然图像中的整个单词或句子的文本位置，由于其在自动驾驶、智能导航等领域的广泛应用，最近受到越来越多的关注。

背景介绍

目前自然场景文字识别技术应用广泛，例如拍照翻译，自动驾驶，图像检索等。其中，自然场景文字定位是指对场景图像中所有文本的精确定位，由于文本存在多种变体(颜色、大小、宽高比、字体、方向、光照条件和背景等），因此自然场景中精准的文字定位是非常具有挑战性的。

本文效果

这篇论文全名为"SwinTextSpotter: Scene Text Spotting via Better Synergy between Text Detection and Text Recognition",由华南理工大学、香港中文大学、华为云人工智能、深圳鹏城实验室等多家单位的研究员共同完成。下图为本论文的定位效果(彩色部分为当前场景文字定位可视化结果)

代码实战

环境搭建

conda create -n SWINTS python=3.8 -y
conda activate SWINTS
conda install pytorch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0 cudatoolkit=11.1 -c pytorch -c conda-forge
pip install opencv-python
pip install scipy
pip install shapely
pip install rapidfuzz
pip install timm
pip install Polygon3
git clone https://github.com/mxin262/SwinTextSpotter.git
cd SwinTextSpotter
python setup.py build develop

基于Swin-Transformer backbone训练模型

python projects/SWINTS/train_net.py \
--num-gpus 8 \
--config-file projects/SWINTS/configs/SWINTS-swin-pretrain.yaml

基于已有权重进行finetune

python projects/SWINTS/train_net.py \
--num-gpus 8 \
--config-file projects/SWINTS/configs/SWINTS-swin-mixtrain.yaml

可视化检测结果

python demo/demo.py \
--config-file projects/SWINTS/configs/SWINTS-swin-finetune-totaltext.yaml \
--input input1.jpg \
--output ./output \
--confidence-threshold 0.4 \
--opts MODEL.WEIGHTS ./output/model_final.pth

资源下载

关于本论文涉及的数据集和模型权重，已打包放入百度网盘。关注公众号实用AI客栈，在后台回复1001即可获取下载链接。

分享人工智能领域最新资讯，讲解各类实用的算法和模型。

权重和数据集打包