基于图像识别的表格数据提取系统

一、前言

1.1 项目需求

　　由于公司业务需要，须对从特定网站爬取下来的表格图片进行识别，将其中的数据提取出来，随后写入csv文件。表格图片形式统一，如下所示。

　　　　　　　　　　　　　　　　　　　　　　　　　　　　img 待识别图片

1.2 思路分析

　　直接识别整个图片显然是不太可能的。很自然地想到，可以将每个单元格从原图中分割出来后，逐个进行识别。因此整个任务就可以分为图片分割和内容识别两部分。关于图片分割，要想分割出每个单元格，就必须获取表格中每条横线的纵坐标和每条竖线的横坐标(图像学中图片的坐标原点在图片的左上角，向右为x轴正方向，向下为y轴正方向，以每个像素点为单位长度)。至于内容识别，经查阅资料后，决定使用Tesseract-OCR(开源的图像文本识别工具，依赖Java环境)。

1.3 实现环境

　　python3.6，所需的python第三方库有：pillow，opencv，numpy，csv，pytesseract。由于pytesseract依赖Java环境，因此需要安装JDK。

二、项目流程

2.1 图像预处理

　　要想将图片分割，就必须从图片中检测出组成表格的每条横线和竖线。通过观察图片可以发现，图片中共有3种颜色：白色的背景和字体，红色的背景和字体，黑色的字体和分割线。表格的分割线是黑色的连贯线条，要想提取出分割线，就必须同时滤除白色和红色内容的干扰。通过查阅RGB颜色表可知，黑色RGB三通道的值均为0，白色RGB三通道的值均为255，图片中深红色R通道值约为220，G、B通道值分别约为23和13。因此可以将原图进行通道分离，取其红色通道进行后续操作。opencv中的split()函数可以实现对图片的通道分离。

img_R = cv2.split(img)[2] #opencv中三通道排列顺序为BGR

　　　　　　　　　　　　　　　　　　　　　　　　　　　　img_R 红色通道图

　　分离出红色通道图之后，就可以将红色近似视为白色，选用合适的阈值对红色通道图进行二值化。为了方便后续寻线，可以将原来白色、红色的背景部分转黑，而黑线转白。opencv中的threshold()函数可以同时实现图像二值化和颜色反转。

ret, img_bin = cv2.threshold(img_R, 100, 255, cv.THRESH_BINARY_INV) #二值化阈值选为100，大于100的置0，小于100的置255

　　　　　　　　　　　　　　　　　　　　　　　　　　img_bin 红色通道图二值化后反转

　　使用不同的核对对二值化后的图像进行开运算(先腐蚀后膨胀)，分别检测出二值图像中的横线和竖线。opencv中的morphologyEx()函数可以用自定义的核对图像进行开、闭运算。根据应用场景不同，可灵活调整核的形状和大小。

kernel_row = np.ones((1, 9)) # 自定义检测横线的核
img_open_row = cv2.morphologyEx(img_bin, cv2.MORPH_OPEN, kernel_row) # 开运算检测横线

　　　　　　　　　　　　　　　　　　　　　　　　　　img_open_row 检测出的横线

kernel_col = np.ones((9, 1)) # 自定义检测竖线的核
img_open_col = cv2.morphologyEx(img_bin, cv2.MORPH_OPEN, kernel_col) # 开运算检测竖线

　　　　　　　　　　　　　　　　　　　　　　　　　　img_open_col 检测出的竖线

　　检测出横线和竖线后，可以对两张图片分别使用霍夫寻线，获得每条线两端点的坐标。但在实际操作过程中，发现寻竖线时效果总是不好，经测试后发现由于图片高度较低，竖线普遍很短，不易寻找。因此可以通过resize()将img_open_col的高度拔高后，再进行霍夫寻线，效果显著。

#图片高度较低，为了方便霍夫寻纵线，将图片的高度拉高5倍
img_open_col = cv2.resize(img_open_col, (800, 5 * img_h))

2.2 图片分割

　　事实上经过开运算后的img_open_col和img_open_row中已经清晰地呈现出来所有组成表格的横线和纵线，但要想进一步分割表格，只找到线是不够的，还必须获取线在图片中的位置。霍夫寻线可以帮助我们完成这一操作，将img_open_col和img_open_row作为参数传递给从cv2.HoughLinesP()，可返回每条线段两端点的坐标(x1, y1, x2, y2)。

lines_col = cv2.HoughLinesP(img_open_col, 1, np.pi / 180, 100, minLineLength=int(0.52 * 5 * img_h), maxLineGap=5)

　　通过打印输出lines_col的参数信息：

　　可以看出，lines_col是shape为30X1X4的numpy.adarray。事实上竖线只有7条，但通过霍夫寻线却寻出了30条，这是因为处理后的线条较粗，每条线都被当作了多条。就第一条线而言，就被当作了四条线，即上图中红色框出的部分。它们的纵坐标都相同，横坐标相差极小，可以通过后续处理将其归为一条。在表格分割中，竖线端点坐标信息中，只有横坐标为有效信息，因此后续处理中只针对其横坐标即可。横线亦然，只处理其纵坐标即可。

　　就lines_col而言，其处理的思路是：取lines_x = lines_col[: ; : ; 0] ，即取出30条线段的横坐标，随后排序并将其转换为list，对整个list进行遍历，将差异较小的几个元素用其中一个元素值代替，如4、5、6、7均替换为4，即4、5、6、7变为4、4、4、4。随后将整个list转换为set，即进行去重，4、4、4、4变为一个4。再排序后即可得到7条竖线的横坐标。

lines_x = np.sort(lines_col[:,:,0], axis=None)
list_x = list(lines_x)

#合并距离相近的点
for i in range(len(list_x) - 1):
    if (list_x[i] - list_x[i + 1]) ** 2 <= (img_w/12)**2:
        list_x[i + 1] = list_x[i]

list_x = list(set(list_x))#去重
list_x.sort()#排序

　　同上操作，可得到5条横线的纵坐标。

　　有了这12个关键数据，即可定位出每个单元格的位置。图片分割任务到此圆满完成，接下来就是内容识别了。

2.3 内容识别

　　识别部分采用的是开源的Tesseract-OCR。将需要识别的单元格分离出来后，由于原图的清晰度不够，对识别造成了一定的困难。后来将需识别的单元格图片放大后腐蚀，提高请字体清晰度。处理之后，字体样式发生了一定程度的变形，为了不影响后续识别，将每个分离出来并经处理后的单元格保存下来，制作了一个较小的数据集，对pytesseract进行训练，获得一个新的识别模型，命名为ftnum，并用该模型进行后续的识别工作。

for i in range(2):
    for j in range(5):
        #截取对应的区域
        area = img_gray[(y_val[i+2]+4) :y_val[i+3], (x_val[j+1]+10) :(x_val[j+2]-10)]
        #二值化
        area_ret, area_bin = cv2.threshold(area, 190, 255, cv2.THRESH_BINARY)
        #放大三倍
        area_bin = cv2.resize(area_bin, (0,0), fx=3, fy=3)
        #腐蚀两次，加粗字体
        area_bin = cv2.erode(area_bin, kernel_small, iterations=2)
        #送入OCR识别
        per_text = pytesseract.image_to_string(Image.fromarray(area_bin), lang="ftnum", config="--psm 7")

　　分割处理后的单元格样式如下(area_bin)：

　　识别效果：

三、后记

　　后来在对图像的批处理过程中，发现对某些图片的识别效果并不好，之后在图像刚读出来后就用一个resize()，将所有要处理的图像规范到同一个大小，识别效果显著改善。目前在30张图片上做过测试，识别准确率为100%。

四、源码分享及参考文献

4.1 源码

　　源码含图片爬虫及写入csv文件过程，其中爬虫是公司里一位小哥哥写的，比心，感谢！

  1 # Created by 秋沐霖 on 2019/3/8.
  2 from PIL import Image
  3 import pytesseract #OCR识别
  4 import cv2 as cv
  5 import numpy as np
  6 import csv
  7 import time
  8 import os
  9 import requests
 10 from bs4 import BeautifulSoup
 11 from openpyxl.compat import range
 12 
 13 # 获取最新图片
 14 def getImage():
 15     # 当天是否发布报告的标值
 16     flag = 0
 17     headers = {
 18         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER',
 19     }
 20 
 21     # 收益率曲线主页
 22     YieldCurveUrl='https://www.chinaratings.com.cn/AbsPrice/YieldCurve/'
 23 
 24     # 请求并解析网页
 25     html = requests.get(YieldCurveUrl, headers=headers)
 26     html=html.content.decode('UTF-8')
 27     soup = BeautifulSoup(html, 'lxml')
 28     #  获取今天日期
 29     today=time.strftime('%Y-%m-%d', time.localtime(time.time()))
 30 
 31     # 获取当前日期，作为图片的名字保存到本地
 32     img_title=soup.select('body > div.main > div > div.ctr > div.recruit > ul > li > span')[0].text.split('：')[-1]
 33 
 34     if img_title==today:
 35         flag = 1
 36         # print(img_title)
 37 
 38         # 获取最新的曲线所在页面的链接
 39         YieldCurveUrl='https://www.chinaratings.com.cn'+soup.select('body > div.main > div > div.ctr > div.recruit > ul > li > a')[0].get('href')
 40 
 41         # 请求该链接，解析出该图片的下载链接img_url
 42         html = requests.get(YieldCurveUrl, headers=headers)
 43         soup = BeautifulSoup(html.text, 'lxml')
 44         img_url ='https://www.chinaratings.com.cn'+ soup.select('body > div.main > div.ctr > div > div.newsmcont > p > img')[1].get('src')
 45 
 46         # print(img_url)
 47         rep = requests.get(img_url, headers=headers)
 48 
 49         #将图片写到本地
 50         with open(r'./img/'+img_title+'.png','wb')as f:
 51             f.write(rep.content)
 52 
 53     return img_title, flag
 54 
 55 
 56 #图像预处理
 57 def picProcess():
 58     img = cv.imread(file)
 59 
 60     #为了方便后续操作，将图像统一大小
 61     img = cv.resize(img, (800, 165))
 62 
 63     img_h = img.shape[0]
 64     img_w = img.shape[1]
 65     # 转为灰度图
 66     img_gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
 67 
 68     #分离处红色通道
 69     img_R = cv.split(img)[2]
 70     # 红色通道图二值化，同时反转，即将原图中红色、白色变黑，黑色变白，便于后续操作
 71     thr = 100
 72     ret, img_bin = cv.threshold(img_R, thr, 255, cv.THRESH_BINARY_INV)
 73 
 74     # 滤波器的长度设为9，是为了避免较粗线条的干扰
 75     kernel_col = np.ones((9, 1))
 76     kernel_row = np.ones((1, 9))
 77 
 78     #开运算求横线和纵线
 79     img_open_col = cv.morphologyEx(img_bin, cv.MORPH_OPEN, kernel_col)
 80     img_open_row = cv.morphologyEx(img_bin, cv.MORPH_OPEN, kernel_row)
 81     #图片高度较低，为了方便霍夫寻纵线，将图片的高度拉高5倍
 82     img_open_col = cv.resize(img_open_col, (800, 5 * img_h))
 83 
 84     #霍夫寻线
 85     lines_col = cv.HoughLinesP(img_open_col, 1, np.pi / 180, 100, minLineLength=int(0.52 * 5 * img_h),
 86                                maxLineGap=5)
 87     lines_row = cv.HoughLinesP(img_open_row, 1, np.pi / 180, 100, minLineLength=int(0.75 * img_w),
 88                                maxLineGap=5)
 89 
 90     return img_w,img_h, img_gray, lines_col, lines_row
 91 
 92 #求交点坐标
 93 def getCoord(lines, flag):
 94     #求竖线的横坐标
 95     if flag == "col":
 96         lines_x = np.sort(lines[:,:,0], axis=None)
 97         list_x = list(lines_x)
 98 
 99         #合并距离相近的点
100         for i in range(len(list_x) - 1):
101             if (list_x[i] - list_x[i + 1]) ** 2 <= (img_w/12)**2:
102                 list_x[i + 1] = list_x[i]
103 
104         list_x = list(set(list_x))#去重
105         list_x.sort()#排序
106         return list_x
107 
108     #求横线的纵坐标
109     elif flag == "row":
110         lines_y = np.sort(lines[:,:,1], axis=None)
111         list_y = list(lines_y)
112 
113         # 合并距离相近的点
114         for i in range(len(list_y) - 1):
115             if (list_y[i] - list_y[i + 1]) ** 2 <= (img_h/8)**2:
116                 list_y[i + 1] = list_y[i]
117 
118         list_y = list(set(list_y))  # 去重
119         list_y.sort()  # 排序
120         return list_y
121 
122 #识别日期及数值
123 def recognize():
124     kernel_small = np.ones((3, 3))
125     text = ['关键期限点曲线值']
126 
127     #日期，为报告发布日期
128     per_text = png_name
129     text.append(per_text)
130 
131     add_list = ['360','1080','1800','3600','10800','ABS','RMBS']
132     text = text + add_list
133 
134     #数值，放大三倍，腐蚀两次，效果较好
135     for i in range(2):
136         for j in range(5):
137             #截取对应的区域
138             area = img_gray[(y_val[i+2]+4) :y_val[i+3], (x_val[j+1]+10) :(x_val[j+2]-10)]
139             #二值化
140             area_ret, area_bin = cv.threshold(area, 190, 255, cv.THRESH_BINARY)
141             #放大三倍
142             area_bin = cv.resize(area_bin, (0,0), fx=3, fy=3)
143             # 腐蚀两次，加粗字体
144             area_bin = cv.erode(area_bin, kernel_small, iterations=2)
145 
146             #送入OCR识别
147             per_text = pytesseract.image_to_string(Image.fromarray(area_bin), lang="ftnum", config="--psm 7")
148 
149             #易错修正
150             if ' ' in per_text:
151                 per_text = ''.join(per_text.split()) #去多余空格
152             if '..' in per_text:
153                 per_text.replace('..', '.')
154 
155             text.append(per_text)
156 
157     #整理顺序，方便写入表格
158     index = text[8]
159     text[8:13] = text[9:14]
160     text[13] = index
161 
162     return text
163 
164 #写入csv
165 def writeCsv(path):
166     with open(path,"w", newline='') as file:
167         writer = csv.writer(file, dialect='excel')
168 
169         #写表头
170         header = ["CurveName", "RateType", "ReportingDate", "TermBase", "Term", "Rate"]
171         writer.writerows([header])
172 
173         #写ABS数据
174         for i in range(2,7):
175             writer.writerows([["ABS", "SpotRate", text[1], "D", text[i], text[i+6] ]])
176         #写RMBS数据
177         for j in range(2,7):
178             writer.writerows([["RMBS", "SpotRate", text[1], "D", text[j], text[j+12] ]])
179 
180 
181 if __name__ == "__main__":
182     current_dir = os.getcwd()  # 返回当前工作目录
183     files_dir = os.listdir(current_dir)  # 返回指定的文件夹包含的文件或文件夹的名字的列表，
184 
185     png_name, flag = getImage()
186 
187     if flag == 1:
188         if "CSV存放文件夹" not in files_dir:
189             os.mkdir(current_dir + "\\CSV存放文件夹")
190         if "img" not in files_dir:
191             os.mkdir(current_dir + "\\img")
192 
193         os.chdir(".\\img")  # 跳进img文件夹
194         files = os.listdir(".")  # 返回该文件夹下所有文件
195         for file in files:
196             if (os.path.splitext(file)[0] == png_name)and(os.path.splitext(file)[1] == ".png"):
197 
198                 #获取交点坐标
199                 img_w, img_h, img_gray, lines_col, lines_row = picProcess()
200                 x_val = getCoord(lines_col, flag="col")
201                 y_val = getCoord(lines_row, flag="row")
202 
203                 #分割识别
204                 text= recognize()
205 
206                 #写入csv文件
207                 csv_path = current_dir+"\\CSV存放文件夹\\"+os.path.splitext(file)[0]+"_data.csv"
208                 writeCsv(csv_path)
209         os.chdir(current_dir)
210     elif flag == 0:
211         print("今天未发布报告")