Nghiên cứu ứng dụng thuật toán nhận dạng cấu trúc bảng dựa trên phát hiện đối tượng

 Tạp chí Khí tượng Thủy văn 2021, 727, 1-12; doi:10.36335/VNJHM.2021(727).1-12  
Bài báo khoa học 
Nghiên cứu ứng dụng thuật toán nhận dạng cấu trúc bảng dựa 
trên phát hiện đối tượng 
Ngô Đại Dương1, Hải Hồng Phan1*, Phạm Lê Phương2 
1 Học Viện Kỹ thuật Quân Sự; hongpth@lqdtu.edu.vn; daiduong28789@hotmail.com 
2 Trung tâm Thông tin và Dữ liệu KTTV; phuongpl80@gmail.com 
*Tác giả liên hệ: hongpth@lqdtu.edu.vn; Tel: +84–372576968 
Ban Biên tập nhận bài: 05/3/2021; Ngày phản biện xong: 10/5/2021; Ngày đăng bài: 
25/7/2021 
Tóm tắt: Nhận dạng cấu trúc bảng là vấn đề quan trọng trong số hóa tài liệu. Với sự phát 
triển của các kỹ thuật học sâu hiện nay việc phát hiện bảng đã có nhiều bước tiến lớn, trong 
khi đó nhận dạng cấu trúc bảng vẫn gặp rất nhiều khó khăn do cấu trúc bảng phức tạp, đặc 
biệt với dữ liệu thực tế. Bài báo này đề xuất một phương pháp ứng dụng mô hình Cascade 
mask R–CNN x101FPN deconv để nhận dạng hàng và cột. Bài báo cũng đề xuất sử dụng mô 
hình Faster R–CNN để nhận dạng các ô trong bảng, từ đó đưa ra cấu trúc bảng. Thuật toán 
đề xuất được đánh giá trên tập dữ liệu phổ biến như TabStructDB và các tài liệu thu thập 
được từ các trạm Khí tượng thủy văn. Kết quả thực nghiệm đạt 90% độ chính xác trên các 
tập dữ liệu này. Thuật toán có khả năng áp dụng hiệu quả vào việc nhận dạng cấu trúc bảng 
của các tài liệu thông thường; đặc biệt thuật toán có khả năng xử lý với các tài liệu lịch sử và 
các chữ viết tay, phù hợp với đặc điểm tài liệu của ngành Khí tượng thủy văn. Từ đó góp 
phần vào việc số hóa tài liệu, lưu trữ và truy xuất thông tin dữ liệu của ngành Khí tượng thủy 
văn. 
Từ khóa: Nhận dạng cấu trúc bảng; Nhận dạng ô; Khí tượng thủy văn. 
1. Mở đầu 
Hiện nay, chuyển đổi số là một trong những mục tiêu phát triển của quốc gia vì lợi ích mà 
nó mang lại cho sự phát triển kinh tế, xã hội. Một trong các nhiệm vụ quan trọng của chuyển 
đổi số là số hóa tài liệu. Các tài liệu sổ sách được scan hoặc chụp ảnh rồi lưu vào máy tính 
dưới dạng định dạng ảnh. Tuy nhiên, để khai thác dữ liệu hiệu quả hơn cần số hóa các file này 
thành các dạng văn bản. Tài liệu được chia thành nhiều vùng như: vùng đoạn văn bản, vùng 
tiêu đề, vùng ảnh, vùng bảng...Trong đó, vùng bảng thường chứa nhiều thông tin, nhất là với 
các tài liệu sổ sách, kỹ thuật. Do đó, trích rút thông tin bảng trong tài liệu là một khâu quan 
trọng, quyết định trong số hóa tài liệu. 
Cấu trúc bảng trong tài liệu rất đa dạng với nhiều kích thước khác nhau và nhiều loại 
khác nhau (như bảng có viền, bảng ít viền, bảng không viền). Ngoài ra bảng có thể từ các tài 
liệu mới, cũ khác nhau và có nhiều loại cấu trúc rất phức tạp. Nhận dạng cấu trúc bảng là xác 
định các ô (cell), hàng, cột và mối quan hệ phân cấp giữa các ô. Đây là một bài toán rất phức 
tạp và hiện nay vẫn chưa có một giải pháp tổng thể nào giải quyết được toàn bộ các dữ liệu 
bảng trong thực tế và kết quả nhận dạng chưa cao. 
Một số nghiên cứu tiêu biểu về lĩnh vực này có thể kể tới như: Năm 1997, nghiên cứu [1] 
lần đầu đề xuất một phương pháp trích rút bảng dựa trên cấu trúc dữ liệu được gọi là đồ thị 
căn chỉnh ký tự (CAG–Charater Alignment Graph), một đồ thị căn chỉnh ký tự được hình 
thành bằng cách kiểm tra sự liên kết khoảng trắng trong các khối văn bản liền kề. Một số 
Tạp chí Khí tượng Thủy văn 2021, 727, 1-12; doi:10.36335/VNJHM.2021(727).1-12 2 
tham số khác như lỗ (số khoảng trống giữa các cột) và khoảng trống (số khoảng trống liền kề 
như vậy trên mỗi dòng) được sử dụng để kiểm tra cấu trúc khoảng trống trong một khối dữ 
liệu. Cùng với sự phát triển của các kỹ thuật học sâu, năm 2017, nghiên cứu [2] đã đề xuất 
một hệ thống từ đầu đến cuối để hiểu bảng trong tài liệu được gọi là DeepDeSRT. Đầu tiên, 
nghiên cứu sử dụng mô hình mạng Faster–RCNN [3] cho nhiệm vụ phát hiện bảng, tiếp theo 
sử dụng mô hình phân đoạn ngữ nghĩa FCN [4] thực hiện nhiệm vụ nhận dạng hàng và cột ở 
trong bảng. Nghiên cứu thực hiện huấn luyện trên tập dữ liệu Marmot [5], và đánh giá trên tập 
dữ liệu ICDAR 2013 [6]. Kết quả đạt được F1 là 96,67% cho nhiệm vụ phát hiện bảng và 
91,44% cho nhiệm vụ nhận dạng cấu trúc bảng. Năm 2019, nghiên cứu [7] đã đề xuất một mô 
hình học sâu tại hội nghị quốc tế về phân tích và nhận dạng tài liệu (ICDAR) dựa vào các 
phép tích chập biến dạng để nhận dạng hàng và cột của bảng, từ đó có thể xác định các ô và 
cấu trúc trong bảng. 
Nghiên cứu [8] đã đề xuất một mô hình học sâu CascadeTabNet sử dụng để phát hiện và 
nhận dạng cấu trúc bảng từ đầu đến cuối. Các thử nghiệm của nghiên cứu được thực hiện trên 
các tập dữ liệu ICDAR 2013, ICDAR 2019 [9], Tablebank [10]. 
Các phương pháp kể trên phần lớn giải quyết trên ảnh tài liệu xây dựng cho các cuộc thi, 
chưa xử lý và chứng minh tính hiệu quả với dữ liệu thực tế. Hai là, các dữ liệu thường có một 
loại lịch sử hoặc hiện đại. Trong khi dữ liệu cần số hóa thực tế có thể gồm cả hai. Dữ liệu của 
các trạm Khí tượng thủy văn là một trong các dữ liệu nh ... ố nghiên cứu trước đây như về R–CNN [11], 
Fast R–CNN [12], Faster R–CNN [4], Mask R–CNN [13], Cascade R–CNN [14], tích chập 
biến dạng [15], ResNet [16], FPN [17]. Mô hình sẽ được huấn luyện trước với tập dữ liệu 
COCO [18] trước khi được tinh chỉnh lại với dữ liệu của nghiên cứu này. Điểm khác biệt của 
mô hình này so với các mô hình khác [3, 8] là sử dụng tích chập biến đổi. Ta có, phép toán 
tích chập thông thường như sau: 
( * )( , ) ( , ) ( , ) 1, ..., , 1, ...,
K K
m K n K
F I i j F m n I i m j n i H j H
    
(1) 
Dấu * thể hiện phép toán tích chập, F là bộ lọc mà được học, I là ảnh, K là giá trị được 
tính như sau: / 2 F trong đó F là kích thước của bộ lọc. H là chiều cao của ảnh, W là chiều 
rộng của ảnh, i, j đại diện cho vị trí đang thực hiện phép tích chập đã đề xuất sử dụng phép 
toán tích chập có thể biến dạng vào trong nhận dạng hàng và cột trong bảng. Phép tích chập 
biến dạng sử dụng các hệ số mở rộng thay vì sử dụng lưới cố định cho phép lớp tự điều chỉnh. 
Các hệ số này được tính toán dựa trên tập hợp các tầng tích chập khác, do đó chúng có thể học 
được. Công thức của phép tích chập biến dạng 2–D có thể được mô tả bằng công thức như 
sau: 
er or
, , , , , ,( )( , ) ( , ) ( , ) i=1...H, =1...W
K K
v tical h izontal
i j m n i j m n
m K n K
F I i j F i j I i m j n j 
    
(2)
Kí hiệu thể hiện cho phép tích chập biến dạng, các tham số khác hoàn toàn giống với 
công thức tích chập thông thường ở trên. er, , ,
v tical
i j m n , 
or
, , ,
h izontal
i j m n kí hiệu cho các tham số mở rộng. 
Hình 4 thể hiện phép tích chập biến đổi. 
Hình 5 các độ lệch (offset) có thể đạt được bằng cách áp dụng một lớp tích chập trên bản 
đồ đặc trưng đầu vào. Hạt nhân của tích chập sử dụng độ phân giải, độ giãn nở không gian 
như của lớp tích chập hiện tại. Trường độ lệch (offset) đầu ra có cùng độ phân giải như bản đồ 
đặc trưng đầu vào và có 2N kênh trong đó 2N tương ứng với N hiệu số 2D. 
Kết hợp tích chập biến đổi với mạng ResNet–101 [16] và với Cascade Mask R–CNN 
[14], và FPN [17] ta có mô hình mạng như trong Hình 5. Trong đó “I” là ảnh đầu vào, “conv” 
các tích chập khung xương, “pool” trích rút đặc trưng từng vùng, “H” đầu mạng, “B” hộp giới 
hạn và “C” là bộ phân loại. “B0” là các đề xuất trong toàn bộ kiến trúc. 
Hình 4. Biểu diễn trực quan của phép tích chập biến đổi. 
Tạp chí Khí tượng Thủy văn 2021, 727, 1-12; doi:10.36335/VNJHM.2021(727).1-12 6 
Hình 5. Mô hình mạng Cascade mask r–cnn_r101 dconv. 
3. Kết quả và thảo luận 
3.1. Tập dữ liệu đánh giá và độ đo 
Nghiên cứu đánh giá trên hai tập dữ liệu TabStructDB mở rộng với 130 bảng thuộc tập 
dữ liệu KTTV, DetectCell và hiển thị một số kết quả nhận dạng cấu trúc bảng trong tập dữ 
liệu KTTV. Nghiên cứu này chia các tập dữ liệu theo tỷ lệ 60% cho tập huấn luyện, 10% cho 
tập kiểm định, 30 % cho tập kiểm tra. Kết quả thực nghiệm được thực hiện trên tập kiểm tra. 
Độ đo được sử dụng dựa trên tham số IoU (Intersection over Union) [19] trên các phép 
đo Precision, Recall, F1. IoU bằng diện tích vùng chồng lấn giữa hộp dự đoán và hộp đúng 
(ground truth) chia cho diện tích của vùng được tạo bởi hợp của hộp dự đoán và hộp đúng. 
IA
IoU
(DA GA IA)
 (3) 
Hình 6. Mô tả về IoU. 
Công thức về độ đo P, R, F1 trung bình: 
1
1
( / )
N
i i
i
P IA DA
N 
  (4) 
1
1
( / )
N
i i
i
R IA GA
N 
  (5) 
1 2*(( * ) / ( ))F P R P R (6) 
Trong đó IA là diện tích vùng giao nhau giữa hộp dự đoán và hộp đúng, DA là diện tích 
hộp dự đoán, GA là diện tích hộp đúng, N là số ảnh trong tập kiểm tra. 
3.2. Kết quả đánh giá 
Nghiên cứu này sử dụng ngôn ngữ lập trình Python, thư viện PyTorch, MMdetection 
[20] xây dựng chương trình và các mô hình thử nghiệm. Các thực nghiệm của nghiên cứu này 
được thực hiện trên nền tảng Google Colaboratory Pro với Tesla V100–SXM2 có bộ nhớ 
GPU 16GB, Intel(R) Xeon(R) CPU @2.30GHz và 24 GB Ram. 
Tạp chí Khí tượng Thủy văn 2021, 727, 1-12; doi:10.36335/VNJHM.2021(727).1-12 7 
3.2.1. Đánh giá kết quả nhận dạng hàng và cột 
Thực nghiệm việc nhận dạng cấu trúc bảng. Ta thấy theo như bảng 2, mô hình cho phép 
nhận dạng cột khá tốt, tỷ lệ nhận dạng có thể lên tới 97,20 % và độ đo F1 theo IOU lên tới 
94,04 % (độ tin cậy 0,7). Tuy nhiên, việc nhận dạng hàng còn chưa tốt chỉ có 49,77% (độ tin 
cậy 0,4) hàng có thể nhận ra, những hàng có khả năng nhận ra thì có ngưỡng IoU trùng khớp 
cao F1 = 89,19 % (độ tin cậy 0,4). Các bảng có các hàng cách xa nhau (lớn hơn độ rộng của 
ký tự) có xu thế nhận dạng rất tốt, các hàng gần nhau thường không thể phân biệt và nhận 
dạng được. d = (số đối tượng phát hiện ra có ngưỡng IoU > 0,5)/(số đối tượng thực có). 
Bảng 2. Kết quả nhận dạng hàng và cột. 
IoU 
Row Column All 
P R F1 d P R F1 d P R F1 d 
0,4 90,72 87,71 89,19 49,77 94,19 93,23 93,71 97,78 86,82 85,16 85,98 62,03 
0,5 91,17 88,59 89,86 47,94 94,32 93,35 93,83 97,78 87,03 85,61 86,31 60,87 
0,6 91,54 89,20 90,36 46,12 94,42 93,51 93,96 97,53 87,16 85,95 86,55 59,64 
0,7 92,03 89,92 90,97 44,43 94,47 93,61 94,04 97,20 87,34 86,27 86,80 58,53 
Nghiên cứu sử dụng một thủ thuật nhỏ là thay đổi kích thước của ảnh theo chiều cao. 
Nghiên cứu kéo dãn ảnh 3 lần theo chiều cao h=h*3, kết quả thực nghiệm cho thấy việc kết 
hợp kéo dãn ảnh dự đoán hàng và giữ nguyên ảnh gốc cho dự đoán cột cho kết quả tốt nhất 
như trong bảng 3. Ta cũng thấy mô hình cũng tốt hơn so với mô hình Cascade mask 
hrnetv2pw40. 
Bảng 3. Kết quả thực nghiệm nhận dạng hàng cột sử dụng kéo dãn ảnh. 
Phương pháp Mô hình 
IoU 
Wavg. 
0,6 0,7 0,8 0,9 
Kéo dãn ảnh Cascade mask r–cnn 
x101 dconv 
83,87 84,40 85,06 85,67 84,75 
Ảnh gốc (cột) và 
kéo dãn (hàng) 
Cascade mask r–cnn 
x101 dconv 
84,75 85,34 85,58 86,65 85,58 
Ảnh gốc (cột) và 
kéo dãn (hàng) 
Cascade mask 
hrnetv2pw40 
82,53 83,55 84,52 86,08 84,17 
Hình 7 minh họa kết quả nhận dạng hàng và cột tốt. Điều này là do các hàng ở đây có 
khoảng cách đủ để nhận dạng. Trong hình 8, mô hình nhận dạng thiếu hàng rất nhiều. Áp 
dụng kỹ thuật kéo dãn ảnh được kết quả thực nghiệm nhận dạng tốt ở hình 9. Sau đây là các 
kết quả nhận dạng cụ thể: 
Hình 7. Kết quả nhận dạng hàng cột tốt. 
Tạp chí Khí tượng Thủy văn 2021, 727, 1-12; doi:10.36335/VNJHM.2021(727).1-12 8 
Hình 8. Bảng nhận thiếu hàng. 
Hình 9. Bảng nhận đủ hàng sau khi thực hiện phép kéo dãn. 
3.2.2. Kết quả nhận dạng ô trong bảng 
Sau đó, nghiên cứu này tiến hành thực nghiệm việc nhận dạng ô với từng cột và kết hợp 
chúng lại với nhau. Bảng 4, thể hiện kết quả nhận dạng ô với tập dữ liệu là các cột. 
Bảng 4. Kết quả nhận dạng cell. 
Mô hình 
IoU 
WAvg. 
0,6 0,7 0,8 0,9 
Faster R–CNN 88,52 88,60 88,60 88,82 88,63 
Tạp chí Khí tượng Thủy văn 2021, 727, 1-12; doi:10.36335/VNJHM.2021(727).1-12 9 
Dưới đây là một số kết quả thực nghiệm nhận dạng cấu trúc bảng từ đầu đến cuối. Qua 
trình xử lý gồm: phát hiện hàng, cột và phát hiện cell trong bảng. Qua kết quả thực nghiệm, 
thuật toán có khả năng nhận dạng cấu trúc bảng tương đối tốt. Theo bảng 10, các ô được nhận 
dạng chính xác bảng hiện đại, đặc biệt với cả các chữ viết tay. Bảng 11, bảng hiện đại với các 
chữ được đánh máy, kết quả nhận dạng các ô chính xác. Bảng 12, bảng vẽ tay có tính chất lịch 
sử, chữ viết tay, các ô được nhận dạng chính xác. Bảng 13, bảng lịch sử, giấy có vết gập, và 
chữ là cả viết tay và đánh máy, thuật toán cho phép ta xác định được chính xác các ô. 
Bảng 10. Kết quả nhận dạng cấu trúc bảng kết quả đo lưu lượng bằng máy ADCP. 
Bảng 11. Kết quả nhận dạng cấu trúc bảng đo bức xạ giờ. 
Tạp chí Khí tượng Thủy văn 2021, 727, 1-12; doi:10.36335/VNJHM.2021(727).1-12 10 
Bảng 12. Kết quả nhận dạng bảng kiểm tra Q lịch sử viết tay. 
Bảng 13. Kết quả nhận dạng bảng trắc đồ ngang. 
Tạp chí Khí tượng Thủy văn 2021, 727, 1-12; doi:10.36335/VNJHM.2021(727).1-12 11 
4. Kết luận 
Nghiên cứu đã đề xuất thuật toán nhận dạng cấu trúc bảng dựa trên mô hình Cascade 
mask R–CNN x101FPN deconv để nhận dạng hàng và cột, sau đó sử dụng mô hình Faster R–
CNN để nhận dạng các ô trong bảng từ đó đưa ra cấu trúc của bảng. Thuật toán cho thấy hiệu 
quả cao trong nhận dạng cấu trúc bảng với gần 90% độ chính xác. Trong thời gian tới, bài báo 
sẽ tiếp tục nghiên cứu phát triển thuật toán trên thông tin hàng để nâng cao kết quả nhận dạng. 
Đồng thời tiếp tục thử nghiệm các dữ liệu khác của KTTV để ứng dụng tốt hơn trong thực tế. 
Đóng góp của tác giả: Xây dựng ý tưởng nghiên cứu: H.H.P., N.D.D., P.L.P.; Lựa chọn 
phương pháp nghiên cứu: H.H.P., N.D.D.; Xử lý số liệu: N.D.D.; Phân tích mẫu: N.D.D.; 
Lấy mẫu: H.H.P., P.L.P.; Viết bản thảo bài báo: H.H.P., N.D.D.; Chỉnh sửa bài báo: H.H.P., 
N.D.D., P.L.P. 
Lời cam đoan: Tập thể tác giả cam đoan bài báo này là công trình nghiên cứu của tập thể tác 
giả, chưa được công bố ở đâu, không được sao chép từ những nghiên cứu trước đây; không có 
sự tranh chấp lợi ích trong nhóm tác giả. 
Tài liệu tham khảo 
1. Pyreddy, P.; Croft, W.B. Tinti: A system for retrieval in text tables title2. Technical 
report, USA, 1997. 
2. Schreiber, S.; Agne, S.; Wolf, I.; Dengel, A.; Ahmed, S. DeepDeSRT: deep learning 
for detection and structure recognition of tables in document images. Proceeding of 
the14th IAPR International Conference on Document Analysis and Recognition 
(ICDAR), 2017. 
3. Ren, S.; He, K.; Girshick, R.; Sun, J. Faster R–CNN: Towards real–time object 
detection with region proposal networks. IEEE Trans. Pattern Anal. Mach. Intell. 
2015, 39, 1137–1149. 
4. Dai, J.; Li, Y.; He, K.; Sun, J. R–FCN: Object detection via region–based fully 
convolutional networks. Proceeding of the 30th Conference on Neural Information 
Processing Systems (NIPS 2016), Barcelona, Spain, 2016, 379–387. 
5. Marmot Dataset. Institute of Computer Science and Techonology of Peking 
University and Institute of Digital Publishing of Founder R&D Center, China, 
 marmot_data.htm, 2010. 
6. Göbel, M.; Hassan, T.; Oro, E.; Orsi, G. ICDAR 2013 Table Competition. 
Proceeding of the 12th International Conference on Document Analysis and 
Recognition, 2013, 1449–1453. 
7. Siddiqui, S.A.; Fateh, I.A.; Rizvi, S.T.R.; Dengel, A.; Ahmed, S. DeepTabStR: Deep 
Learning based Table Structure Recognition. International Conference on Document 
Analysis and Recognition (ICDAR), 2019, 1403–1409. 
8. Prasad, D.; Gadpal, A.; Kapadni, K.; Visave, M.; Sultanpure, K. CascadeTabNet: An 
approach for end to end table detection and structure recognition from image–based 
documents. IEEE/CVF Conference on Computer Vision and Pattern Recognition 
Workshops (CVPRW), 2020. 
9. Gao, G.; Huang, Y.; Dejean, H.; Meunier, J.; Yan, Q.; Fang, Y.; Kleber, F.; Lang, E. 
Icdar 2019 competition on table detection and recognition (ctdar). International 
Conference on Document Analysis and Recognition (ICDAR), 2019, 1510–1515. 
10. Li, M.; Cui, L.; Huang, S.; Wei, F.; Zhou, M.; Li, Z. Tablebank: Table benchmark for 
image–based table detection and recognition. Proceedings of the 12th Conference on 
Language Resources and Evaluation, 2020, 1918–1925. 
11. Girshick, R.; Donahue, J.; Darrell, T.; Malik, J. Rich feature hierarchies for accurate 
object detection and semantic segmentation. Proceedings of the IEEE conference on 
computer vision and pattern recognition, 2014. ISBN:978-1-4799-5118-5. 
Tạp chí Khí tượng Thủy văn 2021, 727, 1-12; doi:10.36335/VNJHM.2021(727).1-12 12 
12. Girshick, R. Fast R–CNN. Proceedings of the IEEE international conference on 
computer vision, 2015. 
13. He, K.; Gkioxari, G.; Dollar, P.; Girshick, R. Mask r–cnn. ICCV. IEEE 2017, 2980–
2988. 
14. Cai, Z.; Vasconcelos, N. Cascade R–CNN: high quality object detection and instance 
segmentation. IEEE Trans. Pattern Anal. Mach. Intell. 2019, 43, 1483–1498. 
15. Dai, J.; Qi, H.; Xiong, Y.; Li, Y.; Zhang, G.; Hu, H.; Wei, Y. Deformable 
convolutional networks. IEEE International Conference on Computer Vision 
(ICCV) 2017, 1, pp. 1-3. 
16. He, K.; Zhang, X.; Ren, S.; Sun, J. Deep residual learning for image recognition. 
Proceedings of the IEEE conference on computer vision and pattern recognition, 
2016, 770–778. 
17. Lin, T.; Dollár, P.; Girshick, R.; He, K.; Hariharan, B.; Belongie, S. Feature Pyramid 
Networks for Object Detection. IEEE Conference on Computer Vision and Pattern 
Recognition (CVPR), 2017, 936–944, doi: 10.1109/CVPR.2017.106. 
18. Lin, T.Y.; Maire, M.; Belongie, S.; Hays, J.; Perona, P.; Ramanan, D.; Dollár, P.; 
Zitnick, C.L. Microsoft coco: Common objects in context. In: Fleet D., Pajdla T., 
Schiele B., Tuytelaars T. (eds) Computer Vision – ECCV 2014. ECCV 2014. 
Lecture Notes in Computer Science, vol 8693. Springer, Cham. 2014, pp. 740–755. 
https://doi.org/10.1007/978-3-319-10602-1_48. 
19. Rezatofighi, H.; Tsoi, N.; Gwak, J.Y.; Sadeghian, A.; Reid, I.; Savarese, S. 
Generalized intersection over union: A metric and a loss for bounding box 
regression. Proceedings of the IEEE/CVF Conference on Computer Vision and 
Pattern Recognition, 2019, pp. 658–666. 
20. Chen, K.; Wang, J.; Pang, J.; Cao, Y.; Xiong, Y.; Li, X.; Sun, S.; Feng, W.; Liu, Z.; 
Xu, J.; Zhang, Z.; Cheng, D.; Zhu, C.; Cheng, T.; Zhao, Q.; Li, B.; Lu, X.; Zhu, R.; 
Wu, Y.; Dai, J.; Wang, J.; Shi, J.; Ouyang, W.; Loy, C.C.; Lin, D. Mmdetection: 
Open MMLab detection toolbox and benchmark. CoRR, abs/1906.07155, 2019. 
Research and apply table structure recognition algorithm based 
on object detection 
Ngo Dai Duong1, Hai–Hong Phan1*, Pham Le Phuong2 
1 Military Technical Academy, Viet Nam; hongpth@lqdtu.edu.vn; 
daiduong28789@hotmail.com 
2 Hydro–Meteorological Information and Data Center; phuongpl80@gmail.com 
Abstract: Table structure identification is an important issue in document digitization. 
With the development of current deep learning techniques, the detection of tables has made 
great strides, while table structure identification still faces many difficulties due to complex 
table structure, especially with real data practice. This article proposes a method to apply the 
Cascade mask model R–CNN x101FPN deconv to identify rows and columns. The paper 
also proposes to use the Faster R–CNN model to identify the cells in the table, thereby 
giving out the table structure. The proposed algorithm is evaluated on popular datasets such 
as TabStructDB and documents collected from Hydrometeorology stations. The 
experimental results reached 90% accuracy on these datasets. The algorithm is capable of 
effectively applying to the identification of the table structure of common documents; 
especially, the algorithm is capable of dealing with historical documents and handwriting, 
in accordance with the document characteristics of the hydrometeorology industry. Since 
then, it contributes to the digitization of documents, storage and data retrieval of 
hydrometeorology industry. 
Keywords: Structure table recognition; Cell recognition; Meteorological and hydrological.