Thuật toán kiểm tra âm tiết Tiếng Việt dựa trên luật cấu tạo âm tiết
Trong thời đại ngày nay nhu cầu giao tiếp bằng văn bản ngày càng nhiều. Các văn bản này thường được in ra từ máy tính thông qua các phần mềm soạn thảo văn bản như: MS Word, Word Perfect. nó cần phải đúng, chính xác và hiệu quả. Để làm được như vậy chúng ta phải kiểm tra chính tả, ngữ pháp văn bản trước khi in ra và gửi đi. Tuy nhiên, khi văn bản lớn thì việc kiểm tra do con người thực hiện mất rất nhiều thời gian và là một công việc nhàm chán. Vì nhiều nguyên nhân, trong đó có nguyên nhân về tâm lý làm người kiểm tra không kiểm tra hết văn bản, hoặc khi kiểm tra xong văn bản thì cũng không đảm bảo văn bản đúng toàn bộ. Sai sót lớn nhất trong văn bản thường là lỗi chính tả không cố ý (tức là lỗi do đánh máy nhầm).
Xuất phát từ những yều cầu đó mà trong phần mềm MS Word cũng đã có chức năng kiểm tra chính tả và ngữ pháp tiếng Anh ở một mức độ tương đối nhất định.
Việc kiểm tra lỗi chính tả diễn ra khá dễ dàng trong MS Word, nhưng với lỗi ngữ pháp thì chưa hoàn toàn đúng. Vấn đề kiểm tra ngữ pháp đối với ngôn ngữ tự nhiên là một trong những vấn đề rất khó và đang được nghiên cứu bởi các nhà khoa học, các hãng phần mềm lớn trên thế giới. Đối với tiếng Việt cũng đã xuất hiện phần mềm kiểm tra chính tả, đó là phần mềm Vietkey Office, phần mềm này kiểm tra lỗi chính tả dựa trên một tập các từ vựng có sẵn trong từ điển. Vì vậy khả năng mở của phần mềm là không có, tức là không có khả năng học các từ mới từ văn bản đúng chính tả. Hơn nữa do sử dụng cơ chế lưu các từ vựng trong từ điển nên phải lưu trữ một lượng khá lớn các từ vựng. Đó là những hạn chế của phần mềm Vietkey Office.
Trang 1
Trang 2
Trang 3
Trang 4
Trang 5
Trang 6
Trang 7
Tóm tắt nội dung tài liệu: Thuật toán kiểm tra âm tiết Tiếng Việt dựa trên luật cấu tạo âm tiết
TẠP CHÍ KHOA HỌC, Đại học Huế, Số 25, 2004 THUẬT TOÁN KIỂM TRA ÂM TIẾT TIẾNG VIỆT DỰA TRÊN LUẬT CẤU TẠO ÂM TIẾT Nguyễn Gia Định, Trần Thanh Lương Trường Đại học Khoa học, Đại học Huế 1. GIỚI THIỆU Trong thời đại ngày nay nhu cầu giao tiếp bằng văn bản ngày càng nhiều. Các văn bản này thường được in ra từ máy tính thông qua các phần mềm soạn thảo văn bản như: MS Word, Word Perfect... nó cần phải đúng, chính xác và hiệu quả. Để làm được như vậy chúng ta phải kiểm tra chính tả, ngữ pháp văn bản trước khi in ra và gửi đi. Tuy nhiên, khi văn bản lớn thì việc kiểm tra do con người thực hiện mất rất nhiều thời gian và là một công việc nhàm chán. Vì nhiều nguyên nhân, trong đó có nguyên nhân về tâm lý làm người kiểm tra không kiểm tra hết văn bản, hoặc khi kiểm tra xong văn bản thì cũng không đảm bảo văn bản đúng toàn bộ. Sai sót lớn nhất trong văn bản thường là lỗi chính tả không cố ý (tức là lỗi do đánh máy nhầm). Xuất phát từ những yều cầu đó mà trong phần mềm MS Word cũng đã có chức năng kiểm tra chính tả và ngữ pháp tiếng Anh ở một mức độ tương đối nhất định. Việc kiểm tra lỗi chính tả diễn ra khá dễ dàng trong MS Word, nhưng với lỗi ngữ pháp thì chưa hoàn toàn đúng. Vấn đề kiểm tra ngữ pháp đối với ngôn ngữ tự nhiên là một trong những vấn đề rất khó và đang được nghiên cứu bởi các nhà khoa học, các hãng phần mềm lớn trên thế giới. Đối với tiếng Việt cũng đã xuất hiện phần mềm kiểm tra chính tả, đó là phần mềm Vietkey Office, phần mềm này kiểm tra lỗi chính tả dựa trên một tập các từ vựng có sẵn trong từ điển. Vì vậy khả năng mở của phần mềm là không có, tức là không có khả năng học các từ mới từ văn bản đúng chính tả. Hơn nữa do sử dụng cơ chế lưu các từ vựng trong từ điển nên phải lưu trữ một lượng khá lớn các từ vựng. Đó là những hạn chế của phần mềm Vietkey Office. Trong bài báo báo này, chúng tôi đưa ra một phương pháp mới dùng để kiểm tra lỗi chính tả tiếng Việt. Đó là kiểm tra chính tả dựa trên luật cấu tạo âm tiết tiếng Việt. Trong phần 2, chúng tôi sẽ giới thiệu về cấu trúc âm tiết theo cách tiếp cận hướng ngôn ngữ; và theo cách tiếp cận hướng tổ hợp âm; Phần 3 là phần so sánh giữa hai cách tiếp cận trên. Cuối cùng là các thuật toán, tổ chức, cài đặt và một số nhận xét. 2. PHÂN TÍCH CẤU TRÚC ÂM TIẾT 2.1. Âm tiết Âm tiết là đơn vị phát âm nhỏ nhất mà cho dù ta có phát âm chậm đến mấy đi nữa cũng không thể tách ra thành các phần nhỏ hơn được. 2.2. Cấu trúc âm tiết 5 thành phần: (Cách tiếp cận theo hướng ngôn ngữ) Theo ngôn ngữ học một âm tiết tiếng Việt được cấu tạo từ năm thành phần sau: - Âm đầu - Âm đệm - Âm chính - Âm cuối - Thanh điệu Chúng ta có thể viết cấu trúc của một âm tiết theo cách tiếp cận 5 thành phần như sau: Âm tiết = [Âm đầu][Âm đệm][Âm cuối][Thanh điệu] Trong đó những thành phần nằm trong cặp dấu là bắt buộc phải có, những thành phần nằm trong cặp dấu [ ] thì có thể có hoặc không. Ví dụ: Âm tiết Các thành phần cấu tạo thành âm tiết hoặc Âm đầu h Âm đệm o Âm chính ă Âm cuối c Thanh điệu . hai Âm đầu h Âm đệm không có Âm chính ai Âm cuối không có Thanh điệu không có O Âm đầu không có Âm đệm không có Âm chính o Âm cuối không có Thanh điệu không có Đây là một cách tiếp cận rất tốt trong việc phân tích ngôn ngữ tiếng Việt. Tuy nhiên, cách tiếp cận này rất khó khăn trong việc kiểm tra lỗi chính tả trên máy tính. Vì vậy, chúng tôi đưa ra một cách tiếp cận mới ngắn gọn hơn để dễ dàng cho việc kiểm tra chính tả trên máy tính. 2.3. Cấu trúc âm tiết ba thành phần: (Cách tiếp cận theo hướng tổ hợp âm) Chúng ta có thể phân tích một âm tiết thành ba thành phần sau: - Âm đầu - Tổ hợp âm giữa - Âm cuối Cấu trúc của một âm tiết theo cách tiếp cận 3 thành phần sẽ được viết lại như sau: Âm tiết = [Âm đầu][Âm cuối] Trong đó những thành phần nằm trong cặp dấu là bắt buộc phải có, những thành phần nằm trong cặp dấu [ ] thì có thể có hoặc không. Ví dụ: Âm tiết Các thành phần cấu tạo thành âm tiết hoặc Âm đầu h Tổ hợp âm giữa oặ Âm cuối c Hai Âm đầu h Tổ hợp âm giữa ai Âm cuối không có O Âm đầu không có Tổ hợp âm giữa o Âm cuối không có Âm đầu gồm có 27 loại như sau: b, c, ch, d, đ, g, gh, h, k, kh, l, m, n, ng, ngh, nh, p, ph, q, r, s, t, th, tr, v, x, none Tổ hợp âm giữa có số lượng rất lớn, tổ hợp âm giữa sẽ được cập nhật trong quá trinh học văn bản của chương trình. Ví dụ một số tổ hợp âm giữa là: a, ai, au, ay, e, eo, i, ia, iai, iày, iá, iáo... Âm cuối gồm có 9 loại như sau: c, ch, m, n, ng, nh, p, t, none Trong đó: none có nghĩa là âm khuyết. Trong cấu trúc âm tiết 3 thành phần thì tổ hợp âm giữa là thành phần bắt buộc phải có, nó là thành phần chính cấu tạo nên âm tiết. Dựa trên cấu trúc âm tiết 3 thành phần chúng ta thấy một tổ hợp âm giữa thì có thể ghép với một số âm đầu và một số âm cuối nhất định, điều này có thể minh họa như sau: Âm đầu Tổ hợp âm giữa Âm cuối 1. b 15. ngh ươ 1. c 2.c 16. nh 2. ch 3. ch 17. p 3. m 4. d 18. ph 4. n 5. đ 19. q 5. ng 6. g 20. r 6. nh 7. gh 21. s 7. p 8. h 22. t 8. t 9. k 23. th 9. none 10. kh 24. tr 11. l 25. v 12. m
File đính kèm:
- thuat_toan_kiem_tra_am_tiet_tieng_viet_dua_tren_luat_cau_tao.doc