Thuật toán kiểm tra âm tiết Tiếng Việt dựa trên luật cấu tạo âm tiết

Trong thời đại ngày nay nhu cầu giao tiếp bằng văn bản ngày càng nhiều. Các văn bản này thường được in ra từ máy tính thông qua các phần mềm soạn thảo văn bản như: MS Word, Word Perfect. nó cần phải đúng, chính xác và hiệu quả. Để làm được như vậy chúng ta phải kiểm tra chính tả, ngữ pháp văn bản trước khi in ra và gửi đi. Tuy nhiên, khi văn bản lớn thì việc kiểm tra do con người thực hiện mất rất nhiều thời gian và là một công việc nhàm chán. Vì nhiều nguyên nhân, trong đó có nguyên nhân về tâm lý làm người kiểm tra không kiểm tra hết văn bản, hoặc khi kiểm tra xong văn bản thì cũng không đảm bảo văn bản đúng toàn bộ. Sai sót lớn nhất trong văn bản thường là lỗi chính tả không cố ý (tức là lỗi do đánh máy nhầm).

Xuất phát từ những yều cầu đó mà trong phần mềm MS Word cũng đã có chức năng kiểm tra chính tả và ngữ pháp tiếng Anh ở một mức độ tương đối nhất định.

Việc kiểm tra lỗi chính tả diễn ra khá dễ dàng trong MS Word, nhưng với lỗi ngữ pháp thì chưa hoàn toàn đúng. Vấn đề kiểm tra ngữ pháp đối với ngôn ngữ tự nhiên là một trong những vấn đề rất khó và đang được nghiên cứu bởi các nhà khoa học, các hãng phần mềm lớn trên thế giới. Đối với tiếng Việt cũng đã xuất hiện phần mềm kiểm tra chính tả, đó là phần mềm Vietkey Office, phần mềm này kiểm tra lỗi chính tả dựa trên một tập các từ vựng có sẵn trong từ điển. Vì vậy khả năng mở của phần mềm là không có, tức là không có khả năng học các từ mới từ văn bản đúng chính tả. Hơn nữa do sử dụng cơ chế lưu các từ vựng trong từ điển nên phải lưu trữ một lượng khá lớn các từ vựng. Đó là những hạn chế của phần mềm Vietkey Office.

 

Thuật toán kiểm tra âm tiết Tiếng Việt dựa trên luật cấu tạo âm tiết trang 1

Trang 1

Thuật toán kiểm tra âm tiết Tiếng Việt dựa trên luật cấu tạo âm tiết trang 2

Trang 2

Thuật toán kiểm tra âm tiết Tiếng Việt dựa trên luật cấu tạo âm tiết trang 3

Trang 3

Thuật toán kiểm tra âm tiết Tiếng Việt dựa trên luật cấu tạo âm tiết trang 4

Trang 4

Thuật toán kiểm tra âm tiết Tiếng Việt dựa trên luật cấu tạo âm tiết trang 5

Trang 5

Thuật toán kiểm tra âm tiết Tiếng Việt dựa trên luật cấu tạo âm tiết trang 6

Trang 6

Thuật toán kiểm tra âm tiết Tiếng Việt dựa trên luật cấu tạo âm tiết trang 7

Trang 7

doc 7 trang Trúc Khang 11/01/2024 3540
Bạn đang xem tài liệu "Thuật toán kiểm tra âm tiết Tiếng Việt dựa trên luật cấu tạo âm tiết", để tải tài liệu gốc về máy hãy click vào nút Download ở trên

Tóm tắt nội dung tài liệu: Thuật toán kiểm tra âm tiết Tiếng Việt dựa trên luật cấu tạo âm tiết

Thuật toán kiểm tra âm tiết Tiếng Việt dựa trên luật cấu tạo âm tiết
TẠP CHÍ KHOA HỌC, Đại học Huế, Số 25, 2004
THUẬT TOÁN KIỂM TRA ÂM TIẾT TIẾNG VIỆT 
DỰA TRÊN LUẬT CẤU TẠO ÂM TIẾT
Nguyễn Gia Định, Trần Thanh Lương
Trường Đại học Khoa học, Đại học Huế
1. GIỚI THIỆU
Trong thời đại ngày nay nhu cầu giao tiếp bằng văn bản ngày càng nhiều. Các văn bản này thường được in ra từ máy tính thông qua các phần mềm soạn thảo văn bản như: MS Word, Word Perfect... nó cần phải đúng, chính xác và hiệu quả. Để làm được như vậy chúng ta phải kiểm tra chính tả, ngữ pháp văn bản trước khi in ra và gửi đi. Tuy nhiên, khi văn bản lớn thì việc kiểm tra do con người thực hiện mất rất nhiều thời gian và là một công việc nhàm chán. Vì nhiều nguyên nhân, trong đó có nguyên nhân về tâm lý làm người kiểm tra không kiểm tra hết văn bản, hoặc khi kiểm tra xong văn bản thì cũng không đảm bảo văn bản đúng toàn bộ. Sai sót lớn nhất trong văn bản thường là lỗi chính tả không cố ý (tức là lỗi do đánh máy nhầm).
Xuất phát từ những yều cầu đó mà trong phần mềm MS Word cũng đã có chức năng kiểm tra chính tả và ngữ pháp tiếng Anh ở một mức độ tương đối nhất định. Việc kiểm tra lỗi chính tả diễn ra khá dễ dàng trong MS Word, nhưng với lỗi ngữ pháp thì chưa hoàn toàn đúng. Vấn đề kiểm tra ngữ pháp đối với ngôn ngữ tự nhiên là một trong những vấn đề rất khó và đang được nghiên cứu bởi các nhà khoa học, các hãng phần mềm lớn trên thế giới. Đối với tiếng Việt cũng đã xuất hiện phần mềm kiểm tra chính tả, đó là phần mềm Vietkey Office, phần mềm này kiểm tra lỗi chính tả dựa trên một tập các từ vựng có sẵn trong từ điển. Vì vậy khả năng mở của phần mềm là không có, tức là không có khả năng học các từ mới từ văn bản đúng chính tả. Hơn nữa do sử dụng cơ chế lưu các từ vựng trong từ điển nên phải lưu trữ một lượng khá lớn các từ vựng. Đó là những hạn chế của phần mềm Vietkey Office.
Trong bài báo báo này, chúng tôi đưa ra một phương pháp mới dùng để kiểm tra lỗi chính tả tiếng Việt. Đó là kiểm tra chính tả dựa trên luật cấu tạo âm tiết tiếng Việt. Trong phần 2, chúng tôi sẽ giới thiệu về cấu trúc âm tiết theo cách tiếp cận hướng ngôn ngữ; và theo cách tiếp cận hướng tổ hợp âm; Phần 3 là phần so sánh giữa hai cách tiếp cận trên. Cuối cùng là các thuật toán, tổ chức, cài đặt và một số nhận xét.
2. PHÂN TÍCH CẤU TRÚC ÂM TIẾT
2.1. Âm tiết
Âm tiết là đơn vị phát âm nhỏ nhất mà cho dù ta có phát âm chậm đến mấy đi nữa cũng không thể tách ra thành các phần nhỏ hơn được.
2.2. Cấu trúc âm tiết 5 thành phần: (Cách tiếp cận theo hướng ngôn ngữ)
Theo ngôn ngữ học một âm tiết tiếng Việt được cấu tạo từ năm thành phần sau:
- Âm đầu
- Âm đệm
- Âm chính
- Âm cuối
- Thanh điệu
Chúng ta có thể viết cấu trúc của một âm tiết theo cách tiếp cận 5 thành phần như sau:
Âm tiết = [Âm đầu][Âm đệm][Âm cuối][Thanh điệu]
Trong đó những thành phần nằm trong cặp dấu là bắt buộc phải có, những thành phần nằm trong cặp dấu [ ] thì có thể có hoặc không.
Ví dụ: 
Âm tiết
Các thành phần cấu tạo thành âm tiết
hoặc
Âm đầu
h
Âm đệm
o
Âm chính
ă
Âm cuối
c
Thanh điệu
.
hai
Âm đầu
h
Âm đệm
không có
Âm chính
ai 
Âm cuối
không có
Thanh điệu
không có
O
Âm đầu
không có
Âm đệm
không có
Âm chính
o
Âm cuối
không có
Thanh điệu
không có
Đây là một cách tiếp cận rất tốt trong việc phân tích ngôn ngữ tiếng Việt. Tuy nhiên, cách tiếp cận này rất khó khăn trong việc kiểm tra lỗi chính tả trên máy tính. Vì vậy, chúng tôi đưa ra một cách tiếp cận mới ngắn gọn hơn để dễ dàng cho việc kiểm tra chính tả trên máy tính.
2.3. Cấu trúc âm tiết ba thành phần: (Cách tiếp cận theo hướng tổ hợp âm)
Chúng ta có thể phân tích một âm tiết thành ba thành phần sau:
- Âm đầu
- Tổ hợp âm giữa
- Âm cuối
Cấu trúc của một âm tiết theo cách tiếp cận 3 thành phần sẽ được viết lại như sau:
Âm tiết = [Âm đầu][Âm cuối]
Trong đó những thành phần nằm trong cặp dấu là bắt buộc phải có, những thành phần nằm trong cặp dấu [ ] thì có thể có hoặc không.
Ví dụ:
Âm tiết
Các thành phần cấu tạo thành âm tiết
hoặc
Âm đầu
h
Tổ hợp âm giữa
oặ
Âm cuối
c
Hai
Âm đầu
h
Tổ hợp âm giữa
ai
Âm cuối
không có
O
Âm đầu
không có
Tổ hợp âm giữa
o
Âm cuối
không có
Âm đầu gồm có 27 loại như sau:
b, c, ch, d, đ, g, gh, h, k, kh, l, m, n, ng, ngh, nh, p, ph, q, r, s, t, th, tr, v, x, none
Tổ hợp âm giữa có số lượng rất lớn, tổ hợp âm giữa sẽ được cập nhật trong quá trinh học văn bản của chương trình. Ví dụ một số tổ hợp âm giữa là:
a, ai, au, ay, e, eo, i, ia, iai, iày, iá, iáo...
Âm cuối gồm có 9 loại như sau:
c, ch, m, n, ng, nh, p, t, none
Trong đó: none có nghĩa là âm khuyết.
Trong cấu trúc âm tiết 3 thành phần thì tổ hợp âm giữa là thành phần bắt buộc phải có, nó là thành phần chính cấu tạo nên âm tiết.
Dựa trên cấu trúc âm tiết 3 thành phần chúng ta thấy một tổ hợp âm giữa thì có thể ghép với một số âm đầu và một số âm cuối nhất định, điều này có thể minh họa như sau:
Âm đầu
Tổ hợp âm giữa
Âm cuối
1. b
15. ngh
ươ
1. c
2.c
16. nh
2. ch
3. ch
17. p
3. m
4. d
18. ph
4. n
5. đ
19. q
5. ng
6. g
20. r
6. nh
7. gh
21. s
7. p
8. h
22. t
8. t
9. k
23. th
9. none
10. kh
24. tr

11. l
25. v

12. m

File đính kèm:

  • docthuat_toan_kiem_tra_am_tiet_tieng_viet_dua_tren_luat_cau_tao.doc