Các kỹ thuật thường dùng trong kiểm tra lỗi chính tả và sửa lỗi chính tả
Phần mềm kiểm tra lỗi chính tả tiếng Việt là kỹ thuật phát hiện lỗi, đưa ra gợi ý và sửa lỗi cho các từ viết sai chính tả. Các phần mềm kiểm tra lỗi chính tả rất đa dạng: Nó có thể là ứng dụng độc lập hoạt động trên web, desktop, add-in hoạt động trên các phần mềm biên soạn văn bản như Office Word; Nó có khả năng xác định lỗi chính tả từ một khối văn bản, một bài viết, thậm chí đến cả một tập tin.
Trong bài viết này, chúng ta sẽ cùng tìm hiểu về các kỹ thuật thường được sử dụng để xây dựng nên một phần mềm kiểm tra lỗi chính tả.
1. Các kỹ thuật kiểm tra lỗi chính tả
Xử lý ngôn ngữ tự nhiên (NLP) là công tác chuyển đổi ngôn ngữ của con người thành ngôn ngữ máy, để từ đó máy tính có thể hiểu được những gì con người nói và viết. NLP là một nhóm bao gồm các phân nhánh như tóm tắt văn bản, dịch máy, phân tích cú pháp, truy xuất thông tin, nhận dạng quang học, trả lời câu hỏi.
1.1. Kỹ thuật tra cứu từ điển
Tra cứu từ điển là một trong những kỹ thuật cơ bản được sử dụng để kiểm tra mọi từ trong văn bản có tồn tại trong từ điển hay không. Nếu từ đó có trong từ điển, thì đó là một từ đúng. Nếu không, nó sẽ được đưa vào danh sách các từ lỗi. Kỹ thuật phổ biến nhất để truy cập
nhanh vào từ điển là sử dụng Bảng băm. Để tra cứu một chuỗi đầu vào, người ta chỉ cần tính toán các địa chỉ băm của nó và truy xuất từ được lưu trữ tại địa chỉ đó trong bảng băm đã được tính toán từ trước.
Nếu từ được lưu trữ tại địa chỉ băm khác với chuỗi đầu vào hoặc là null, thì lỗi chính tả sẽ được chỉ ra.
1.2. Kỹ thuật phân tích N-gram
N-gram là kỹ thuật phân tích một câu thành một cụm từ hoặc nhiều cụm từ. VÍ dụ: một chữ cái được gọi là unigram hoặc monogram; hai chữ cái được gọi là bi-gram và n-gram ba chữ
cái được gọi là trigram.
Nhìn chung, kỹ thuật phát hiện n-gram hoạt động bằng cách kiểm tra từng n-gram là một chuỗi đầu vào và tra cứu nó trong bảng thống kê n-gram được biên dịch trước để xác định xem nó có tồn tại hay không hoặc tần suất của các từ hoặc chuỗi được tìm thấy có chứa không tồn tại hoặc n-gram rất ít khi xuất hiện được xác định là lỗi chính tả.
2. Các kỹ thuật sửa lỗi chính tả
Có khá nhiều kỹ thuật sửa lỗi chính tả tiếng Việt, cũng như là lỗi chính tả tiếng Anh. Dưới đây chúng ta thử tìm hiểu một số kỹ thuật sửa lỗi phổ biến.
2.1. Kỹ thuật chỉnh sửa khoản cách tối thiểu
Chỉnh sửa khoản cách tối thiểu là kỹ thuật thao tác chuỗi, chèn, xoá và thay thế để chuyển đổi một chuỗi văn bản thành một chuỗi khác. Ý tưởng của thuật toán là yêu cầu m phép so sánh giữa từ sai chính tả và từ điển gồm m từ. Sau khi so sánh, các từ có khoản cách chỉnh sửa tối thiểu được chọn làm các từ gợi ý đúng.
Các thuật toán chỉnh sửa khoản cách tối thiểu phổ biến là: Thuật toán Levenshtein, Thuật toán Hamming, Thuật toán Longest Common Subsequence.
2.1.1 Thuật toán Levenshtein
Nguyên lý hoạt động của thuật toán Levenshtein là thực hiện các thao tác chèn, xóa hoặc thay thế cần thiết để chuyển đổi một chuỗi thành chuỗi khác. Ưu điểm của thuật toán này là khá linh hoạt và có thể xử lý các loại lỗi khác nhau trong chuỗi. Tuy nhiên, nhược điểm của thuật toán Levenshtein là tốc độ chậm, tốn nhiều tài nguyên tính toán cho từ điển có số lượng lớn.
2.1.2 Thuật toán Hamming
Thuật toán Hamming thường chỉ áp dụng cho các chuỗi có cùng độ dài. Thuật toán đếm số vị trí mà các ký tự tương ứng trong hai chuỗi khác nhau. Ưu điểm của thuật toán này là đơn giản và hiệu quả tính toán. Tuy nhiên, nó chỉ áp dụng cho các chuỗi có cùng độ dài và không xử lý các loại lỗi như chèn hoặc xóa.
Ngoài việc được ứng dụng trong việc sửa lỗi chính tả, nó còn được ứng dụng kiểm tra lỗi trong truyền dữ liệu, mã hóa, so sánh các chuỗi bit.
2.1.3 Thuật toán Chuỗi con chung dài nhất (Longest Common Subsequence - LCS)
Thuật toán Longest Common Subsequence với ý tưởng tìm chuỗi con chung dài nhất giữa hai chuỗi. Khoảng cách chỉnh sửa tối thiểu có thể ước lượng bằng cách trừ độ dài của LCS khỏi tổng độ dài của hai chuỗi. Nó có ưu điểm là dễ hiểu và có thể áp dụng cho nhiều bài toán. Tuy nhiên nó không trực tiếp tính khoảng cách chỉnh sửa mà chỉ cung cấp một ước lượng.
2.2. Kỹ thuật Similarity Key: Soundex Algorithm và SPEEDCOP System
Similarity key (khóa tương đồng) là một kỹ thuật được sử dụng để tìm kiếm các từ hoặc tên có cách phát âm tương tự nhau, mặc dù chúng có thể được viết khác nhau. Điều này đặc biệt hữu ích trong các ứng dụng như tìm kiếm thông tin, quản lý cơ sở dữ liệu và xử lý ngôn ngữ tự nhiên. Soundex Algorithm và SPEEDCOP System là hai trong số những thuật toán phổ biến nhất được sử dụng để tạo ra các similarity key.
2.2.1. Thuật toán mã hoá Soundex
Thuật toán Soundex mã hóa một từ thành một chuỗi các chữ số, trong đó mỗi chữ số đại diện cho một âm thanh. Các từ có cách phát âm tương tự nhau thường sẽ có cùng hoặc gần giống nhau về chuỗi mã hóa này. Dưới đây là ví dụ về cách hoạt động của thuật toán Soundex.
Ưu điểm của thuật toán Soundex là đơn giản, dễ triển khai. Hiệu quả trong việc tìm kiếm các từ có cách phát âm tương tự nhau. Tuy nhiên, Soundex xử lý không xử lý tốt các ngôn ngữ không sử dụng bảng chữ cái La-tin. Không phân biệt được các âm vị rất gần nhau.
Cách hoạt động:
- Giữ nguyên chữ cái đầu tiên.
- Loại bỏ các nguyên âm (a, e, i, o, u, y) và các phụ âm không âm đầu (h, w).
- Mã hóa các phụ âm còn lại thành các chữ số theo một bảng quy tắc nhất định.
- Bỏ đi các chữ số trùng lặp liên tiếp và giữ lại tối đa 4 chữ số sau chữ cái đầu tiên.
Ví dụ cụ thể:
- "Anderson" sẽ được mã hóa thành "A536".
- "Andrews" cũng sẽ được mã hóa thành "A536".
2.2.2. Kỹ thuật SPEEDCOP System
Nguyên lý: SPEEDCOP (Soundex Plus Enhanced Encoding for Phonetic Codes) là một phiên bản cải tiến của thuật toán Soundex, nhằm khắc phục một số hạn chế của Soundex.
Những điểm cải tiến của SPEEDCOP gồm sử dụng một bảng mã hóa phức tạp hơn để phân biệt tốt hơn các âm vị. Xử lý tốt hơn các ngôn ngữ không sử dụng bảng chữ cái La-tin. Có thể tùy chỉnh để phù hợp với các ngôn ngữ và ngữ âm khác nhau.
So với thuật toán Soundex thì SPEEDCOP có ưu điểm là chính xác hơn, linh hoạt hơn. Tuy nhiên, nhược điểm của SPEEDCOP là phức tạp hơn.
2.3. Kỹ thuật Rule-Based trong sửa lỗi chính tả
Kỹ thuật Rule-Based (Quy tắc dựa trên quy luật cơ sở) là một phương pháp truyền thống và phổ biến trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP), đặc biệt là trong các hệ thống sửa lỗi chính tả và ngữ pháp. Phương pháp này dựa trên việc xây dựng một tập hợp các quy tắc ngữ pháp và chính tả để tự động phát hiện và sửa chữa các lỗi trong văn bản.
Nguyên lý hoạt động cơ bản của kỹ thuật Rule-Based là xây dựng một bộ cơ sở dữ liệu chứa các quy tắc ngữ pháp, chính tả để phát hiện và sửa lỗi chính tả.
2.3.1. Các bước xây dựng bộ cơ sở dữ liệu quy tắc:
Quy tắc ngữ pháp: Định nghĩa cấu trúc câu, cách sử dụng các từ loại, các quy tắc về động từ, danh từ,...
Quy tắc chính tả: Liệt kê các lỗi chính tả phổ biến, các quy tắc về viết hoa, dấu câu,...
Phân tích văn bản: Văn bản đầu vào được phân tích cú pháp để xác định cấu trúc câu và các thành phần từ vựng. Mỗi từ và cụm từ được so sánh với các quy tắc đã định.
Phát hiện và sửa lỗi: Nếu một phần của văn bản vi phạm quy tắc, hệ thống sẽ xác định lỗi và đề xuất cách sửa chữa. Các lỗi phổ biến có thể bao gồm:
- Lỗi chính tả (ví dụ: "chào" thay vì "chào")
- Lỗi ngữ pháp (ví dụ: thiếu động từ, sai chủ ngữ-động từ)
- Lỗi dùng từ (ví dụ: dùng từ đồng âm sai nghĩa)
- Sửa chữa: Hệ thống sẽ áp dụng các quy tắc sửa chữa để thay thế hoặc chỉnh sửa phần văn bản có lỗi.
Ưu điểm của kỹ thuật Rule-Based là dễ hiểu và dễ giải thích các quy tắc. Có thể dễ dàng thêm, sửa hoặc xóa các quy tắc. Khi đã xây dựng được cơ sở dữ liệu quy tắc tốt, hệ thống có thể xử lý văn bản nhanh chóng.
2.4. Kỹ thuật Probabilistic trong sửa lỗi chính tả
Kỹ thuật Probabilistic (Xác suất) là một phương pháp hiện đại và hiệu quả trong việc xử lý ngôn ngữ tự nhiên, đặc biệt trong các hệ thống sửa lỗi chính tả và ngữ pháp. Thay vì dựa trên một tập hợp quy tắc cố định như kỹ thuật Rule-Based, phương pháp này sử dụng các mô hình xác suất để dự đoán lỗi và đề xuất các sửa chữa khả dĩ.
2.4.1. Transition Probabilities (Xác suất chuyển tiếp):
Là xác suất chuyển từ một trạng thái (một từ hoặc một chuỗi các từ) sang trạng thái tiếp theo trong một chuỗi. Nó được dùng để mô hình hóa cấu trúc câu, xác định khả năng xuất hiện của một từ sau một từ khác. Ứng dụng trong lĩnh vực sửa lỗi: Dùng để dự đoán từ tiếp theo có khả năng xuất hiện nhất trong một câu, từ đó tìm ra các lỗi thay thế.
Ví dụ: Xác suất chuyển từ tính từ sang động từ trong một câu tiếng Việt.
2.4.2. Confusion Probabilities (Xác suất nhầm lẫn):
Là xác suất mà một từ bị đánh máy sai thành một từ khác. Dùng để xây dựng một từ điển các lỗi đánh máy phổ biến và xác định khả năng một từ bị đánh sai thành một từ khác.
Ví dụ: Xác suất nhầm lẫn giữa "chào" và "chao".
Dưới đây là cách hoạt động xây dựng mô hình xác suất:
- Thu thập dữ liệu: Thu thập một lượng lớn văn bản để huấn luyện mô hình.
- Tính toán xác suất: Tính toán các xác suất chuyển tiếp và xác suất nhầm lẫn dựa trên dữ liệu đã thu thập.
- Phân tích văn bản: Văn bản đầu vào được phân tích thành các từ hoặc các chuỗi các từ. Mỗi phần của văn bản được so sánh với mô hình xác suất để tìm ra các lỗi có khả năng xảy ra.
- Sửa lỗi: Hệ thống sẽ đề xuất các sửa chữa dựa trên các xác suất đã tính toán. Sửa chữa có xác suất cao nhất thường được chọn.
Ưu điểm của kỹ thuật này là nó có thể tự động học hỏi từ dữ liệu và thích nghi với các ngôn ngữ khác nhau. Có thể xử lý các lỗi phức tạp và các trường hợp ngoại lệ tốt hơn kỹ thuật Rule-Based. Và dễ dàng tích hợp với các kỹ thuật học máy khác.
Tuy nhiên, Confusion Probabilities có nhược điểm là:
- Yêu cầu lượng dữ liệu lớn: Cần một lượng lớn dữ liệu để huấn luyện mô hình.
- Khó kiểm soát: Khó giải thích được lý do tại sao mô hình đưa ra quyết định như vậy.
- Tốn nhiều tài nguyên tính toán: Việc huấn luyện và sử dụng mô hình có thể tốn nhiều thời gian và bộ nhớ.
Kỹ thuật Probabilistic là một phương pháp mạnh mẽ và linh hoạt trong việc xử lý ngôn ngữ tự nhiên. Bằng cách sử dụng các mô hình xác suất, hệ thống có thể tự động học hỏi từ dữ liệu và đưa ra các quyết định chính xác hơn. Tuy nhiên, phương pháp này cũng có những hạn chế nhất định. Việc kết hợp kỹ thuật Probabilistic với các kỹ thuật khác như Rule-Based và Deep Learning có thể tạo ra các hệ thống xử lý ngôn ngữ tự nhiên hiệu quả hơn.
2.4.3. Kỹ thuật Neural Net trong xử lý lỗi chính tả
Mạng thần kinh (Neural Network) là một mô hình tính toán lấy cảm hứng từ cấu trúc và hoạt động của não bộ. Trong lĩnh vực sửa lỗi (correction), mạng thần kinh được sử dụng để học các quy tắc phức tạp từ một lượng lớn dữ liệu, từ đó tự động phát hiện và sửa chữa các lỗi trong văn bản.
Mạng thần kinh có khả năng học các đặc trưng phức tạp của ngôn ngữ, bao gồm cả các ngữ cảnh và các ngoại lệ, mà các phương pháp truyền thống như Rule-Based và Probabilistic khó xử lý.
2.4.3.1. Thuật toán Backpropagation
Thuật toán Backpropagation là một thuật toán học có giám sát được sử dụng để huấn luyện mạng thần kinh. Thuật toán này cho phép mạng thần kinh tự động điều chỉnh các trọng số (weights) và các bias (bias) của các nơ-ron để giảm thiểu sai số giữa đầu ra của mạng và nhãn thực tế.
Cách hoạt động của Backpropagation:
- Tiền truyền (Forward propagation): Dữ liệu đầu vào được đưa vào mạng thần kinh, thông qua các lớp ẩn và cuối cùng đến lớp đầu ra.
- Tính toán sai số: Sai số giữa đầu ra của mạng và nhãn thực tế được tính toán.
- Truyền ngược sai số (Backward propagation): Sai số được truyền ngược lại qua các lớp để tính toán độ dốc của hàm lỗi đối với các trọng số và bias.
- Cập nhật trọng số và bias: Các trọng số và bias được cập nhật theo hướng giảm thiểu sai số.
- Lặp lại: Các bước 1-4 được lặp lại nhiều lần cho đến khi đạt được độ chính xác mong muốn.
Thuật toán Backpropagation kết hợp với mạng thần kinh đã trở thành một công cụ mạnh mẽ trong lĩnh vực xử lý ngôn ngữ tự nhiên, đặc biệt là trong các hệ thống sửa lỗi. Mặc dù còn một số hạn chế, nhưng các nghiên cứu đang không ngừng được tiến hành để cải thiện hiệu suất và khả năng giải thích của các mô hình này.
