Luận án TS: Xây dựng, chuẩn hóa & khai thác kho ngữ liệu Internet cho xử lý tiếng Việt

Kho ngữ liệu là xương sống của mọi hệ thống XLTN hiện đại. Chúng cung cấp dữ liệu huấn luyện cho các thuật toán học máy. Ngữ liệu tiếng Việt phong phú giúp các mô hình hiểu sâu sắc hơn về ngôn ngữ. Dữ liệu chất lượng cao cải thiện độ chính xác của các tác vụ như dịch máy, nhận dạng giọng nói, và phân tích văn bản tiếng Việt. Sự tồn tại của kho dữ liệu Internet khổng lồ mở ra cơ hội mới. Việc khai thác dữ liệu này là cần thiết để đẩy mạnh nghiên cứu và ứng dụng.

Tiếng Việt là ngôn ngữ phức tạp. Cấu trúc ngữ pháp, từ vựng và đặc tính không có khoảng trắng phân tách từ gây khó khăn. Việc thiếu các tài nguyên ngôn ngữ có chú giải lớn làm chậm tiến độ. Các công cụ XLTN tiếng Việt hiện có vẫn chưa đạt độ chính xác cao. Việc xây dựng ngữ liệu từ Internet đặt ra nhiều thách thức. Chúng bao gồm lọc nhiễu, chuẩn hóa đa dạng và đảm bảo chất lượng dữ liệu. Đây là những vấn đề trọng tâm cần giải quyết.

Quy trình thu thập bắt đầu bằng danh sách các từ khóa hạt giống. Các từ này giúp xác định các trang web tiềm năng. Từ các trang web ban đầu, hệ thống tiếp tục thu thập các liên kết liên quan. Việc này giúp mở rộng kho dữ liệu. Thuật toán được thiết kế để tự động hóa quá trình này. Dữ liệu thu thập được bao gồm nhiều định dạng khác nhau. Chúng cần được xử lý và chuẩn hóa ở các bước sau.

Các trang web thường chứa nhiều nội dung không liên quan. Chúng bao gồm quảng cáo, menu, và mã HTML. Hệ thống cần lọc bỏ các thành phần này để giữ lại nội dung chính. Sau khi lọc, dữ liệu vẫn có thể chứa các bản sao gần nhau. Thuật toán phát hiện sự trùng lặp gần nhau được áp dụng. Điều này giúp giảm kích thước ngữ liệu. Nó cũng đảm bảo sự đa dạng của các văn bản. Giảm trùng lặp là rất quan trọng để tránh sai lệch trong quá trình huấn luyện mô hình ngôn ngữ.

Một công cụ thu thập dữ liệu chuyên biệt đã được xây dựng. Công cụ này tự động hóa toàn bộ quá trình. Nó từ thu thập URL đến lọc và phát hiện trùng lặp. Công cụ đảm bảo hiệu quả và tốc độ. Kết quả là một kho ngữ liệu tiếng Việt thô lớn. Kho này sẵn sàng cho các giai đoạn xử lý tiếp theo. Sự phát triển công cụ này là một đóng góp quan trọng. Nó giúp tiết kiệm thời gian và tài nguyên cho việc xây dựng ngữ liệu.

Mô hình MAF được sử dụng để chuẩn hóa thông tin hình thái. Nó xác định các đơn vị cơ sở (segment) và hình thái từ (wordform). Mô hình này cung cấp khung sườn cho việc gắn nhãn hình thái cú pháp. Mô hình SynAF bổ sung việc chú giải cú pháp. Các chuẩn này đảm bảo tính nhất quán. Nó giúp ngữ liệu có thể tương tác với các hệ thống khác. Việc áp dụng chuẩn quốc tế là cần thiết. Nó giúp xây dựng các tài nguyên ngôn ngữ có giá trị toàn cầu.

Quá trình chú giải hình thái cho tiếng Việt bao gồm việc xác định từ loại và các đặc điểm ngữ pháp. Ví dụ, phân biệt danh từ, động từ, tính từ. Chú giải cú pháp liên quan đến việc xác định các mối quan hệ giữa các từ trong câu. Điều này bao gồm cấu trúc câu và các phụ thuộc ngữ pháp. Việc này tạo ra một kho ngữ liệu có chú giải sâu. Ngữ liệu này là tài nguyên quý giá cho các nghiên cứu mô hình ngôn ngữ. Nó hỗ trợ phát triển các công cụ phân tích văn bản tiếng Việt.

Để tích hợp ngữ liệu tiếng Việt vào Sketch Engine, nhiều bước xử lý được thực hiện. Đầu tiên là tách từ và gán nhãn từ loại (POS tagging). Đây là nền tảng cho mọi phân tích sau đó. Sau đó, một bộ quan hệ ngữ pháp tiếng Việt được xây dựng. Bộ này giúp Sketch Engine nhận diện các collocation và cấu trúc ngữ pháp đặc trưng. Việc triển khai Sketch Engine cho tiếng Việt cung cấp một công cụ mạnh mẽ. Nó hỗ trợ các nhà nghiên cứu ngôn ngữ và phát triển AI tiếng Việt.

Bộ quan hệ ngữ pháp là trọng tâm của việc khai thác từ vựng. Nó xác định các mối liên hệ phổ biến giữa các từ. Ví dụ, mối quan hệ giữa động từ và tân ngữ, tính từ và danh từ. Việc xây dựng bộ này yêu cầu kiến thức chuyên sâu về tiếng Việt. Nó cũng đòi hỏi kinh nghiệm trong phân tích văn bản tiếng Việt. Bộ quan hệ ngữ pháp được đánh giá cẩn thận. Mục tiêu là đảm bảo độ chính xác cao nhất. Điều này cải thiện khả năng phân tích và tạo sinh ngôn ngữ của các mô hình.

Thuật toán trích rút văn phạm CFG được phát triển. Nó dựa trên dữ liệu từ VietTreebank. Việc trích rút này tạo ra một bộ quy tắc ngữ pháp. Bộ này dùng để phân tích cú pháp tiếng Việt. Phân tích cú pháp với văn phạm PCFG (Probabilistic Context Free Grammar) được thực hiện. Thử nghiệm và đánh giá cho thấy tiềm năng. Tuy nhiên, PCFG cũng có những nhược điểm cố hữu. Nó gặp khó khăn trong việc xử lý các cấu trúc phức tạp của tiếng Việt.

Nhược điểm của văn phạm PCFG nằm ở khả năng thể hiện các phụ thuộc xa. Nó cũng gặp hạn chế trong xử lý các cấu trúc ngữ pháp đặc thù của tiếng Việt. Để vượt qua các hạn chế này, luận án nghiên cứu LTAG. Thuật toán trích rút LTAG tự động được xây dựng. Nó sử dụng cả VietTreebank và từ điển tiếng Việt. LTAG có khả năng mô tả tốt hơn các cấu trúc phức tạp. Nó mang lại tiềm năng lớn cho phân tích cú pháp tiếng Việt chính xác hơn. Việc này góp phần vào sự tiến bộ của học máy cho tiếng Việt.