Làm thế nào để Chat-GPT, Google Bard hiểu được ngôn ngữ của con người?
Sau hiện tượng Chat-GPT, Google Bard... chắc có lẽ chúng ta đã từng đặt câu hỏi thắc mắc: Bằng cách nào Chatbot AI có thể học được cách giao tiếp giống ngôn ngữ của con người? Tiếng nói của nhân loại đã được định hình trong máy học như thế nào? Trong bài viết này chúng tôi sẽ giới thiệu một trong nhiều các lý thuyết ngôn ngữ học được ứng dụng vào bài toán xử lý ngôn ngữ tự nhiên.
Các nghiên cứu về ngôn ngữ học, tâm lý học con người đã đạt được thành tựu rất sớm... Tuy nhiên, mãi cho đến gần đây việc ứng dụng các lý thuyết này vào lĩnh vực máy học, khoa học máy tính mới có những tiến bộ rõ ràng. Việc này cũng không có gì lạ: thường thì các nhà khoa học không biết lập trình, còn các kỹ sư lập trình thì không hiểu gì về ngôn ngữ học và tâm lý học.
Nhận thấy rõ rào cản này, các công ty công nghệ lớn như Microsoft, Google... đã tập hợp các nhà khoa học, các nhà nghiên cứu ngôn ngữ, các chuyên gia tâm lý, các bác sĩ. Và thành lập một nhóm chuyên gia đi tìm giải pháp chung cho vấn đề xử lý ngôn ngữ tự nhiên đang gặp bế tắc.
Một trong số nhiều các lý thuyết ngôn ngữ học được ứng dụng là: Lý thuyết Mồi cấu trúc (Structural Priming).
Lý thuyết Mồi cấu trúc (Structural Priming) và giải pháp đào tạo Chatbot AI
Năm 1986, nữ khoa học gia J. Kathryn Bock đã công bố một nghiên cứu về cấu trúc ngôn ngữ trong bài báo với tiêu đề “Syntactic Persistence in Language Production” và khái niệm về Mồi cấu trúc (Structural Priming) đã được nhắc đến.
Lý thuyết này mô tả rằng: Trong giao tiếp, con người có xu hướng tái sử dụng cấu trúc câu từ người đối thoại.
Ví dụ:
A: Chuyện ấy đã xử lý xong chưa?
B: Chuyện ấy đã xong rồi!
A: Đi xem phim Đất Rừng Phương Nam không?
B: Chưa xem. Nhưng mà có lẽ không xem!
Việc não có xu hướng tái sử dụng cấu trúc trong một cuộc đối thoại được giải thích là giúp nó không cần phải tốn nhiều thời gian suy nghĩ, và mô tả này cũng giống như các lý thuyết được công bố trước đó: cú pháp ngôn ngữ được định hình từ bên trong não bộ của con người.
Mô tả rõ hơn về tiến trình định hình lời nói, Levelt (1989) cho rằng:
(1) Não hình thành thông điệp phi ngôn ngữ;
(2) Thông điệp được sắp xếp với các cấu trúc ngữ pháp phù hợp;
(3) Quá trình chuyển đổi từ suy nghĩ thành cấu trúc âm thanh;
(4) Các cơ khớp được điều khiển để phát hành lời nói.
Các nghiên cứu trước đó của Chomsky (1965) cũng cho rằng quá trình kết xuất ngôn ngữ được hình thành qua từng lớp riêng biệt: lớp thông điệp, lớp hình thành từ ngữ và lớp ngữ pháp.
Ví dụ như câu: Tôi bị kèn xe tải làm giật mình.
Câu này được định hình từ cấu trúc: Tôi bị _______ làm _____.
Từ ngôn ngữ học đến các mô hình ngôn ngữ chuyển đổi
Các mô hình ngôn ngữ máy học ứng dụng như Transformer được hoạt động trên nguyên lý: sử dụng câu đầu vào để dự đoán câu đầu ra, đồng thời, các mô hình được huấn luyện với dữ liệu chứa hàng tỷ câu.
Chính vị vậy, nhiều người bị đánh lừa rằng họ đang đối thoại một thứ gì đó thông minh rất giống con người.
Tổng quan về xử lý ngôn ngữ tự nhiên
Chatbot ngày nay đã vượt qua vai trò là công cụ tiêu khiển, nó thông minh hơn, hiểu biết nhiều vấn đề hơn, biết lập trình và biết xử lý cả tình huống…. Và để có được thành tựu như hôm nay, chatbot đã khởi đầu bằng công nghệ kiểu như robot ELIZA.
Hệ thống lý luận Bayesian
Từ những năm 1960, việc sử dụng kho ngữ liệu lớn để xử lý ngôn ngữ tự nhiên bắt đầu được định hình. Bộ sưu tập Ameriacan English đã tổng hợp được hơn một triệu văn bản từ các tạp chí, báo, tiểu thuyết...
Mô hình xác xuất The Noisy Channel, giải pháp xử lý tín hiệu bị nhiễu sau truyền dẫn
Giai đoạn thứ 3 (1970-1983) chứng kiến sự phát triển mạnh mẽ của ngành xử lý ngôn ngữ tự nhiên và nhận dạng tiếng nói và đồng thời các thuật toán và mô hình đã được phát triển đó vẫn được duy trì phát triển.
Mô hình ẩn Hidden Markov Model (HMM), bước tiến lớn trong lĩnh vực trí tuệ nhân tạo
Mô hình ẩn Hidden Markov Model (HMM) được phát triển trên lý thuyết xác xuất thông kê, giả định rằng: Có 2 nguồn thông tin: (1) Một nguồn thì có thể thu thập được; và nguồn thứ (2) thì không thu thập được (bị ẩn). Và chúng ta có thể giải mã nguồn thông tin thứ 2 qua xác xuất và suy luận.
Xác suất có điều kiện (conditional probability) và ví dụ bằng Java
Xác suất có điều kiện là bài toán dùng để tính một sự kiện B có (hoặc không) khả năng xảy ra khi biết rằng sự kiện A đã xảy ra. Công thức dùng để tính xác xuất có điều kiện là P(B|A).
Automata không có gì khó hiểu!
Khi nhắc đến Lý thuyết tính toán (Theory of Computation) nghĩa là chúng ta đang bàn đến một nhánh của Khoa học máy tính (Coputer Science), lĩnh vực có thể giải quyết các vấn đề tính toán bằng cách sử dụng thuật toán (algorithm) và các mô hình tính toán (model of computation).