Lý thuyết Vùng không gian của khái niệm về nhận thức (Conceptual Spaces) và ứng dụng trong trí tuệ nhân tạo
Những dòng suy nghĩ luôn tuôn chảy không ngừng nghỉ trong bộ óc của chúng ta, nó chứa đầy đủ các hình dung: từ hình ảnh sặc sở bên ngoài cho đến những trường đoạn ký ức xưa cũ... Trí não, nhận thức và sự tưởng tượng của con người rất tuyệt vời và hoàn hảo. Vậy, tiến trình nhận thức này đến từ đâu và diễn tiến như thế nào?
Lý thuyết Vùng không gian của khái niệm về nhận thức(Conceptual Spaces)
Trước đây, lĩnh vực nghiên cứu khoa học nhận thức được phân thành 2 nhánh: (1) Một là Thuyết tâm lý học tượng trưng (symbolic) và (2) hai là Thuyết liên tưởng (associationism). Nhưng theo Giáo sư Peter Gärdenfors (Đại học Lund, Thuỵ Điển) thì cả 2 lý thuyết này đều chưa hoàn thiện và khó có thể mô hình hoá được. Để khắc phục vấn đề này, Gärdenfors đã phát triển lý thuyết: Vùng không gian của khái niệm về nhận thức(Conceptual Spaces)
Lý thuyết về Vùng không gian của khái niệm về nhận thức(Conceptual Spaces) mới được phát triển trong 3 thập kỷ gần đây. Trách nhiệm của các nhà khoa học là nghiên cứu tiến trình nhận thức của con người, động vật và hình thành các lý thuyết, lý luận khác nhau về khía cạnh nhận thức của con người để phục vụ cho công tác mô phỏng trí tuệ nhân tạo. Một trong các điển hình lý luận về khoa học nhận thức phải kể đến các dự án của Giáo sư Peter Gärdenfors (Đại học Lund, Thuỵ Điển) được công bố trong quyển “Geometry of Meaning”.
Khi con người tiếp cận một khái niệm mới, não bộ sẽ phân vùng trí nhớ và dành riêng cho nó một không gian trống để lưu trữ thông tin. Và khi các vấn đề của khái niệm này được bổ sung thì vùng không gian sẽ được mở rộng dần ra.
Các nhà lý luận Vùng không gian của khái niệm (Conceptual Spaces) cho rằng: Khi con người tiếp cận một khái niệm mới, não bộ sẽ phân vùng trí nhớ và dành riêng cho nó một không gian trống để lưu trữ thông tin. Và khi các vấn đề của khái niệm này được bổ sung thì vùng không gian sẽ được mở rộng dần ra.
Giống như việc một đứa trẻ mới sinh, nó sẽ không thể nào phân loại được đâu là hình ảnh của một con bò và đâu là một con bê. Mãi cho đến khi nó lớn lên, các thông tin dần dần được tích luỹ, con bò và con bê được tách ra làm 2 khái niệm riêng biệt.
Bây giờ chúng ta thử xem một ví dụ để hiểu rõ hơn về Lý thuyết về Vùng không gian của khái niệm về nhận thức.
Chúng ta biết Wordnet là hệ cơ sở tri thức khổng lồ về ngôn ngữ học của từ vựng tiếng Anh. Nó được xây dựng dựa trên các tri thức của quá khứ. Và nhược điểm của nó là không thiết lập được mối quan hệ của những từ có sự tương đồng về thuộc tính và đặc biệt là nó không thể tiếp nhận trí thức mới.
Ví dụ: "chuối chín có màu vàng" là một khái niệm cũ đã được đào tạo và được chấp nhận; nhưng nếu các nhà khoa học đã nhân giống thành công một loại chuối mới, nó luôn giữ màu tím trong suốt quá trình sinh trưởng của nó thì sao?
Trong trường hợp này, lý thuyết Vùng không gian của khái niệm về nhận thức(Conceptual Spaces) tỏ ra ưu việt hơn vì lượng thông tin dùng để đào tạo là không quá lớn.
Mô hình hoá Vùng không gian của khái niệm về nhận thức(Conceptual Spaces) thành không gian Euclide
Từ lý thuyết Conceptual Spaces, Giáo sư Peter Gärdenfors mô tả các cách định hình tư tưởng và ký ức trong tâm trí con người. Các nhà toán học đã phác hoạ thành một mô hình tư duy dành cho rô-bốt, theo đó, các khái niệm được tổ chức thành các vùng khác nhau trong một không gian vector, các khái niệm tương tự nhau được đặt gần nhau, và các khái niệm khác nhau được đặt xa nhau.
Các không gian khái niệm được mô hình hóa bằng cách sử dụng các vectơ trong không gian Euclide. Mỗi vectơ trong không gian đại diện cho một khái niệm, và khoảng cách giữa hai vectơ đại diện cho mức độ tương tự giữa hai khái niệm đó. Mục đích của việc nhúng sẽ giúp giảm kích thước dữ liệu cũng như là dễ dàng bổ sung các tri thức mới cho các mô hình.
"Qụa|chim|bay|lông vũ" -> Các từ này được xếp gần nhau vì chúng tương ứng với nhau;
Hoặc "nấm và cỏ dại" là hai phạm trù khác nhau nên chúng cách biệt ở 2 vùng khác nhau; Các vùng không gian có thể chồng lấn lên nhau, ví dụ từ "nước" có thể nằm trong phạm trù "đại dương" hoặc "dòng sông".
Hoặc một ví dụ khác, chúng ta có thể mô hình hóa khái niệm về "màu sắc" bằng cách sử dụng một không gian khái niệm hai chiều.
Trong không gian này, mỗi điểm đại diện cho một màu sắc, và khoảng cách giữa hai điểm đại diện cho mức độ tương tự giữa hai màu sắc đó. Ví dụ, màu đỏ và cam sẽ gần nhau hơn so với màu đỏ và xanh lá cây.
Nếu không sử dụng lý thuyết (Conceptual Spaces), một đoạn tweet ngắn 20 từ phải cần đến hàng tỷ chiều không gian mới mô hình hoá đầy đủ các thuộc tính và yếu tố ngữ nghĩa của nó.
Còn trong hiện tại, số chiều không gian của biểu diễn nhúng từ (word embeddings) tối đa trong các thuật toán như Word2Vec, GloVe, FastText chỉ tối đa là vài nghìn chiều. Thông thường, số chiều trong biểu diễn từ có thể nằm trong khoảng từ vài chục đến vài trăm chiều. Chẳng hạn, trong các mô hình như Word2Vec và GloVe, số chiều thường là 50, 100, 200 hoặc 300 chiều. FastText thường có số chiều lớn hơn vì nó bao gồm cả các n-grams của từ.
Các mô hình nhúng từ tiên tiến như BERT, có thể sử dụng số chiều lớn hơn, thậm chí lên đến hàng nghìn chiều, vì chúng có thể học được biểu diễn phức tạp của ngôn ngữ.
Ứng dụng của mô hình nhúng dữ liệu vào không gian vector
Trong 10 năm qua, sự phát triển của công nghệ và internet đã đưa đến sự bùng nổ của lưu lượng thông tin tri thức của nhân loại. Nhiệm vụ lưu trữ, truy vấn và phân tích dữ liệu đối mặt với nhiều thách thức lớn. Do đó, giải pháp nhứng dữ liệu vào mô hình không gian là một lựa chọn phù hợp để cho trí tuệ nhân tạo phát triển.
Hiện tại, có nhiều thuật toán phục vụ cho lý thuyết nhúng dữ liệu này như: Word2Vec, FastText, GloVe; hoặc các thuật toán phức tạp hơn như ELMo, BERT... Tuỳ vào nhu cầu đào tạo có đầu ra phục vụ cho mục đích gì, mô hình lớn hay nhỏ, trang thiết bị phần cứng như thế nào thì sẽ có một mô hình nhúng phù hợp.
GloVe (Global Vectors for Word Representation)
GloVe sử dụng một mô hình hồi quy để học các vector từ từ, trong đó các vector được ràng buộc với một mô hình ngôn ngữ. Nó sử dụng thuật toán thống kê toàn cục của ma trận tần suất của các từ xuất hiện cùng nhau trong kho văn bản.
FastText (Fast Text Representations for Words and Phrases)
Thuật toán FastText được Facebook phát triển, nó dựa trên nền tảng của lý thuyết Word2Vec, tức dùng n-grams để đào tạo mô hình, trong khi các thuật toán khác sử dụng các từ đơn. Nó cho phép biểu diễn từng phần của từ, đặc biệt là hữu ích đối với các ngôn ngữ có từ vựng phức tạp và đồng nghĩa.
Doc2Vec (Paragraph Vector)
Doc2Vec là một mở rộng của Word2Vec cho việc nhúng các đoạn văn bản hoặc tài liệu. Có thể tạo ra biểu diễn vector cho mỗi đoạn văn bản, giúp trong các nhiệm vụ như phân loại văn bản hay gom nhóm.
ELMo (Embeddings from Language Models)
ELMo sử dụng một mô hình ngôn ngữ lớn (deep language model) để tạo không gian vector từ, dựa vào ngữ cảnh của từ trong câu. o với ELMo thì FastText và GPT sử dụng các mô hình nhỏ hơn.
BERT (Bidirectional Encoder Representations from Transformers)
BERT sử dụng một mô hình chuyển đổi song hướng, nó sử dụng kiến trúc Transformer để lưu trữ vector từ, các vector được ràng buộc với các ngữ cảnh trước và sau của từ. BERT là một trong những mô hình nhúng từ tiên tiến và có hiệu suất tốt nhất trong giai đoạn hiện tại (2023).
GPT (Generative Pre-trained Transformer)
GPT sử dụng một mô hình Transformer để học các vector từ, trong đó các vector được ràng buộc với các ngữ cảnh trước và sau của từ.
Ứng dụng của lý thuyết Conceptual Spaces trong khoa học máy tính
Ứng dụng vào việc phân loại dữ liệu
Lý thuyết Conceptual Spaces có thể được sử dụng để phát triển các thuật toán phân loại dữ liệu dựa trên các khái niệm. Ví dụ, chúng ta có thể sử dụng không gian khái niệm về "màu sắc" để phân loại các hình ảnh thành các loại màu sắc khác nhau. Hoặc sử dụng trong việc phát triển các thuật toán phân loại câu, tìm kiếm thông tin liên quan đến một chủ đề cụ thể, và dịch ngôn ngữ. Trong lĩnh vực thị giác máy tính, lý thuyết Conceptual Spaces đã được sử dụng để phát triển các thuật toán nhận dạng đối tượng, phân loại hình ảnh, và theo dõi chuyển động.
Ứng dụng vào việc tìm kiếm thông tin
Lý thuyết Conceptual Spaces có thể được sử dụng để phát triển các hệ thống tìm kiếm thông tin dựa trên các khái niệm. Ví dụ, chúng ta có thể sử dụng không gian khái niệm về "sản phẩm" để tìm kiếm các sản phẩm có liên quan đến một sản phẩm cụ thể.
Ứng dụng vào lĩnh vực học máy
Lý thuyết Conceptual Spaces có thể được sử dụng để phát triển các thuật toán học máy dựa trên các khái niệm. Ví dụ, chúng ta có thể sử dụng không gian khái niệm về "câu hỏi" để phát triển các thuật toán trả lời câu hỏi để giao tiếp giữa các hệ thống AI, và tạo ra các đối tác AI có thể tương tác với con người một cách tự nhiên.
