Sự phát triển thần tốc của machine learning, deep learning – Bước chân vào deep learning [4]
Lịch sử khởi nguyên
Để giải quyết vô số bài toán machine learning, deep learning mang đến một bộ công cụ hùng hậu. Mặc dù nhiều phương pháp deep learning chỉ mới có những đột phá quan trọng gần đây, nhưng ý tưởng cốt lõi về lập trình sử dụng dữ liệu và mạng thần kinh (neural networks) đã được nghiên cứu trong nhiều thế kỷ. Thực tế, con người từ lâu đã khao khát phân tích dữ liệu và dự đoán các kết quả trong tương lai, và phần lớn khoa học tự nhiên đều bắt nguồn từ đó. Ví dụ, phân phối Bernoulli được đặt theo tên của Jacob Bernoulli (1654-1705). Còn phân phối Gaussian được khám phá bởi Carl Friedrich Gauss (1777-1855), người đã phát minh ra thuật toán bình phương tối thiểu (least mean squares algorithm), vẫn được sử dụng cho đến ngày nay để giải quyết nhiều vấn đề từ tính toán bảo hiểm đến chẩn đoán y tế. Những công cụ thuật toán này đã khai sinh ra một phương pháp thực nghiệm trong khoa học tự nhiên – ví dụ, định luật Ohm về dòng điện và điện áp trong điện trở có thể được mô tả hoàn hảo bằng một mô hình tuyến tính (linear model).
Ngay cả trong thời Trung Cổ, các nhà toán học đã có trực giác nhạy bén về ước tính (estimation). Ví dụ, sách hình học của Jacob Köbel (1460–1533) minh họa rằng bằng cách lấy trung bình độ dài bàn chân của 16 người đàn ông trưởng thành, người ta có thể xác định được độ dài của một foot.
Hình 1.4.1 Ước tính độ dài một foot
Hình 1.4.1 minh họa cách bộ ước tính (estimator) này hoạt động. 16 người đàn ông trưởng thành được yêu cầu đứng thành một hàng, chân nối chân. Sau đó, tổng chiều dài của họ được chia cho 16, thu được giá trị ước tính hiện nay tương đương với 1 foot. Thuật toán này sau đó đã được cải tiến để xử lý các trường hợp bàn chân dị dạng – loại bỏ hai người có bàn chân ngắn nhất và dài nhất, rồi lấy trung bình của những người còn lại. Đây là một trong những ví dụ sớm nhất về ước tính trung bình cắt xén (trimmed mean estimation).
Với việc thu thập và sự sẵn có của dữ liệu, thống kê thực sự đã cất cánh. Ronald Fisher (1890-1962) đã có những đóng góp quan trọng cho lý thuyết thống kê và ứng dụng trong di truyền học. Nhiều thuật toán của ông (như Phân tích biệt thức tuyến tính - Linear Discriminant Analysis) và các công thức (như Ma trận thông tin Fisher - Fisher Information Matrix) vẫn được sử dụng thường xuyên cho đến ngày nay. Thậm chí, bộ dữ liệu hoa Iris do Fisher công bố năm 1936 đôi khi vẫn được dùng để giải mã các thuật toán machine learning. Ông cũng là người ủng hộ thuyết ưu sinh, điều này nhắc nhở chúng ta rằng: việc sử dụng khoa học dữ liệu một cách đáng ngờ về mặt đạo đức cũng có lịch sử lâu dài và bền bỉ như việc sử dụng nó một cách hiệu quả trong công nghiệp và khoa học tự nhiên.
Ảnh hưởng thứ hai đối với machine learning đến từ lý thuyết thông tin (information theory) của Claude Shannon (1916–2001) và lý thuyết tính toán (theory of computation) của Alan Turing (1912-1954). Turing, trong bài báo nổi tiếng "Máy tính và Trí tuệ" (Turing, 1950), đã đặt ra câu hỏi "Máy móc có thể suy nghĩ không?". Trong phép thử Turing (Turing test) mà ông mô tả, một cỗ máy có thể được coi là "thông minh" nếu người đánh giá là con người gặp khó khăn trong việc phân biệt câu trả lời của máy và của người dựa trên tương tác văn bản.
Một ảnh hưởng khác có thể được tìm thấy trong khoa học thần kinh và tâm lý học. Trong số đó, một trong những thuật toán lâu đời nhất là công trình tiên phong của Donald Hebb (1904–1985), "Tổ chức Hành vi" (Hebb and Hebb, 1949). Ông đề xuất rằng các neuron học thông qua củng cố tích cực, là nguyên mẫu cho thuật toán học perceptron của Rosenblatt, được gọi là "Học Hebbian (Hebbian learning)". Thuật toán này cũng đặt nền móng cho nhiều thuật toán stochastic gradient descent (SGD) của deep learning ngày nay: củng cố các hành vi mong muốn và giảm thiểu các hành vi không mong muốn, từ đó đạt được các thiết lập tham số tốt trong mạng thần kinh.
Mạng thần kinh (neural networks) có tên gọi bắt nguồn từ cảm hứng sinh học. Trong hơn một thế kỷ (kể từ các mô hình của Alexander Bain năm 1873 và James Sherrington năm 1890), các nhà nghiên cứu đã cố gắng lắp ráp các mạch tính toán tương tự như các mạng lưới neuron tương tác. Theo thời gian, việc giải thích dựa trên sinh học trở nên ít bề ngoài hơn, nhưng cái tên vẫn tồn tại. Cốt lõi của nó là một vài nguyên tắc chính có thể tìm thấy trong hầu hết các mạng hiện nay:
- Sự xen kẽ của các đơn vị xử lý tuyến tính và phi tuyến tính, thường được gọi là các tầng (layers).
- Sử dụng quy tắc chuỗi (chain rule), còn được gọi là lan truyền ngược (backpropagation), để điều chỉnh đồng thời tất cả các tham số trong mạng.
Sau giai đoạn phát triển nhanh chóng ban đầu, nghiên cứu về mạng thần kinh chững lại từ khoảng năm 1995 cho đến khi có chút khởi sắc vào năm 2005. Điều này chủ yếu là do hai lý do. Thứ nhất, việc huấn luyện mạng (về mặt tính toán) rất tốn kém. Vào cuối thế kỷ trước, bộ nhớ truy cập ngẫu nhiên (RAM) rất mạnh mẽ, trong khi năng lực tính toán lại yếu. Thứ hai, các bộ dữ liệu tương đối nhỏ. Thực tế, bộ dữ liệu hoa Iris năm 1932 của Fisher là một công cụ phổ biến để kiểm tra tính hiệu quả của thuật toán, trong khi bộ dữ liệu MNIST với 60.000 chữ số viết tay được coi là khổng lồ. Với sự khan hiếm về dữ liệu và tính toán, các công cụ thống kê mạnh mẽ như phương pháp hạt nhân (kernel method), cây quyết định (decision tree) và mô hình đồ thị (graphical models) (về mặt thực nghiệm) đã tỏ ra ưu việt hơn. Khác với mạng thần kinh, những thuật toán này không cần hàng tuần huấn luyện và có nền tảng lý thuyết vững chắc, mang lại kết quả có thể dự đoán được.
Sự Phát Triển của Deep Learning
Khoảng năm 2010, các thuật toán mạng thần kinh vốn có vẻ không khả thi về mặt tính toán đã trở nên phổ biến, thực tế là do hai yếu tố sau: Thứ nhất, với sự xuất hiện của các công ty internet phục vụ hàng trăm triệu người dùng trực tuyến, các bộ dữ liệu quy mô lớn đã trở nên dễ tiếp cận; Thứ hai, sự phổ biến của các cảm biến giá rẻ và chất lượng cao, lưu trữ dữ liệu giá rẻ (Định luật Kryder) và tính toán giá rẻ (Định luật Moore), đặc biệt là sự phổ biến của GPU, đã khiến năng lực tính toán quy mô lớn trở nên sẵn có.
Điều này được minh họa trong Bảng 1.5.1.
Rõ ràng là bộ nhớ truy cập ngẫu nhiên đã không theo kịp tốc độ tăng trưởng của dữ liệu. Đồng thời, tốc độ tăng trưởng của năng lực tính toán đã vượt qua tốc độ tăng trưởng của dữ liệu hiện có. Điều này có nghĩa là các mô hình thống kê cần phải nâng cao hiệu quả bộ nhớ (thường đạt được bằng cách thêm các yếu tố phi tuyến tính), đồng thời có thể dành nhiều thời gian hơn để tối ưu hóa các tham số này do ngân sách tính toán tăng lên. Do đó, trọng tâm của machine learning và thống kê đã chuyển từ các mô hình tuyến tính (tổng quát) và phương pháp hạt nhân sang mạng thần kinh sâu. Điều này cũng tạo điều kiện cho nhiều trụ cột của deep learning, như multilayer perceptron (MLP) (McCulloch and Pitts, 1943), convolutional neural network (CNN) (LeCun et al., 1998), long short-term memory (LSTM) (Graves and Schmidhuber, 2005) và Q-learning (Watkins and Dayan, 1992), được "tái khám phá" trong thập kỷ qua sau một thời gian tương đối im lìm.
Trong thập kỷ gần đây, những tiến bộ về mô hình thống kê, ứng dụng và thuật toán giống như một vụ nổ kỷ Cambri – một thời kỳ trong lịch sử mà các loài tiến hóa với tốc độ chóng mặt. Thực tế, công nghệ tiên tiến nhất không chỉ là kết quả của việc áp dụng các tài nguyên sẵn có vào các thuật toán có từ nhiều thập kỷ trước. Dưới đây liệt kê những ý tưởng (mặc dù chỉ là bề nổi) đã giúp các nhà nghiên cứu đạt được những bước tiến vượt bậc trong thập kỷ qua.
- Các phương pháp kiểm soát năng lực (capacity control) mới, chẳng hạn như dropout (Srivastava et al., 2014), giúp giảm thiểu nguy cơ overfitting. Điều này được thực hiện bằng cách áp dụng nhiễu vào toàn bộ mạng thần kinh (Bishop, 1995), sử dụng các biến ngẫu nhiên để thay thế các trọng số cho mục đích huấn luyện.
- Cơ chế chú ý (attention mechanisms) giải quyết một vấn đề đã gây khó khăn cho thống kê trong hơn một thế kỷ: làm thế nào để tăng bộ nhớ và độ phức tạp của hệ thống mà không làm tăng số lượng tham số có thể học được. Các nhà nghiên cứu đã tìm ra một giải pháp thanh lịch bằng cách sử dụng cấu trúc con trỏ có thể học được (learnable pointer structures) (Bahdanau et al., 2014). Thay vì phải ghi nhớ toàn bộ chuỗi văn bản (ví dụ, cho dịch máy trong một biểu diễn có chiều cố định), tất cả những gì cần lưu trữ là các con trỏ đến trạng thái trung gian của quá trình dịch. Điều này đã cải thiện đáng kể độ chính xác cho các chuỗi dài, vì mô hình không còn cần phải ghi nhớ toàn bộ chuỗi trước khi bắt đầu tạo ra một chuỗi mới.
- Thiết kế đa giai đoạn (multi-stage designs). Ví dụ, mạng bộ nhớ (memory networks) (Sukhbaatar et al., 2015) và trình thông dịch-lập trình thần kinh (neural programmer-interpreters) (Reed and De Freitas, 2015). Chúng cho phép các nhà mô hình hóa thống kê mô tả các phương pháp lặp đi lặp lại để suy luận. Những công cụ này cho phép sửa đổi lặp đi lặp lại trạng thái bên trong của mạng thần kinh sâu, từ đó thực hiện các bước tiếp theo trong chuỗi suy luận, tương tự như cách một bộ xử lý sửa đổi bộ nhớ được sử dụng để tính toán.
- Một phát triển quan trọng khác là sự phát minh ra mạng đối nghịch tạo sinh (Generative Adversarial Networks - GANs) (Goodfellow et al., 2014). Trong các mô hình truyền thống, các phương pháp thống kê cho ước tính mật độ và mô hình tạo sinh tập trung vào việc tìm kiếm các phân phối xác suất phù hợp (thường là xấp xỉ) và các thuật toán lấy mẫu. Do đó, các thuật toán này bị hạn chế phần lớn bởi tính linh hoạt vốn có của mô hình thống kê. Sự đổi mới quan trọng của GAN là thay thế bộ lấy mẫu bằng một thuật toán tùy ý với các tham số có thể vi phân. Dữ liệu này sau đó được điều chỉnh sao cho bộ phân biệt (discriminator) (thực chất là một phép thử hai mẫu) không thể phân biệt giữa dữ liệu giả và dữ liệu thật. Khả năng tạo dữ liệu bằng thuật toán tùy ý đã mở ra cánh cửa cho ước tính mật độ bằng nhiều kỹ thuật khác nhau. Các ví dụ về ngựa vằn phi nước đại (Zhu et al., 2017) và khuôn mặt người nổi tiếng giả (Karras et al., 2017) đều chứng minh cho sự tiến bộ này. Ngay cả những người vẽ nguệch ngoạc nghiệp dư cũng có thể tạo ra hình ảnh chân thực như ảnh chụp dựa trên các bản phác thảo mô tả bố cục cảnh (Park et al., 2019).
- Trong nhiều trường hợp, một GPU đơn lẻ không đủ để xử lý lượng dữ liệu khổng lồ có sẵn để huấn luyện. Trong thập kỷ qua, khả năng xây dựng các thuật toán huấn luyện song song và phân tán đã được cải thiện đáng kể. Một trong những thách thức chính trong việc thiết kế các thuật toán có khả năng mở rộng (scalable algorithms) là stochastic gradient descent, trụ cột của tối ưu hóa deep learning, phụ thuộc vào các lô dữ liệu nhỏ (mini-batches) tương đối nhỏ để xử lý. Đồng thời, các mini-batch lại hạn chế hiệu quả của GPU. Do đó, việc huấn luyện trên 1024 GPU, ví dụ với kích thước mini-batch là 32 hình ảnh mỗi GPU, tương đương với tổng kích thước mini-batch khoảng 32.000 hình ảnh. Các công trình gần đây, đầu tiên là của (Li, 2017), sau đó là (You et al., 2017) và (Jia et al., 2018), đã tăng kích thước quan sát lên 64.000, giảm thời gian huấn luyện mô hình ResNet-50 trên bộ dữ liệu ImageNet xuống dưới 7 phút. Để so sánh – thời gian huấn luyện ban đầu được tính bằng ngày.
- Năng lực tính toán song song cũng đóng góp một phần khá quan trọng vào những tiến bộ của học tăng cường (reinforcement learning). Điều này đã dẫn đến những tiến bộ đáng kể trong việc máy tính đạt được hiệu suất siêu phàm trong các trò chơi Go, Atari, StarCraft và mô phỏng vật lý (ví dụ, sử dụng MuJoCo). Để biết mô tả về cách điều này được thực hiện trong AlphaGo, hãy xem ví dụ (Silver et al., 2016). Tóm lại, học tăng cường hoạt động tốt nhất khi có sẵn một lượng lớn các bộ ba (trạng thái, hành động, phần thưởng), tức là khi có thể thử nghiệm nhiều thứ để tìm hiểu mối quan hệ giữa chúng. Mô phỏng cung cấp một con đường như vậy.
- Các framework deep learning đã đóng một vai trò quan trọng trong việc phổ biến các ý tưởng. Thế hệ framework đầu tiên cho phép tạo mô hình dễ dàng bao gồm Caffe, Torch và Theano. Nhiều bài báo đột phá đã được viết bằng các công cụ này. Đến nay, chúng đã được thay thế bởi TensorFlow (thường được sử dụng thông qua API cấp cao Keras), CNTK, Caffe 2 và Apache MXNet. Thế hệ công cụ thứ ba, tức là các công cụ mệnh lệnh (imperative tools) cho deep learning, có thể nói là do Chainer đi tiên phong, sử dụng cú pháp tương tự như Python NumPy để mô tả các mô hình. Ý tưởng này đã được PyTorch, API Gluon của MXNet và Jax áp dụng.
- Sự phân chia công việc giữa "các nhà nghiên cứu hệ thống xây dựng các công cụ tốt hơn" và "các nhà mô hình hóa thống kê xây dựng các mạng thần kinh tốt hơn" đã đơn giản hóa đáng kể công việc. Ví dụ, vào năm 2014, việc huấn luyện một mô hình hồi quy tuyến tính từng là một bài toán không dễ dàng đối với sinh viên tiến sĩ ngành machine learning tại Đại học Carnegie Mellon. Giờ đây, nhiệm vụ này có thể được hoàn thành với chưa đầy 10 dòng mã, giúp mọi lập trình viên dễ dàng nắm bắt.
Những Câu Chuyện Thành Công của Deep Learning
Trí tuệ nhân tạo (AI) có một lịch sử lâu dài trong việc mang lại những kết quả khó có thể đạt được bằng các phương pháp khác. Ví dụ, các hệ thống phân loại thư sử dụng nhận dạng ký tự quang học (Optical Character Recognition - OCR) đã được triển khai từ những năm 1990, xét cho cùng, đây chính là nguồn gốc của bộ dữ liệu chữ số viết tay MNIST nổi tiếng. Điều này cũng đúng với việc đọc séc gửi ngân hàng và chấm điểm tín dụng của người nộp đơn. Các giao dịch tài chính được tự động kiểm tra gian lận. Điều này đã trở thành trụ cột của nhiều hệ thống thanh toán thương mại điện tử như PayPal, Stripe, Alipay, WeChat, Apple, Visa và Mastercard. Các chương trình máy tính chơi cờ vua đã cạnh tranh trong nhiều thập kỷ. Machine learning cung cấp khả năng tìm kiếm, đề xuất, cá nhân hóa và xếp hạng trên internet. Nói cách khác, machine learning có mặt ở khắp mọi nơi, mặc dù nó thường ẩn mình.
Chỉ đến gần đây, AI mới trở thành tâm điểm chú ý, chủ yếu là do giải quyết được các vấn đề trước đây được cho là nan giải, liên quan trực tiếp đến người tiêu dùng. Nhiều tiến bộ như vậy được ghi nhận cho deep learning.
- Các trợ lý thông minh, như Siri của Apple, Alexa của Amazon và Google Assistant, có thể trả lời các câu hỏi bằng giọng nói một cách khá chính xác. Điều này bao gồm các công việc nhỏ nhặt như bật công tắc đèn (một lợi ích cho người khuyết tật) thậm chí đặt lịch hẹn cắt tóc và cung cấp các cuộc đối thoại hỗ trợ qua điện thoại. Đây có lẽ là dấu hiệu rõ ràng nhất cho thấy AI đang tác động đến cuộc sống của chúng ta.
- Một yếu tố quan trọng của trợ lý kỹ thuật số là khả năng nhận dạng giọng nói chính xác. Dần dần, trong một số ứng dụng, độ chính xác của các hệ thống như vậy đã được cải thiện đến mức tương đương với con người (Xiong et al., 2018).
- Nhận dạng đối tượng cũng đã có những bước tiến dài. Ước tính các đối tượng trong ảnh là một nhiệm vụ khá khó khăn vào năm 2010. Trên benchmark ImageNet, các nhà nghiên cứu từ NEC Labs và Đại học Illinois tại Urbana-Champaign đã đạt được tỷ lệ lỗi Top-5 là 28% (Lin et al., 2010). Đến năm 2017, tỷ lệ lỗi này đã giảm xuống còn 2.25% (Hu et al., 2018). Tương tự, những kết quả đáng kinh ngạc cũng đã đạt được trong việc phân biệt các loài chim hoặc chẩn đoán ung thư da.
- Game từng là một thành trì của trí tuệ con người. Bắt đầu với TD-Gammon, một chương trình chơi backgammon sử dụng học tăng cường theo sai biệt thời gian (temporal difference reinforcement learning), những tiến bộ về thuật toán và tính toán đã dẫn đến việc các thuật toán được áp dụng rộng rãi. Khác với backgammon, cờ vua có không gian trạng thái (state space) và tập hợp các hành động phức tạp hơn nhiều. Deep Blue đã đánh bại Garry Kasparov bằng cách sử dụng tính toán song song quy mô lớn, phần cứng chuyên dụng và tìm kiếm hiệu quả trong cây trò chơi (game tree) (Campbell et al., 2002). Cờ vây, do không gian trạng thái khổng lồ của nó, thậm chí còn khó hơn. AlphaGo đã đạt được trình độ tương đương con người vào năm 2015, sử dụng deep learning kết hợp với lấy mẫu cây Monte Carlo (Monte Carlo tree search) (Silver et al., 2016). Thách thức trong poker là không gian trạng thái lớn và không được quan sát đầy đủ (chúng ta không biết bài của đối thủ). Trong poker, Libratus đã vượt qua hiệu suất của con người bằng cách sử dụng các chiến lược có cấu trúc hiệu quả (Brown and Sandholm, 2017). Điều này minh họa cho những tiến bộ đáng kể trong lĩnh vực game và vai trò quan trọng của các thuật toán tiên tiến trong đó.
- Một dấu hiệu khác của sự tiến bộ của AI là sự xuất hiện của ô tô và xe tải tự lái. Mặc dù khả năng tự hành hoàn toàn chưa nằm trong tầm tay, nhưng những tiến bộ tốt đẹp đã được thực hiện theo hướng này, với các sản phẩm từ các công ty như Tesla, NVIDIA và Waymo đạt được ít nhất là khả năng tự hành một phần. Điều khiến cho việc tự hành hoàn toàn trở nên khó khăn là việc lái xe đúng cách đòi hỏi khả năng nhận thức, suy luận và tích hợp các quy tắc vào hệ thống. Hiện tại, deep learning chủ yếu được áp dụng cho khía cạnh thị giác máy tính (computer vision) của những vấn đề này. Phần còn lại được các kỹ sư điều chỉnh rất nhiều.
Tương tự, danh sách trên chỉ chạm đến bề nổi những tác động của machine learning đối với các ứng dụng thực tế. Ví dụ, một số đột phá gần đây trong robot học, hậu cần, sinh học tính toán, vật lý hạt và thiên văn học ít nhất một phần là nhờ vào machine learning. Do đó, machine learning đang trở thành một công cụ không thể thiếu đối với các kỹ sư và nhà khoa học.
Trong các bài viết phi kỹ thuật về AI, vấn đề điểm kỳ dị AI (AI singularity) thường được đề cập: liệu các hệ thống machine learning có trở nên có tri giác và độc lập với chủ nhân của chúng để quyết định những vấn đề ảnh hưởng trực tiếp đến sinh kế của con người hay không. Ở một mức độ nào đó, AI đã ảnh hưởng trực tiếp đến sinh kế của con người: đánh giá tín nhiệm tự động, lái xe tự động, quyết định bảo lãnh tự động, v.v. Thậm chí, chúng ta có thể yêu cầu Alexa bật máy pha cà phê.
May mắn thay, chúng ta còn rất xa một hệ thống AI có tri giác có khả năng kiểm soát những người tạo ra nó. Thứ nhất, các hệ thống AI được thiết kế, huấn luyện và triển khai theo một cách cụ thể, hướng đến mục tiêu. Mặc dù hành vi của chúng có thể tạo ảo giác về trí thông minh phổ quát, nhưng nền tảng của thiết kế là sự kết hợp của các quy tắc, phương pháp phỏng đoán (heuristics) và mô hình thống kê. Thứ hai, hiện chưa tồn tại các công cụ "trí tuệ nhân tạo tổng quát" (Artificial General Intelligence - AGI) có khả năng tự cải thiện, tự suy luận, có thể sửa đổi, mở rộng và cải thiện kiến trúc của chính chúng trong khi cố gắng giải quyết các nhiệm vụ chung.
Một vấn đề cấp bách hơn là ứng dụng của AI trong cuộc sống hàng ngày. Nhiều công việc lặt vặt do tài xế xe tải và nhân viên cửa hàng thực hiện rất có thể cũng sẽ được tự động hóa. Robot nông nghiệp có thể giảm chi phí canh tác hữu cơ, chúng cũng sẽ tự động hóa các hoạt động thu hoạch. Giai đoạn này của cuộc cách mạng công nghiệp có thể có những tác động sâu rộng đến phần lớn xã hội, vì tài xế xe tải và nhân viên cửa hàng là một trong những công việc phổ biến nhất ở nhiều quốc gia. Hơn nữa, nếu các mô hình thống kê được áp dụng mà không cẩn trọng, có thể dẫn đến thiên vị về chủng tộc, giới tính hoặc tuổi tác, gây ra những lo ngại chính đáng về tính công bằng của quy trình nếu các quyết định tương ứng được tự động hóa. Điều quan trọng là phải đảm bảo các thuật toán này được sử dụng một cách cẩn trọng. Theo những gì chúng ta biết ngày nay, điều này đáng lo ngại hơn nguy cơ siêu trí tuệ độc ác hủy diệt loài người.
