Script thuyết trình(1)

1. Tổng quan dịch máy và các phương pháp tiếp cận phổ biến hiện nay

Ngôn ngữ và giao tiếp là trung tâm của sự tương tác của con người. Do đó, việc dịch giữa các ngôn ngữ khác nhau đóng vai trò then chốt trong những tiến bộ về xã hội và văn hóa.
Dịch máy là một trong những ứng dụng đầu tiên có thể giải quyết bằng máy tính. Dịch máy nhằm mục đích tự động dịch câu ngôn ngữ tự nhiên bằng máy tính từ ngôn ngữ này sang ngôn ngữ khác.Do đó, các kỹ thuật khác nhau đã được phát triển để giải quyết vấn đề dịch máy, nổi bật trong đó là Dịch máy thống kê(SMT) và dịch máy sử dụng mạng neural(NMT).

Statistical Machine Translation (SMT):sử dụng các mô hình thống kê để dịch văn bản. 
Có Ưu điểm: Dễ triển khai, ít tốn kém về mặt tính toán
Nhược điểm: Bản dịch cứng nhắc, thiếu tự nhiên, gặp khó với cấu trúc phức tạp, từ đồng nghĩa, đồng âm

Neural Machine Translation (NMT): sử dụng mạng nơ ron nhân tạo để mô hình hóa mối quan hệ giữa ngôn ngữ nguồn và ngôn ngữ đích. Ý tưởng chính đằng sau NMT là biểu diễn ý nghĩa của văn bản dưới dạng một tập hợp các giá trị số, được gọi là các giá trị nhúng (embedding), có thể được sử dụng làm đầu vào cho mạng nơ ron nhân tạo. 
Ưu điểm: xử lý tốt hơn với ngôn ngữ có cấu trúc phức tạp,  cho bản dịch trôi chảy, tự nhiên ,..
Nhược điểm: yêu cầu chi phí tính toán lớn, dữ liệu đào tạo nhiều. Khó giải thích phương pháp sử dụng
các kiến trúc ban đầu là các mô hình NMT dựa trên  RNN và CNN , sử dụng RNN và CNN để tính toán biểu diễn câu nguồn và dự đoán câu mục tiêu. Kiến trúc Transformer dựa trên cơ chế self-attention, đã được đề xuất và thúc đẩy mạnh mẽ lĩnh vực NMT. Hiện tại, Transformer đã trở thành kiến trúc thống trị cho dịch máy, vượt qua mạng CNN, RNN cả về chất lượng dịch và tốc độ đào tạo. 


Sự phát triển nhanh chóng của độ lớn dữ liệu và độ sâu của mô hình đã thách thức việc triển khai các mô hình mạng lưới thần kinh sâu lớn đặc biệt phù hợp với các thiết bị biên có bộ nhớ và khả năng tính toán hạn chế. Để giải quyết thách thức này, phương pháp nén mô hình lần đầu tiên được đề xuất để chuyển kiến thức từ một mô hình lớn sang đào tạo một mô hình nhỏ hơn mà không làm giảm hiệu suất đáng kể

 Các kỹ thuật nén mô hình phổ biến:
Cắt tỉa:
có 2 cách cắt tỉa: cắt tỉa trọng số: Các kết nối có trọng số dưới một số ngưỡng được xác định trước sẽ bị cắt bớt
Cắt tỉa nơ ron: Cắt tất cả các kết nối đến 1 nơ ron

Ý tưởng cắt tỉa mạng neural network(Deep learning là trường hợp đặc biệt) được lấy cảm hứng từ chính sự cắt tỉa liên kết neural trong não người, nơi các liên kết thần kinh giữa các neural(axon) bị phân dã hoàn toàn và chết đi xảy ra giữa thời thơ ấu và sự sự khởi đầu của dậy thì.
Hiểu một cách đơn giản, não bộ chúng ta thực hiện lưu trữ thông tin thông qua các liên kết thần kinh và cắt tỉa chúng khi được nhận biết đó là những thông tin không cần thiết. Những thông tin mà não người coi là không cần thiết chính là những thông tin lâu không được tác động tới, do vậy, muốn nhớ lâu thì ta thường hay phải làm nhiều lần và thỉnh thoảng nhớ lại. Kiến thức lâu rồi không động lại kiểu gì cũng sẽ quên.
Pruning chính là loại bỏ các kết nối dư thừa trong kiến trúc. Các kết nối dư thừa là các kết nối có trọng số không quan trọng(thường là các trọng số có giá trị tuyệt đối nhỏ, sát gần 0). Việc cắt tỉa các kết nối này sẽ không gây ảnh hưởng nhiều đến quá trình inference của mạng. 

Quantization
      - bằng cách giảm số bit cần thiết để biểu diễn mỗi weight (Cần xem lại đoạn này)

Knowledge distillation
      - là một kỹ thuật học máy nhằm mục đích chuyển 	việc học của một mô hình được đào tạo trước 	lớn, “teacher model” sang một “student model” 	nhỏ hơn