LLM là gì?

Ở bài trước, chúng ta đã biết mỗi agent cần một model AI làm lõi, và LLM là loại model AI phổ biến nhất cho mục đích này. Bây giờ chúng ta sẽ tìm hiểu LLM là gì và chúng vận hành agent như thế nào.

Bài này giải thích ngắn gọn về mặt kỹ thuật cách dùng LLM. Nếu muốn tìm hiểu sâu hơn, bạn có thể xem khoá học Xử lý ngôn ngữ tự nhiên miễn phí của Hugging Face.

Large Language Model là gì?

LLM là một loại model AI rất giỏi hiểu và sinh ngôn ngữ của con người. Chúng được huấn luyện trên lượng dữ liệu văn bản khổng lồ, nhờ đó học được các mẫu, cấu trúc và cả những sắc thái tinh tế của ngôn ngữ. Các model này thường có nhiều triệu tham số.

Hầu hết LLM ngày nay được xây trên kiến trúc Transformer, một kiến trúc học sâu dựa trên thuật toán "Attention", được quan tâm rộng rãi kể từ khi Google phát hành BERT năm 2018.

Kiến trúc Transformer nguyên bản trông như thế này, với encoder ở bên trái và decoder ở bên phải.

Có 3 loại transformer:

1. Encoder Transformer dạng encoder nhận văn bản (hoặc dữ liệu khác) làm đầu vào và trả ra một biểu diễn dày đặc (embedding) của văn bản đó.

   • Ví dụ: BERT của Google
   • Ứng dụng: phân loại văn bản, tìm kiếm ngữ nghĩa, nhận dạng thực thể có tên (Named Entity Recognition)
   • Kích thước thường gặp: hàng triệu tham số

2. Decoder Transformer dạng decoder tập trung vào sinh token mới để hoàn thành một chuỗi, mỗi lần một token.

   • Ví dụ: Llama của Meta
   • Ứng dụng: sinh văn bản, chatbot, sinh code
   • Kích thước thường gặp: hàng tỷ (10^9) tham số

3. Seq2Seq (Encoder–Decoder) Transformer sequence-to-sequence kết hợp một encoder và một decoder. Encoder xử lý chuỗi đầu vào thành một biểu diễn ngữ cảnh, sau đó decoder sinh chuỗi đầu ra.

   • Ví dụ: T5, BART
   • Ứng dụng: dịch, tóm tắt, diễn đạt lại
   • Kích thước thường gặp: hàng triệu tham số

Dù Large Language Model có nhiều dạng, LLM thường là model dạng decoder với hàng tỷ tham số. Dưới đây là một số LLM nổi tiếng nhất:

Nguyên lý nền tảng của LLM đơn giản nhưng rất hiệu quả: mục tiêu của nó là dự đoán token tiếp theo, dựa trên chuỗi các token trước đó. "Token" là đơn vị thông tin mà LLM làm việc cùng. Bạn có thể nghĩ "token" giống như một "từ", nhưng vì lý do hiệu quả, LLM không dùng nguyên cả từ.

Ví dụ, tiếng Anh có ước tính 600.000 từ, nhưng một LLM có thể chỉ có bộ từ vựng khoảng 32.000 token (như trường hợp Llama 2). Việc tách token (tokenization) thường làm việc trên các đơn vị nhỏ hơn từ, có thể ghép lại với nhau.

Chẳng hạn, token "interest" và "ing" có thể ghép thành "interesting", hoặc thêm "ed" để thành "interested".

Bạn có thể thử nghiệm các tokenizer khác nhau trong sân chơi tokenizer tương tác.

Mỗi LLM có một số special token (token đặc biệt) riêng của model. LLM dùng các token này để mở và đóng các thành phần có cấu trúc trong phần sinh của nó, ví dụ để đánh dấu bắt đầu hoặc kết thúc một chuỗi, một tin nhắn hay một câu trả lời. Ngoài ra, prompt đầu vào mà chúng ta đưa cho model cũng được cấu trúc bằng special token. Quan trọng nhất trong số đó là token kết thúc chuỗi (End of sequence, EOS).

Hình thức của special token rất khác nhau giữa các nhà cung cấp model. Bảng dưới đây minh hoạ sự đa dạng đó.

Hiểu về dự đoán token tiếp theo

LLM được gọi là tự hồi quy (autoregressive), nghĩa là đầu ra của lượt này trở thành đầu vào của lượt tiếp theo. Vòng lặp này tiếp tục cho đến khi model dự đoán token tiếp theo là EOS, lúc đó model có thể dừng.

Nói cách khác, LLM sẽ giải mã văn bản cho đến khi gặp EOS. Nhưng điều gì xảy ra trong một vòng giải mã?

Toàn bộ quá trình khá nặng về kỹ thuật so với mục đích học về agent, nên đây chỉ là phần tổng quan ngắn:

• Sau khi văn bản đầu vào được tách token, model tính một biểu diễn của chuỗi, nắm thông tin về ý nghĩa và vị trí của từng token trong chuỗi đầu vào.
• Biểu diễn này đi vào model, model trả ra các điểm số xếp hạng khả năng mỗi token trong bộ từ vựng là token tiếp theo của chuỗi.

Dựa trên các điểm số này, có nhiều chiến lược chọn token để hoàn thành câu.

• Chiến lược giải mã đơn giản nhất là luôn lấy token có điểm cao nhất.

Bạn có thể tự tương tác với quá trình giải mã của SmolLM2 trong Space này (nhớ rằng nó giải mã cho đến khi gặp token EOS, với model này là <|im_end|>).

• Nhưng còn có những chiến lược giải mã nâng cao hơn. Ví dụ, beam search khám phá nhiều chuỗi ứng viên để tìm chuỗi có tổng điểm cao nhất, kể cả khi một vài token riêng lẻ có điểm thấp hơn. Bạn có thể xem minh hoạ trong Space beam search.

Nếu muốn biết thêm về giải mã, bạn có thể xem khoá học NLP.

Attention is all you need

Một khía cạnh then chốt của kiến trúc Transformer là Attention. Khi dự đoán từ tiếp theo, không phải từ nào trong câu cũng quan trọng như nhau; trong câu "The capital of France is ..." (Thủ đô của Pháp là...), các từ như "France" và "capital" mang nhiều ý nghĩa nhất.

Quá trình xác định những từ liên quan nhất để dự đoán token tiếp theo đã chứng tỏ hiệu quả đáng kinh ngạc.

Dù nguyên lý cơ bản của LLM (dự đoán token tiếp theo) vẫn giữ nguyên kể từ GPT-2, đã có những tiến bộ lớn trong việc mở rộng quy mô mạng nơ-ron và giúp cơ chế attention hoạt động với các chuỗi ngày càng dài.

Nếu đã dùng LLM, có lẽ bạn quen với thuật ngữ độ dài ngữ cảnh (context length), tức số token tối đa mà LLM có thể xử lý, cũng là tầm chú ý (attention span) tối đa của nó.

Prompt cho LLM rất quan trọng

Vì việc duy nhất của LLM là dự đoán token tiếp theo bằng cách xem xét mọi token đầu vào và chọn ra token nào là "quan trọng", cách diễn đạt chuỗi đầu vào của bạn rất quan trọng.

Chuỗi đầu vào bạn đưa cho LLM được gọi là prompt. Thiết kế prompt cẩn thận giúp dẫn dắt phần sinh của LLM tới đầu ra mong muốn dễ dàng hơn.

LLM được huấn luyện như thế nào?

LLM được huấn luyện trên các tập dữ liệu văn bản lớn, nơi chúng học cách dự đoán từ tiếp theo trong chuỗi thông qua mục tiêu tự giám sát (self-supervised) hoặc masked language modeling.

Từ quá trình học không giám sát này, model học được cấu trúc của ngôn ngữ và các mẫu tiềm ẩn trong văn bản, nhờ đó khái quát hoá được cho dữ liệu chưa từng thấy.

Sau giai đoạn tiền huấn luyện (pre-training) ban đầu này, LLM có thể được fine-tuning theo mục tiêu học có giám sát để làm các tác vụ cụ thể. Ví dụ, có model được huấn luyện cho cấu trúc hội thoại hoặc dùng tool, có model lại tập trung vào phân loại hoặc sinh code.

Dùng LLM bằng cách nào?

Bạn có hai lựa chọn chính:

1. Chạy ở máy local (nếu phần cứng đủ mạnh).
2. Dùng cloud/API (ví dụ qua Hugging Face Serverless Inference API).

Trong suốt khoá học, chúng ta chủ yếu dùng model qua API trên Hugging Face Hub. Sau này chúng ta sẽ tìm hiểu cách chạy các model này trên phần cứng của bạn.

LLM được dùng trong AI agent thế nào?

LLM là thành phần then chốt của AI agent, cung cấp nền tảng để hiểu và sinh ngôn ngữ của con người.

Chúng có thể diễn giải chỉ dẫn của người dùng, duy trì ngữ cảnh trong hội thoại, lập kế hoạch và quyết định dùng tool nào.

Chúng ta sẽ tìm hiểu chi tiết hơn các bước này trong unit này, nhưng lúc này điều bạn cần hiểu là LLM chính là bộ não của agent.

Tổng kết

Thật nhiều thông tin! Chúng ta đã đi qua những điều cơ bản: LLM là gì, chúng hoạt động thế nào và vai trò của chúng trong việc vận hành AI agent.

Nếu muốn đi sâu hơn vào thế giới của model ngôn ngữ và xử lý ngôn ngữ tự nhiên, đừng ngại xem khoá học NLP miễn phí.

Giờ đã hiểu LLM hoạt động thế nào, đã đến lúc xem LLM cấu trúc phần sinh của mình trong ngữ cảnh hội thoại ra sao, ở bài Tin nhắn và special token.

Nguồn

• Dịch và biên tập từ huggingface/agents-course · units/en/unit1/what-are-llms.mdx, giấy phép Apache-2.0.