Thế giới LLM mã nguồn mở (open source) rất thú vị và thay đổi liên tục. Bài này giúp bạn hiểu sâu hơn về các model mã nguồn mở, lợi ích khi làm việc với chúng và cách khám phá các model có sẵn.
Video bài học (tiếng Anh): xem trên YouTube.
Giới thiệu
Nếu bạn muốn so sánh model độc quyền với model mã nguồn mở, hãy xem bài Khám phá và so sánh các LLM. Bài này cũng nói về fine-tuning, nhưng giải thích chi tiết hơn nằm ở bài "Fine-Tuning LLMs" (tiếng Anh) của khoá gốc.
Mục tiêu học tập
- Hiểu model mã nguồn mở là gì.
- Hiểu lợi ích khi làm việc với model mã nguồn mở.
- Khám phá các open model có trên Hugging Face và danh mục model của Microsoft Foundry.
Model mã nguồn mở là gì?
Phần mềm mã nguồn mở đóng vai trò then chốt trong sự phát triển công nghệ ở nhiều lĩnh vực. Open Source Initiative (OSI) đã định nghĩa 10 tiêu chí để một phần mềm được coi là mã nguồn mở. Mã nguồn phải được chia sẻ công khai theo một giấy phép được OSI phê duyệt.
Dù phát triển LLM có những điểm giống phát triển phần mềm, quy trình không hoàn toàn giống nhau. Điều này gây nhiều tranh luận trong cộng đồng về định nghĩa mã nguồn mở với LLM. Để một model khớp với định nghĩa mã nguồn mở truyền thống, các thông tin sau cần được công khai:
- Các tập dữ liệu dùng để huấn luyện model.
- Toàn bộ trọng số model như một phần của quá trình huấn luyện.
- Code đánh giá.
- Code fine-tuning.
- Toàn bộ trọng số model và các chỉ số huấn luyện.
Hiện chỉ có vài model đáp ứng các tiêu chí này. Model OLMo do Allen Institute for Artificial Intelligence (AllenAI) tạo ra là một trong số đó.
Trong phần còn lại của bài, chúng ta sẽ gọi các model này là "open model", vì tại thời điểm viết bài gốc chúng có thể chưa khớp các tiêu chí trên.
Lợi ích của open model
Tuỳ biến cao: vì open model được phát hành kèm thông tin huấn luyện chi tiết, nhà nghiên cứu và lập trình viên có thể sửa phần bên trong model. Điều này cho phép tạo các model rất chuyên biệt, được fine-tuning cho một tác vụ hay lĩnh vực nghiên cứu cụ thể, như sinh code, tính toán toán học và sinh học.
Chi phí: chi phí mỗi token để dùng và triển khai (deploy) các model này thấp hơn model độc quyền. Khi xây ứng dụng AI tạo sinh (generative AI), nên cân nhắc hiệu năng so với giá khi dùng các model này cho tình huống của bạn.
Nguồn: Artificial Analysis
Linh hoạt: làm việc với open model giúp bạn linh hoạt dùng các model khác nhau hoặc kết hợp chúng. Ví dụ là HuggingChat Assistants, nơi người dùng chọn model ngay trên giao diện:
Khám phá một số open model
Llama 2
LLama2, do Meta phát triển, là open model được tối ưu cho ứng dụng chat. Lý do là phương pháp fine-tuning của nó gồm lượng lớn hội thoại và phản hồi của con người. Nhờ vậy, model cho kết quả sát kỳ vọng của con người hơn, mang lại trải nghiệm tốt hơn.
Một số phiên bản fine-tuning của Llama gồm Japanese Llama, chuyên tiếng Nhật, và Llama Pro, một phiên bản nâng cấp của model gốc.
Mistral
Mistral là open model tập trung mạnh vào hiệu năng và hiệu quả. Nó dùng cách tiếp cận Mixture-of-Experts, kết hợp một nhóm model chuyên gia vào một hệ thống, trong đó tuỳ đầu vào mà một số model được chọn để dùng. Cách này giúp tính toán hiệu quả hơn vì mỗi model chỉ xử lý những đầu vào nó chuyên.
Một số phiên bản fine-tuning của Mistral gồm BioMistral, tập trung vào lĩnh vực y khoa, và OpenMath Mistral, chuyên tính toán toán học.
Falcon
Falcon là LLM do Technology Innovation Institute (TII) tạo ra. Falcon-40B được huấn luyện với 40 tỷ tham số và đã được chứng minh hoạt động tốt hơn GPT-3 với ngân sách tính toán ít hơn. Lý do là nó dùng thuật toán FlashAttention và multiquery attention, giúp giảm yêu cầu bộ nhớ khi suy luận (inference). Với thời gian suy luận giảm, Falcon-40B phù hợp cho ứng dụng chat.
Một số phiên bản fine-tuning của Falcon là OpenAssistant, một trợ lý xây trên open model, và GPT4ALL, cho hiệu năng cao hơn model gốc.
Cách chọn
Không có một câu trả lời duy nhất cho việc chọn open model. Điểm khởi đầu tốt là dùng tính năng lọc theo tác vụ trong danh mục model của Microsoft Foundry, giúp bạn biết model đã được huấn luyện cho loại tác vụ nào. Hugging Face cũng duy trì một LLM Leaderboard, cho thấy các model hoạt động tốt nhất theo một số chỉ số.
Khi muốn so sánh LLM thuộc các loại khác nhau, Artificial Analysis là một nguồn tuyệt vời khác:
Nguồn: Artificial Analysis
Nếu làm một tình huống cụ thể, tìm các phiên bản fine-tuning tập trung vào cùng lĩnh vực có thể hiệu quả. Thử nghiệm nhiều open model để xem chúng đáp ứng kỳ vọng của bạn và người dùng tới đâu cũng là một thực hành tốt.
Bước tiếp theo
Điểm hay nhất của open model là bạn có thể bắt đầu làm việc với chúng khá nhanh. Hãy xem danh mục model của Microsoft Foundry, nơi có một bộ sưu tập Hugging Face riêng gồm các model đã nói ở đây.
Nguồn
- Dịch và biên tập từ microsoft/generative-ai-for-beginners · 16-open-source-models/README.md, giấy phép MIT.