Prompt engineering từ cơ bản đến trung cấp (DAIR.AI)

Syllabus

1. Lesson 1
   Các thiết lập của LLM

   Ý nghĩa và cách dùng các tham số temperature, top P, max length, stop sequence, frequency penalty và presence penalty khi gọi LLM.

2. Lesson 2
   Cơ bản về prompt

   Cách viết prompt đơn giản, vai trò system/user/assistant, định dạng prompt chuẩn, zero-shot và few-shot prompting.

3. Lesson 3
   Các thành phần của một prompt

   Bốn thành phần thường gặp của prompt (chỉ dẫn, ngữ cảnh, dữ liệu đầu vào, chỉ báo đầu ra) qua một ví dụ phân loại văn bản.

4. Lesson 4
   Mẹo chung khi thiết kế prompt

   Bắt đầu đơn giản, viết chỉ dẫn rõ, cụ thể, tránh mơ hồ và nói điều cần làm thay vì điều không được làm.

5. Lesson 5
   Ví dụ về prompt

   Ví dụ prompt cho tóm tắt, trích xuất thông tin, hỏi đáp, phân loại văn bản, hội thoại, sinh code và suy luận.

6. Lesson 6
   Zero-shot và few-shot prompting

   Zero-shot prompting dựa vào khả năng làm theo chỉ dẫn của model; few-shot prompting đưa ví dụ minh hoạ để học trong ngữ cảnh, cùng các mẹo và giới hạn của nó.

7. Lesson 7
   Chain-of-thought prompting

   Chain-of-thought (CoT) prompting dùng các bước suy luận trung gian; zero-shot CoT với "Let's think step by step" và Auto-CoT tự sinh minh hoạ.

8. Lesson 8
   Self-consistency

   Self-consistency lấy mẫu nhiều chuỗi suy luận khác nhau qua few-shot CoT rồi chọn câu trả lời nhất quán nhất, thay cho giải mã tham lam.

9. Lesson 9
   Generated knowledge prompting

   Cho model tự sinh "kiến thức" liên quan trước, rồi đưa kiến thức đó vào prompt để cải thiện dự đoán ở các tác vụ suy luận thường thức.

10. Lesson 10
    Prompt chaining

    Chia tác vụ thành chuỗi prompt, đầu ra của prompt trước làm đầu vào cho prompt sau, minh hoạ bằng bài toán hỏi đáp trên tài liệu dài.

11. Lesson 11
    Retrieval Augmented Generation (RAG)

    RAG kết hợp thành phần truy xuất thông tin với model sinh văn bản để truy cập kiến thức bên ngoài, tăng tính nhất quán về sự kiện và giảm ảo giác.

12. Lesson 12
    ReAct prompting

    ReAct cho LLM sinh xen kẽ chuỗi suy luận và hành động theo tác vụ, kết quả trên tác vụ tri thức và ra quyết định, và ví dụ dùng ReAct với LangChain.