Bài này giải thích các tham số thường gặp khi gọi LLM qua API và cách chỉnh chúng để có kết quả phù hợp với trường hợp sử dụng của bạn.
Video kèm bài: LLM Settings trên YouTube.
Khi thiết kế và thử nghiệm prompt, bạn thường tương tác với LLM qua API. Bạn có thể cấu hình một vài tham số để nhận kết quả khác nhau cho prompt của mình. Việc tinh chỉnh các thiết lập này quan trọng để cải thiện độ tin cậy và mức độ đúng ý của câu trả lời, và cần thử nghiệm một chút để tìm ra thiết lập phù hợp cho trường hợp sử dụng của bạn. Dưới đây là các thiết lập phổ biến bạn sẽ gặp khi dùng các nhà cung cấp LLM khác nhau.
Temperature
Nói ngắn gọn, temperature càng thấp thì kết quả càng tất định, theo nghĩa token tiếp theo có xác suất cao nhất luôn được chọn. Tăng temperature có thể dẫn tới nhiều ngẫu nhiên hơn, khuyến khích đầu ra đa dạng hoặc sáng tạo hơn. Về bản chất, bạn đang tăng trọng số của các token khả dĩ khác.
Về ứng dụng, bạn có thể dùng temperature thấp cho các tác vụ như hỏi đáp dựa trên sự kiện (fact-based QA) để khuyến khích câu trả lời chính xác, ngắn gọn hơn. Với việc sáng tác thơ hay các tác vụ sáng tạo khác, tăng temperature có thể có lợi.
Top P
Một kỹ thuật lấy mẫu đi cùng temperature, gọi là nucleus sampling, cho phép bạn kiểm soát mức độ tất định của model. Nếu bạn cần câu trả lời chính xác và đúng sự kiện, hãy giữ giá trị này thấp. Nếu cần câu trả lời đa dạng hơn, hãy tăng lên.
Dùng Top P nghĩa là chỉ những token nằm trong khối xác suất top_p mới được xem xét cho câu trả lời, nên giá trị top_p thấp sẽ chọn những câu trả lời "tự tin" nhất. Ngược lại, giá trị top_p cao cho phép model xem xét nhiều từ khả dĩ hơn, kể cả những từ ít khả năng, dẫn tới đầu ra đa dạng hơn.
Khuyến nghị chung là chỉnh temperature hoặc Top P, không chỉnh cả hai.
Max Length
Bạn có thể quản lý số token model sinh ra bằng cách chỉnh max length. Đặt độ dài tối đa giúp tránh câu trả lời quá dài hoặc lạc đề, và kiểm soát chi phí.
Stop Sequences
stop sequence là một chuỗi khiến model dừng sinh token. Khai báo stop sequence là một cách khác để kiểm soát độ dài và cấu trúc câu trả lời của model. Ví dụ, bạn có thể yêu cầu model sinh danh sách không quá 10 mục bằng cách thêm "11" làm stop sequence.
Frequency Penalty
frequency penalty áp một mức phạt lên token tiếp theo, tỷ lệ với số lần token đó đã xuất hiện trong câu trả lời và prompt. Frequency penalty càng cao, một từ càng ít khả năng xuất hiện lại. Thiết lập này giảm việc lặp từ trong câu trả lời bằng cách phạt nặng hơn những token xuất hiện nhiều hơn.
Presence Penalty
presence penalty cũng phạt các token lặp lại, nhưng khác frequency penalty, mức phạt là như nhau cho mọi token lặp lại. Một token xuất hiện hai lần và một token xuất hiện 10 lần bị phạt như nhau. Thiết lập này ngăn model lặp lại cụm từ quá thường xuyên trong câu trả lời. Nếu muốn model sinh văn bản đa dạng hoặc sáng tạo, bạn có thể dùng presence penalty cao hơn. Còn nếu cần model tập trung, hãy thử presence penalty thấp hơn.
Tương tự temperature và top_p, khuyến nghị chung là chỉnh frequency penalty hoặc presence penalty, không chỉnh cả hai.
Lưu ý
Trước khi bắt đầu với các ví dụ cơ bản, hãy nhớ rằng kết quả của bạn có thể khác đi tuỳ phiên bản LLM bạn dùng.
Nguồn
- Dịch và biên tập từ dair-ai/Prompt-Engineering-Guide · pages/introduction/settings.en.mdx, giấy phép MIT.