Giọng nói AI cho phụ đề và lồng tiếng (Hugging Face)

Syllabus

1. Lesson 1
   Giới thiệu nhận dạng giọng nói (ASR)

   Nhận dạng giọng nói là gì, dùng ở đâu, vì sao khó, và phần ASR của khoá sẽ đi qua những gì.

2. Lesson 2
   Model huấn luyện sẵn cho nhận dạng giọng nói

   So sánh model CTC (Wav2Vec2) với Seq2Seq (Whisper) và dùng Whisper qua pipeline() để chép lời, dịch giọng nói, chép lời âm thanh dài và lấy timestamp.

3. Lesson 3
   Chép lời cuộc họp và phân biệt người nói

   Kết hợp Whisper với model speaker diarization của pyannote.audio qua Speechbox để có bản chép lời ghi rõ ai nói lúc nào.

4. Lesson 4
   Giới thiệu chuyển văn bản thành giọng nói (TTS)

   Tác vụ text-to-speech là gì, các ứng dụng chính, rủi ro lạm dụng giọng nói và phần TTS của khoá sẽ đi qua những gì.

5. Lesson 5
   Model huấn luyện sẵn cho text-to-speech

   Dùng ba model TTS có sẵn trong Transformers là SpeechT5 (kèm vocoder HiFi-GAN), Bark và MMS để sinh giọng nói từ văn bản.

6. Lesson 6
   Dịch giọng nói sang giọng nói

   Ghép Whisper (dịch giọng nói) với SpeechT5 (TTS) thành hệ thống dịch giọng nói sang giọng nói dạng nối tầng và đóng gói thành demo Gradio.