Ở các bài trước, bạn đã học cách dùng Transformer để chuyển lời nói thành văn bản. Giờ hãy đảo ngược lại và xem cách biến một văn bản đầu vào thành âm thanh đầu ra nghe giống giọng người.
Ứng dụng của TTS
Tác vụ chúng ta sẽ tìm hiểu được gọi là chuyển văn bản thành giọng nói (text-to-speech, TTS). Các model có khả năng chuyển văn bản thành giọng người nghe được có rất nhiều ứng dụng tiềm năng:
- Ứng dụng hỗ trợ: hãy nghĩ tới những công cụ tận dụng các model này để giúp người khiếm thị tiếp cận nội dung số qua âm thanh.
- Đọc sách nói: chuyển sách viết thành dạng âm thanh giúp văn học dễ tiếp cận hơn với những người thích nghe hoặc gặp khó khăn khi đọc.
- Trợ lý ảo: model TTS là thành phần cốt lõi của các trợ lý ảo như Siri, Google Assistant hay Amazon Alexa. Sau khi dùng một model phân loại để bắt từ đánh thức (wake word) và dùng model ASR để xử lý yêu cầu của bạn, chúng có thể dùng model TTS để trả lời câu hỏi của bạn.
- Giải trí, game và học ngôn ngữ: lồng tiếng cho nhân vật NPC, tường thuật sự kiện trong game, hoặc giúp người học ngôn ngữ nghe ví dụ về cách phát âm và ngữ điệu đúng của từ và cụm từ.
Dùng TTS có trách nhiệm
Đây mới chỉ là vài ví dụ, và chắc bạn có thể nghĩ ra nhiều ví dụ khác nữa! Tuy nhiên, sức mạnh lớn đi kèm trách nhiệm, và cần nhấn mạnh rằng model TTS có thể bị dùng cho mục đích xấu.
Ví dụ, với đủ mẫu giọng nói, kẻ xấu có thể tạo ra các bản ghi âm giả đầy thuyết phục, dẫn tới việc dùng giọng của một người khi chưa được phép để lừa đảo hoặc thao túng. Nếu bạn định thu thập dữ liệu để fine-tuning hệ thống của riêng mình, hãy cân nhắc kỹ quyền riêng tư và sự đồng ý có hiểu biết (informed consent). Dữ liệu giọng nói cần được thu thập với sự đồng ý rõ ràng của từng người, đảm bảo họ hiểu mục đích, phạm vi và các rủi ro tiềm ẩn khi giọng của họ được dùng trong một hệ thống TTS. Hãy dùng text-to-speech một cách có trách nhiệm.
Bạn sẽ học gì
Trong phần này, chúng ta sẽ bàn về:
- Bộ dữ liệu phù hợp để huấn luyện text-to-speech
- Các model huấn luyện sẵn cho text-to-speech
- Fine-tuning SpeechT5 cho một ngôn ngữ mới
- Đánh giá model TTS
Nguồn
- Dịch và biên tập từ huggingface/audio-transformers-course · chapters/en/chapter6/introduction.mdx, giấy phép Apache-2.0.