Theo nhóm phóng viên của Ars Technica, phần mềm mã nguồn mở Whisper có thể ghi lại các cuộc phỏng vấn, podcast, cuộc trò chuyện, nhận dạng âm thanh của các ngôn ngữ khác nhau, phiên dịch ra Tiếng Anh và lưu thành văn bản. Phần mềm có khả năng tự học và có thể được phát triển để nhận dạng con người qua giọng nói.

OpenAI đã đào tạo Whisper trên 680.000 giờ dữ liệu âm thanh và bảng dịch lại khớp với 98 ngôn ngữ được thu thập từ web. Theo OpenAI, phương pháp tiếp cận tập hợp mở này mang đến "sự tăng cường độ chính xác của các trọng âm, làm rõ tiếng ồn xung quanh và kỹ thuật ngôn ngữ." Phần mềm cũng có khả năng phát hiện ngôn ngữ nói và dịch sang tiếng Anh.

OpenAI mô tả Whisper như một mô hình biến đổi mã hóa-giải mã, một loại mạng thần kinh có thể sử dụng ngữ cảnh thu thập được từ dữ liệu đầu vào, tìm hiểu các liên kết tình huống, sau đó có thể được dịch sang ngôn ngữ cần thiết ở đầu ra của mô hình. OpenAI trình bày tổng quan về phương thức hoạt động của Whisper:

Âm thanh đầu vào được chia thành các đoạn dài 30 giây, chuyển đổi thành biểu đồ quang phổ log-Mel và sau đó chuyển vào bộ mã hóa. Một bộ giải mã được đào tạo để dự đoán văn bản chú thích tương ứng, trộn lẫn với các mã thông báo đặc biệt, chỉ đạo mô hình duy nhất thực hiện các tác vụ như nhận dạng ngôn ngữ, khoảng thời gian của các cụm từ, phiên âm giọng nói đa ngôn ngữ và dịch giọng nói sang tiếng Anh.

Sử dụng mã nguồn mở Whisper, OpenAI hy vọng sẽ giới thiệu một mô hình nền tảng mới mà những chuyên gia công nghệ khác, có thể cùng xây dựng và phát triển trong tương lai để nâng cấp các công cụ hỗ trợ tiếp cận và xử lý giọng nói.

OpenAI có một thành tích đáng kể trên lĩnh vực này. Tháng 1/2021, OpenAI phát hành CLIP , một mô hình thị giác máy tính mã nguồn mở, mở đầu cho kỷ nguyên công nghệ tổng hợp hình ảnh đang phát triển nhanh chóng gần đây như DALL-E 2 và Stable Diffusion .

Tại Ars Technica, nhóm phóng viên đã thử nghiệm Whisper từ mã có sẵn trên GitHub, cung cấp cho mô hình nhiều mẫu, bao gồm một tệp podcast (tệp âm thanh) và một phần âm thanh đặc biệt khó hiểu, được lấy từ một cuộc phỏng vấn qua điện thoại. Mặc dù phải mất một khoảng thời gian khi chạy qua CPU máy tính để bàn tiêu chuẩn của Intel (công nghệ Whisper chưa hoạt động được trong thời gian thực) nhưng Whisper đã thực hiện tốt việc chuyển âm thanh thành văn bản thông qua chương trình Python trình diễn, tốt hơn nhiều so với một số ứng dụng AI hỗ trợ dịch vụ phiên âm mà Ars Technica đã thử dùng trước đây.

Với thiết lập phù hợp, Whisper có thể dễ dàng được sử dụng để phiên âm các cuộc phỏng vấn, podcast và có khả năng dịch các podcast được tạo từ các ngôn ngữ không phải tiếng Anh sang tiếng Anh trên máy tính miễn phí. Đây là sự kết hợp công nghệ mạnh mẽ mà sự phát triển có thể phá vỡ ngành công nghiệp phiên dịch.

Như với hầu hết các mô hình AI hiện nay, Whisper mang lại những lợi thế tích cực và khả năng bị lạm dụng. Trên thẻ mô hình của Whisper (trong phần "Hàm ý rộng hơn"), OpenAI cảnh báo rằng Whisper có thể bị sử dụng để tự động hóa việc giám sát theo điện thoại hoặc xác định từng người nói trong một cuộc trò chuyện, nhưng công ty hy vọng công nghệ sẽ được sử dụng "chủ yếu cho các mục đích có ích cho nhân loại".