Hạ Tầng Âm Thanh Của OpenAI: Bí Quyết Đằng Sau Trải Nghiệm Voice AI Không Độ Trễ

Tốc Độ Của Lời Nói

Để Voice AI mang lại cảm giác tự nhiên, nó phải vận hành theo tốc độ của lời nói con người. OpenAI, với hơn 900 triệu người dùng hàng tuần, vừa tiết lộ cách họ tái cấu trúc toàn bộ hạ tầng WebRTC để loại bỏ những khoảng lặng ngượng ngùng và tình trạng ngắt quãng tín hiệu.

• Kiến trúc Split Relay + Transceiver: Để giải quyết sự xung đột giữa tính hữu bang (stateful) của WebRTC và tính linh hoạt của Kubernetes, OpenAI đã tách biệt phần chuyển tiếp gói tin (Relay) khỏi phần quản lý trạng thái phiên (Transceiver).
• Điều hướng dựa trên ICE Credentials: Bằng cách sử dụng mã "ufrag" có sẵn ngay trong gói tin đầu tiên, họ tạo ra một cơ chế điều hướng mà không cần truy vấn dữ liệu tốn kém.
• Geo-Steering Toàn Cầu: Lưu lượng được dẫn dắt đến điểm truy cập gần nhất trong khi vẫn neo giữ phiên làm việc tại một transceiver duy nhất, giảm tối đa thời gian phản hồi (RTT).

Sự chuyển dịch sang thế chủ động

Cách tiếp cận của OpenAI thể hiện một bước chuyển mình quan trọng: từ việc sử dụng các dịch vụ đám mây tiêu chuẩn sang việc làm chủ sâu sắc các lớp hạ tầng thấp nhất. Việc tinh chỉnh các tùy chọn Linux socket như SO_REUSEPORT và thực hiện ghim luồng (thread pinning) cho thấy OpenAI không còn coi mạng lưới là một "hộp đen" thụ động. Sự chủ động về mặt kỹ thuật này cho phép họ thực hiện "suy luận từng phần"—mô hình bắt đầu xử lý ngay khi người dùng vẫn đang nói—biến hệ thống từ cơ chế "đàm thoại bộ đàm" thành một đối tác trò chuyện thực thụ. Đây là một rào cản kỹ thuật cực lớn mà các đối thủ dựa trên các media server có sẵn sẽ rất khó để bắt kịp.

Nguồn: Hạ tầng OpenAI Blog