ChatGPT теперь может видеть, слышать и говорить

Как сообщили в официальном блоге, в компании начали внедрять новые голосовые и графические возможности в ChatGPT, которые позволят вести простой разговор голосом или показывать ChatGPT, о чём вы говорите.

Основные моменты

Голос и изображения

Теперь вы можете фотографировать достопримечательности во время путешествий и обсуждать их. Дома вы можете фотографировать холодильник и обсуждать, что приготовить на ужин.

Доступность

 Эти функции будут доступны для пользователей Plus и Enterprise в течение следующих двух недель. Голос будет доступен на iOS и Android, а изображения — на всех платформах.

Технические детали

• Голос: Новая функция голоса работает на основе новой модели text-to-speech, способной генерировать человекоподобный аудио.
• Изображения: Понимание изображений работает на основе мультимодальных моделей GPT-3.5 и GPT-4.

Безопасность и риски

OpenAI активно работает над минимизацией рисков, связанных с использованием голосовых и зрительных моделей.

Ограничения модели: OpenAI прозрачно говорит о ограничениях модели и не рекомендует использовать ChatGPT для специализированных тем без должной проверки.