OpenAI внедрила функцию Computer Use («Использование компьютера») для своего десктопного приложения Codex на macOS. Ее новейшая особенность заключается в том, что вашему Mac даже не обязательно быть разблокированным, чтобы кодинг-агент мог работать в приложениях, пока вас нет на месте.

В публикации в X разработчики OpenAI сообщили, что пользователи теперь могут отправлять задания для Codex со своего телефона, позволяя агенту управлять приложениями на Mac, «даже когда экран выключен и заблокирован». На изображении, приложенном к посту, видно заблокированный Mac с наложенным уведомлением «Codex использует ваш Mac» и предложением нажать любую клавишу или кликнуть, чтобы разблокировать устройство.

Для работы этой функции необходимо установить плагин Computer Use и предоставить ему разрешения на «Запись экрана» (Screen Recording) и «Универсальный доступ» (Accessibility). После этого Codex сможет переключаться между окнами, печатать, перемещаться по меню и взаимодействовать с буфером обмена в тех приложениях, которым вы явно дали разрешение.

OpenAI заявляет, что эта функция полезна для задач, с которыми сложно справиться инструментам командной строки: например, воспроизведение ошибок в графическом интерфейсе, изменение настроек приложений или запуск рабочих процессов в настольных программах, которые помогает создавать Codex.

Codex запрашивает разрешение перед работой с каждым новым приложением, а для самых смелых пользователей предусмотрена возможность пометить определенные программы как «Всегда разрешать». OpenAI отмечает, что на момент запуска функция недоступна в Европейской экономической зоне, Великобритании и Швейцарии, а также не может автоматизировать терминальные приложения, сам Codex или системные административные запросы.

Это обновление последовало за другими недавними дополнениями в Codex, включая новую функцию «Appshots», которая делает скриншот и извлекает текст из окна приложения Mac в ветку обсуждения Codex с помощью сочетания клавиш Command-Command, а также новый режим /goal mode, который позволяет агенту продолжать работу над достижением цели на протяжении многих часов или дней.