OpenClaw выпустил крупное обновление своего инструмента Peekaboo (v3), которое можно считать важной вехой в развитии «агентовисполнителей»: теперь агентам не нужно ограничиваться лишь симулированием действий — они умеют видеть экран и действительно управлять macOS как человек.

Автор проекта — Peter, «отец лобстера», — реализовал набор возможностей, которые превращают Peekaboo из вспомогательного глаза в полноценные «глаза + руки» для AIагентов.

Что нового в Peekaboo v3

Пиксельные скриншоты и распознавание UI: Peekaboo снимает как полноэкранные изображения, так и пиксельноточные фрагменты, а также получает информацию о каждом UIэлементе (позиция, тип, label).

Полный набор действий «руки»: клик, ввод текста, нажатия горячих клавиш, скролл, draganddrop, переключение окон и рабочих столов, взаимодействие с Dock и системными диалогами.

Натуральный язык как интерфейс команды: агент принимает задачи в свободной речи и выполняет цепочки действий на экране.

Интеграция через MCP: Peekaboo может выступать как MCPсервер и «кормить» привычные AIинструменты (Claude Code, Cursor, Codex), что даёт бесшовный workflow — от обнаружения UIошибки до автокоррекции и валидации.

Примеры из тестов: один пользователь показал сценарий, где агент запускает калькулятор, считывает результат с экрана, прогоняет проверку через Python и закрывает задачу — полностью автономный цикл, подтверждающий работоспособность концепта.

Раньше агенты могли «помнить» и «планировать», но не могли надёжно выполнять мелкие, но критичные действия на десктопе. Peekaboo убирает этот барьер: теперь агенты могут не только инициировать процессы, но и доводить их до конца — от клика по кнопке до исправления UIбагов.

Это усиливает такие сценарии, как автоматическое исправление ошибок разработки, UIтестирование, массовые правки контента на локальных интерфейсах и автоматизация ручных рабочих потоков.

Peekaboo предлагает четыре пути запуска:

Homebrew (CLI): brew install steipete/tap/peekaboo — для скриптовой автоматизации.

MCPрежим (npx -y @steipete/peekaboo mcp) — интеграция с AIинструментами типа Cursor или Claude Code.

Десктопприложение (GitHub Releases) — для пользователей без CLIопыта.

Swift Package — встраивание в собственные macOSприложения.

Инструкция и репозиторий доступны на GitHub и официальном сайте: peekaboo.sh и GitHub — openclaw/Peekaboo.

Риски и ограничения

Права доступа и безопасность: инструмент требует разрешений для скриншотов и управления интерфейсом — важно строгая модель прав и аудита, чтобы предотвратить нежелательные автоматические изменения.

Надёжность: автоматические действия на UI зависят от стабильности интерфейса; мелкие изменения в приложении могут ломать сценарии.

Этические и эксплуатационные вопросы: автоматическое изменение писем, публикаций или кода требует контроля, иначе возможны нежелательные последствия (например, отправка некорректного письма или публикация багнутого изменения).

Peekaboo v3 — это существенный шаг в направлении реальных «десктопагентов», которые не только планируют, но и исполняют сложные действия. Для разработчиков и автоматизаторов это мощный инструмент; для индустрии — очередной сигнал, что агенты перестают быть абстрактной концепцией и становятся прагматичным рабочим ресурсом.