Почему такие компании, как Apple, создают ИИ-агентов с ограничениями

Ключевые тезисы:

• Apple и Qualcomm разрабатывают агентных ИИ-ассистентов, способных навигировать по приложениям и выполнять задачи — но с обязательным подтверждением пользователя на ключевых этапах.
• Модель «человек в петле» позволяет системе подготовить действие, но оставляет финальное одобрение за пользователем.
• Данные остаются на устройстве — это исключает необходимость передачи чувствительной информации на внешние серверы.
• Платёжные провайдеры интегрируются как дополнительный уровень защиты с верификацией перед завершением транзакций.

Следующее поколение ИИ-ассистентов, разрабатываемых в экосистеме Apple, а также производителями чипов, такими как Qualcomm, проектируется со встроенными ограничениями. Ранние версии этих ассистентов, по имеющимся данным, уже умеют навигировать по приложениям, выполнять бронирования и управлять задачами в различных сервисах.

Издание Tom's Guide описало закрытые бета-версии агентных систем, которые успешно справляются с задачами вроде бронирования услуг или публикации контента в приложениях. В ходе одного из тестов система прошла весь рабочий процесс в приложении и остановилась на экране оплаты — чтобы запросить подтверждение у пользователя.

ИИ-агенты создаются с контрольными точками подтверждения. Чувствительные действия — особенно связанные с платежами или изменениями аккаунта — требуют подтверждения пользователя перед выполнением. Модель «человек в петле» позволяет системе подготовить действие, но оставляет право на одобрение за человеком. Исследования, связанные с разработками Apple в области ИИ, изучают способы обеспечить паузу перед выполнением действий, которые пользователь явно не запрашивал.

Банковские приложения уже давно требуют подтверждения переводов. Тот же принцип теперь применяется к действиям ИИ-агентов в различных сервисах.

Ограничения и контроль

Уровень контроля формируется прежде всего за счёт ограничения того, к чему ИИ может получить доступ. Вместо того чтобы предоставлять системе полный доступ ко всем приложениям и данным, компании устанавливают границы: какие приложения доступны агенту и при каких условиях он может инициировать действия.

На практике это означает, что ИИ может подготовить покупку или сформировать бронирование, но не завершить его без одобрения. Кроме того, агент не может свободно действовать во всех сервисах без явно предоставленных разрешений.

По данным Tom's Guide, ключевым мотивом является конфиденциальность. Если данные остаются на устройстве, отпадает необходимость передавать чувствительную информацию на внешние серверы.

В таких сферах, как платежи, ИИ-системы должны взаимодействовать с партнёрами, у которых уже действуют строгие правила. Согласно имеющимся данным, сервисы платёжных провайдеров интегрируются для обеспечения безопасной аутентификации перед завершением транзакций — хотя подобные защитные механизмы ещё находятся в стадии разработки. Существующие системы выступают дополнительным уровнем надзора: они могут устанавливать лимиты транзакций или требовать дополнительной верификации.

Большинство дискуссий об управлении ИИ были сосредоточены на корпоративном применении — в областях кибербезопасности и крупномасштабной автоматизации. Потребительский сектор ставит иные задачи: компании должны проектировать средства контроля, понятные обычным пользователям. Это означает прозрачные шаги подтверждения и встроенную защиту конфиденциальности.

Автономность в рамках дозволенного

По мере того как ИИ приобретает способность самостоятельно выполнять действия, риски возрастают: ошибки могут привести к финансовым потерям или раскрытию данных.

Внедряя контрольные точки на нескольких уровнях — в механизмах подтверждения и в инфраструктуре — компании стремятся управлять этими рисками.

Этот подход, вероятно, определит развитие агентного ИИ в ближайшей перспективе. Вместо стремления к полной автономии компании, похоже, сосредотачиваются на контролируемых средах, где риски поддаются управлению.