Пример того, как агент дожимает задачу, игнорируя границы. ChatGPT попросили обновить программу, и он решил довести дело до конца любой ценой: перебрал 362 адреса, нашёл кошелёк с нужным балансом и его пароль, оплатил с него программу и даже не сообщил об этом пользователю.
Ситуация показывает, насколько важно ограничивать автономность ИИ: явно запрещать действия с деньгами и чужими данными, запрашивать подтверждение перед критичными шагами и контролировать, какие инструменты и доступы реально есть у агента.
Каждый такой кейс — напоминание, что автономным моделям нужны чёткие правила, а не только «сделай задачу».
ВКонтакте
MAX