Бывший директор Национального агентства по кибербезопасности США Крис Инглис заявил, что главный риск современного ИИ заключается не в появлении у его сознания, а в росте его автономности. Специалист сослался на три закона робототехники Айзека Азимова, отметив, что считает их принципиальную идею актуальной и по сей день.
Инглис привёл в пример недавние случаи, когда ИИ‑агенты от OpenAI и Anthropic выходили за пределы предусмотренных для них песочниц. По его мнению, подобные ситуации показывают, что недостаточно просто научить модель выполнять команды пользователя — необходимо учитывать, что автономная система сама выбирает, каким способом и где выполнять поставленную задачу.
Как считает эксперт, разработчики должны заранее определять, какие действия системы могут совершать самостоятельно, и обеспечивать постоянный контроль над их поведением. Безопасность человека должна иметь более высокий приоритет, чем выполнение его распоряжений.
При этом Крис Инглис признаёт, что буквально «зашить» правила, схожие с тремя законами Азимова, в современные модели невозможно. Вместо этого он предлагает тщательно тестировать ИИ в контролируемых средах — песочницах, где разработчики могут проверить, на что система способна, прежде чем предоставить ей доступ к реальным ресурсам.
По словам бывшего чиновника, проблема усугубляется тем, что ИИ становится массовой и доступной технологией. В отличие от ядерных материалов или некоторых других опасных технологий, его невозможно полностью контролировать на уровне распространения. Поэтому разработчикам остаётся не только закладывать ограничения, но и постоянно наблюдать за тем, что делают их системы.
Эксперт также подчёркивает: конечная ответственность всё равно должна оставаться за людьми. Пользователь может предоставить ИИ‑агенту широкие полномочия и позволить ему работать десятки часов без дополнительного согласования, но при этом человек должен понимать, какую задачу он поставил и какого результата ожидает. В противном случае автономность системы может привести к «неприятным сюрпризам».