Сможет ли регулирование остановить ИИ-системы от того, чтобы уничтожить нас всех? Мартин Томас задается вопросом, как вообще рациональный человек может утверждать, что независимый надзор и регулирование будут достаточными.
Снова одна передовая модель ИИ была отозвана, потому что не прошла тесты безопасности (OpenAI отказывает в выпуске новой модели из-за проблем с безопасностью в внутренних испытаниях, 28 сентября). Снова слышны привычные призывы к «независимому надзору и регулированию», хотя никогда не приводится объяснение того, как это должно работать, и, что важнее, какие доказательства должны убедить регулятора в том, что система ИИ достаточно безопасна.
Существует давняя инженерная традиция регулирования программных систем, критичных с точки зрения безопасности, таких как системы управления самолетами или атомными электростанциями; международные стандарты требуют «дел о безопасности» — строгих анализов, показывающих, что возможные опасности выявлены и контролируются, и что вероятность аварии чрезвычайно низка.
Как правило, дело о безопасности должно показывать, с вероятностью по крайней мере 99%, что авария, которая могла бы привести к множественным жертвам, не произойдет чаще, чем раз в 1 000 лет. Предоставить доказательства таких низких вероятностей крайне трудно, даже для самолетов, которые в худшем случае могут привести к гибели 1 000 человек в одной катастрофе. Разработчики передовых систем ИИ говорят нам, что их системы могут уничтожить все человечество, но при этом они не представили подробных анализов рисков, дел о безопасности, которые могли бы быть независимо оценены, и никаких доказательств того, что такие дела о безопасности вообще могут быть подготовлены для передовых систем ИИ.
Как же тогда любой рациональный человек может утверждать, что независимый надзор и регулирование будут достаточными? Политика должна основываться на строго проанализированных фактах, а не на фантазиях.
Мартин Томас
Член-корреспондент и почетный профессор информационных технологий, Gresham College