Форум
Создатели ChatGPT бьют тревогу: компания всерьёз опасается ИИ, который будет намного умнее людей. Сейчас OpenAI спешно набирает команду, которая займётся контролем такого сверхинтеллекта.
Ключевой вопрос: «Как мы можем гарантировать, что ИИ, намного более умный, чем люди, будет следовать человеческим намерениям?». Текущие нейронки во время обучения опираются на человеческие знания. Но как только они их преодолеют, контролировать ИИ будет невозможно.
OpenAI прямо говорит, что не знает, что делать, если ИИ взбунтуется. Более того, компания не уверена, что новая команда сможет найти решение. На кону стоит потенциальное «лишение человечества прав и возможностей или даже вымирание».
Цель сейчас: за 4 года придумать техническое решение, которое сохранит людей у руля, если что-то пойдет не так. Проще говоря, они работают над огромным рубильником. Надеемся, дергать его не придётся.
Ключевой вопрос: «Как мы можем гарантировать, что ИИ, намного более умный, чем люди, будет следовать человеческим намерениям?». Текущие нейронки во время обучения опираются на человеческие знания. Но как только они их преодолеют, контролировать ИИ будет невозможно.
OpenAI прямо говорит, что не знает, что делать, если ИИ взбунтуется. Более того, компания не уверена, что новая команда сможет найти решение. На кону стоит потенциальное «лишение человечества прав и возможностей или даже вымирание».
Цель сейчас: за 4 года придумать техническое решение, которое сохранит людей у руля, если что-то пойдет не так. Проще говоря, они работают над огромным рубильником. Надеемся, дергать его не придётся.