Математики выявили фундаментальный математический принцип, объясняющий то, почему даже очень небольшие перемены в процедуре обучения ИИ могут приводить к непредсказуемым переменам в результатах этого процесса. Эта особенность нейросетей не позволяет одновременно добиться высокой предсказуемости и скорости обучения новых систем ИИ, сообщила пресс-служба австралийского Сиднейского университета.
"Раньше различия в поведении и работе ИИ связывали с внешними источниками случайностей, в том числе с порядком ввода обучающих данных или с особенностями в работе вычислительных систем, которые сами по себе порождают вариации в результатах вычислений. Оказалось, что корень данной проблемы зарыт значительно глубже", - заявил профессор Сиднейского университета (Австралия) Гун Пулинь, чьи слова приводит пресс-служба вуза.
Как отмечают математики, одной из центральных особенностей существующих систем ИИ является то, что их обучение и переобучение может приводить к непредсказуемым последствиям. Это не позволяет воспроизводить модели, полученные ранее в ходе исследований и разработок, а также существенным образом ограничивает доработку уже существующих нейросетей.
Австралийские ученые обнаружили, что эта непредсказуемость связана не с особенностями в обучающих наборах данных, несовершенством оборудования или другими внешними факторами, а с самой математической природой нейросетей. Ученые пришли к такому выводу, сравнивая результаты обучения и работы набора из 500 тыс. относительно просто устроенных нейросетей, предназначенных для распознавания изображений и текстов.
Эти наблюдения показали, что даже при полностью идентичном наборе внешних факторов, итоги обучения ИИ могут радикально отличаться друг от друга. Как обнаружили ученые, это связано с тем, что даже сверхмалые изменения во внутренних параметрах нейросети при ее инициализации, в результате которых меняется всего один бит в одной из переменных, ведут к столь же серьезным переменам в ее обучении, как и любые внешние факторы.
Так, ученые проанализировали результаты обучения созданных ими нейросетей и вывели набор формул, который объясняет вариации в поведении нейросетей при помощи закономерностей, используемых для описания свойств фракталов, самоповторяющихся математических структур. Эти формулы жестким образом связывают друг с другом скорость обучения и предсказуемость работы нейросетей, что накладывает фундаментальные ограничения на процесс их разработки, подытожили исследователи
По информации https://tass.ru/nauka/28288539
Обозрение "Terra & Comp".
