О сложности вычислений многомерной аппроксимации глубокими нейронными сетями ReLU

Аннотация

В статье исследуется вычислительная сложность глубоких нейронных сетей ReLU для аппроксимации функций в пространствах Гёльдера-Никольского со смешанной гладкостью $\Lad$ на единичном кубе $\IId:=[0,1]^d$. Для любой функции $f\in \Lad$, строятся неадаптивные и адаптивные глубокие нейронные сети ReLU, имеющие выходные сигналы, приближающие $f$ с заданной точностью $\varepsilon$, и доказывается, что оценки вычислительной сложности приближения, характеризующиеся размером и глубиной этой глубокой нейронной сети ReLU, зависят от $d$ и $\varepsilon$. Результаты показывают преимущество адаптивного метода аппроксимации глубокими нейронными сетями ReLU над неадаптивным методом.