Радиально-базисная функция

Радиальная базисная функция (РБФ) — функция из набора однотипных радиальных функций, используемых как функции активации в одном слое искусственной нейронной сети или как-либо ещё, в зависимости от контекста. Радиальная функция — это любая вещественная функция, значение которой зависит только от расстояния до начала координат $\phi \left(\mathbf {x} \right)=\phi \left(\left\|\mathbf {x} \right\|\right)$ или от расстояния между некоторой другой точкой $\mathbf {c}$, называемой центром: $\phi \left(\mathbf {x} ,\mathbf {c} \right)=\phi \left(\left\|\mathbf {x} -\mathbf {c} \right\|\right)$. В качестве нормы обычно выступает евклидово расстояние, хотя можно использовать и другие метрики.

Линейные комбинации радиальных базисных функций также можно использовать для аппроксимации заданной функции. Аппроксимация может быть интерпретирована как простейшая разновидность нейронной сети; именно в этом контексте радиальные базисные функции были впервые определены в работе Дэвида Брумхэда и Дэвид Лоу в 1988 году, основанной на фундаментальной работе Майкла Пауэлла 1977 года.

Радиальные базисные функции также используются в качестве ядра в методе опорных векторов.

Виды

Часто используемые радиально-базисные функций включают в себя ($r=\left\|\mathbf {x} -\mathbf {x} _{i}\right\|$):

• Функция Гаусса:

  $\phi \left(r\right)=e^{-\left(\varepsilon r\right)^{2}}$

• Мультиквадратичная:

  $\phi \left(r\right)={\sqrt {1+\left(\varepsilon r\right)^{2}}}$

• Обратная квадратичная:

  ${\displaystyle \phi \left(r\right)={\dfrac {1}{1+\left(\varepsilon r\right)^{2}}}}$

• Обратная мультиквадратичная:

  $\phi \left(r\right)={\dfrac {1}{\sqrt {1+\left(\varepsilon r\right)^{2}}}}$

• Полигармонический сплайн:

  ${\begin{aligned}\phi \left(r\right)&=r^{k},&k&=1,3,5,\dotsc \\\phi \left(r\right)&=r^{k}\ln \left(r\right),&k&=2,4,6,\dotsc \end{aligned}}$

• Тонкий сплайн пластины (специальный полигармонический сплайн):

  $\phi \left(r\right)=r^{2}\ln \left(r\right)$

Приближение

Две ненормализованных гауссовых радиальных базисных функций одной переменной, c центрами в точках $x_{1}=0{,}75$ и $x_{2}=3{,}25$ соответственно.

Для аппроксимации функций с помощью радиальных базисных функций обычно берётся их линейная комбинация вида:

$y\left(\mathbf {x} \right)=\sum _{i=1}^{N}w_{i}\,\phi \left(\left\|\mathbf {x} -\mathbf {x} _{i}\right\|\right)$,

где в качестве аппроксимирующей функции $y\left(\mathbf {x} \right)$ берётся сумма $N$ радиальных базисных функций с центрами в точках $\mathbf {x} _{i}$ и коэффициентами $w_{i}$. Коэффициенты можно вычислить с помощью метода наименьших квадратов, поскольку аппроксимирующая функция является линейной по отношению к коэффициентам $w_{i}$.

Аппроксимационные схемы такого рода особенно полезны в прогнозировании временных рядов, управлении нелинейных систем, демонстрирующих достаточно простое хаотическое поведение, и 3D-моделировании в компьютерной графике.

Нейронные сети на основе РБФ

Линейная комбинация:

$y\left(\mathbf {x} \right)=\sum _{i=1}^{N}w_{i}\,\phi \left(\left\|\mathbf {x} -\mathbf {x} _{i}\right\|\right)$

также может быть интерпретирована как простейшая искусственная нейронная сеть с одним слоем, называемая сетью радиально-базисных функций, в которой радиальная базисная функция исполняет роль функции активации. Можно показать, что любая непрерывная функция на компактном интервале в принципе может быть интерполирована с произвольной точностью при достаточно большом $N$.

Аппроксимации $y\left(\mathbf {x} \right)$ является дифференцируемой по $w_{i}$. Коэффициенты можно вычислить при помощи любого стандартного итерационного метода для нейронных сетей.

Таким образом, радиальные базисные функции предоставляют собой гибкий инструмент интерполирования при условии, что множество центров более-менее равномерно покрывает область определения искомой функции (в идеале центры должны быть равноудалены от ближайших соседей). Тем не менее, как правило в промежуточных точках аппроксимация достигает высокой точности только если множество радиальных базисных функций дополнено полиномом, ортогональным к каждой из РБФ.

Литература

• Broomhead, David H.; Lowe, David (1988). "Multivariable Functional Interpolation and Adaptive Networks" (PDF). Complex Systems. 2: 321—355. Архивировано (PDF) 14 июля 2014.{{cite journal}}: Википедия:Обслуживание CS1 (множественные имена: authors list) (ссылка)
• Buhmann, Martin D. (2003), Radial Basis Functions: Theory and Implementations, Cambridge University Press, ISBN 978-0-521-63338-3 {{citation}}: Указан более чем один параметр |ISBN= and |isbn= (справка).
• Hardy, R.L. (1971). "Multiquadric equations of topography and other irregular surfaces". Journal of Geophysical Research. 76 (8): 1905—1915. Bibcode:1971JGR....76.1905H. doi:10.1029/jb076i008p01905.
• Hardy, R.L. (1990). "Theory and applications of the multiquadric-biharmonic method, 20 years of Discovery, 1968 1988". Comp. math Applic. 19 (8/9): 163—208. doi:10.1016/0898-1221(90)90272-l.
• Press, WH; Teukolsky, SA; Vetterling, WT; Flannery, BP (2007), "Section 3.7.1. Radial Basis Function Interpolation", Numerical Recipes: The Art of Scientific Computing (3rd ed.), New York: Cambridge University Press, ISBN 978-0-521-88068-8 {{citation}}: Указан более чем один параметр |ISBN= and |isbn= (справка)
• Sirayanone, С., 1988, сравнительные исследования кригинга, мультиквадриков-бигармонический, и других методов решения проблемы минеральных ресурсов, кандидат технических наук. Диссертация, МЭИ. наук о Земле, Университет штата Айова, Эймс, Айова.
• Sirayanone, S. (1995). "The Multiquadric-biharmonic Method as Used for Mineral Resources, Meteorological, and Other Applications". Journal of Applied Sciences and Computations. 1: 437—475.