Константа Липшица сигмоидной сети
Рассмотрим слоистую сигмоидную сеть со следующими свойствами:
1. Число входных сигналов — n 0.
2. Число нейронов в i- м слое — ni .
3. Каждый нейрон первого слоя получает все входные сигналы, а каждый нейрон любого другого слоя получает сигналы всех нейронов предыдущего слоя.
4. Все нейроны всех слоев имеют вид, приведенный на рис. 1 и имеют одинаковую характеристику.
5. Все синаптические веса ограничены по модулю единицей.
6. В сети m слоев.
В этом случае, учитывая формулы (4), (5), (12) и (14) константу Липшица i- го слоя можно оценить следующей величиной:
Используя формулу (4) получаем оценку константы Липшица всей сети:
Если используется нейроны типа S 1, то ΛP =c и оценка константы Липшица сети равна:
Для нейронов типа S2 , то ΛP =1/- и оценка константы Липшица сети равна:
Обе формулы подтверждают экспериментально установленный факт, что чем круче характеристическая функция нейрона, тем более сложные функции (функции с большей константой Липшица) может аппроксимировать сеть с такими нейронами.
Другое по теме
1. Римская хронология как фундамент европейской хронологии
Начнем с того, что дадим краткий обзор современного
состояния хронологии древности и средневековья. Хронология, являясь главной для
истории дисциплиной, позволяет определять временной интервал между историческим
фактом и настоя ...