Константа Липшица сигмоидной сети
Рассмотрим слоистую сигмоидную сеть со следующими свойствами:
1. Число входных сигналов — n 0.
2. Число нейронов в i- м слое — ni .
3. Каждый нейрон первого слоя получает все входные сигналы, а каждый нейрон любого другого слоя получает сигналы всех нейронов предыдущего слоя.
4. Все нейроны всех слоев имеют вид, приведенный на рис. 1 и имеют одинаковую характеристику.
5. Все синаптические веса ограничены по модулю единицей.
6. В сети m слоев.
В этом случае, учитывая формулы (4), (5), (12) и (14) константу Липшица i- го слоя можно оценить следующей величиной:
Используя формулу (4) получаем оценку константы Липшица всей сети:
Если используется нейроны типа S 1, то ΛP =c и оценка константы Липшица сети равна:
Для нейронов типа S2 , то ΛP =1/- и оценка константы Липшица сети равна:
Обе формулы подтверждают экспериментально установленный факт, что чем круче характеристическая функция нейрона, тем более сложные функции (функции с большей константой Липшица) может аппроксимировать сеть с такими нейронами.
Другое по теме
6. Измерение времени в Средневековье. «Хаос
средневековых датировок». Средневековые анахронизмы
Хронологическая версия Скалигера была отнюдь
не единственной в его время. Существовали и другие версии, сильно от нее
отличающиеся. Вообще Э. Бикерман с прискорбием говорит о «хаосе
средневековых датировок» [72], с. 7 ...