Cтраница 2
Как и любой градиентный алгоритм, метод обратного распространения застревает в локальных минимумах функции ошибки, т.к. градиент вблизи локального минимума стремится к нулю. Шаг в алгоритме обратного распространения выбирается неоптимально. Точный одномерный поиск дает более высокую скорость сходимости. [16]
При использовании специализированной схемы обучения регулятор настраивается в режиме реального времени. В этом случае могут быть использованы алгоритм обратного распространения ( ошибки) или рекуррентный метод Гаусса - Ньютона, причем использование последнего предпочтительнее по причине высокой скорости сходимости. Однако критерий оптимизации при введении штрафа на управляющее воздействие отличен от критерия наименьших квадратов. Поэтому традиционная схема оптимизации претерпевает некоторые изменения. [17]
Этот способ является малоэффективным, целесообразнее вычислить совокупность производных ошибки сети по весовым коэффициентам - градиент ошибки по весам связей - и изменить все веса сразу на величину, пропорциональную соответствующей производной. Один из возможных методов, позволяющих вычислить градиент ошибки, - алгоритм обратного распространения, являющийся наиболее известным в процедурах обучения НС. [18]
Разработана программа, которая основывается на нейронно-сетевом методе и использует алгоритм обратного распространения ошибки ( back propagation), при котором сигнал ошибки на выходе нейронной сети распространяется в обратном направлении: от нейронов выходного слоя к нейронам входного слоя с последующей корректировкой синаптических весов нейронной сети для достижения минимальной выходной погрешности. Таким образом, подавая на вход совокупность из ложных и истинных сигналов, путем обработки их с помощью алгоритма обратного распространения, мы получаем на выходе только истинные. Программа реализована на языке программирования Delphy, имеет удобный графический интерфейс и позволяет подавать данные на входной слой нейронов через клавиатуру. [19]
Паралич возникает, когда значительная часть нейронов получает веса, достаточно большие, чтобы дать большие значения NET. Это приводит к тому, что величина OUT приближается к своему предельному значению, а производная от сжимающей функции приближается к нулю. Как мы видели, алгоритм обратного распространения при вычислении величины изменения веса использует эту производную в формуле в качестве коэффициента. Для пораженных параличом нейронов близость производной к нулю приводит к тому, что изменение веса становится близким к нулю. [20]
Оптическая система распознавания ( Optical Character Recognition) фирмы Sharp используется для распознавания японских иероглифов; содержит порядка 10 млн связей и использует разновидность алгоритма LVQ Кохонена; превосходит существующие системы по скорости и точности. Система Onyx Check Reader фирмы VeriFon обеспечивает точное и недорогое считывание чисел на чеках, используя стандартный аналоговый нейрочип фирмы Synaptics. Фирма Calera Recognition Systems продает систему FaxGrabber, которая автоматически превращает поступающий факс в текст, используя в качестве алгоритма модификацию радиальной базисной функции. Фирма Audre Recognition Systems использует вариант алгоритма обратного распространения в устройстве Audre Neural Network, который не только читает стандартный буквенно-цифровой текст, но может быть обучен распознаванию специальных символов, используемых в. [21]