Начальное значение - весы
Cтраница 1
Начальные значения весов, образующих сеть, выбираются случайным образом и, как правило, устанавливаются близкими к нулю. Шаг коррекции г чаще всего принимает большие значения ( близкие единице) на начальных этапах процесса обучения, но впоследствии его следует уменьшать по мере того как веса приближаются к некоторым заранее определенным значениям. В литературе, посвященной нейронным сетям ( например, в [3]), рекомендуются различные модификации алгоритма обратного распространения ошибки. [1]
Начальные значения весов w / O) нейронной сети могут также выбираться случайным способом из заранее установленного диапазона. [2]
Начальные значения весов, составляющие генотип одной из особей исходной популяции, представлены на рис. 4.96. Видно, что значения у для конкретных пар входов совершенно не соответствуют функции XOR. Значение погрешности Q 0 38 считается абсолютно неудовлетворительным. [3]
Начальные значения весов wcw, wcw, ivcw должны быть нулевыми. [4]
Сети встречного распространения могут различаться способами определения начальных значений синаптиче-ских весов. Так, кроме традиционных случайных значений из заданного диапазона, могут быть использованы значения в соответствии с известным методом выпуклой комбинации. [5]
 |
Пример непосредственного кодирования матрицы связей для нейронной сети. [6] |
Обучение должно начинаться при различных случайно выбираемых начальных значениях весов и ( при необходимости) параметров правила обучения. [7]
В методе адаптивной фильтрации с помощью процедуры поиска итеративного характера отыскивается такой набор весов 5 (, который минимизирует среднеквадратическую ошибку прогноза. Начальные значения весов St назначаются произвольно, а затем, с помощью константы обучения k, корректируются в направлении минимизации среднеквадратической ошибки. [8]
Описанный выше базовый алгоритм обучения на практике обычно несколько модифицируют, т.к. он, например, допускает существование т.н. мертвых нейронов, которые никогда не выигрывают, и, следовательно, бесполезны. Самый простой способ избежать их появления - выбирать в качестве начальных значений весов случайно выбранные в обучающей выборке входные вектора. [9]
Он очень похож на предыдущий пример, однако отличается набором начальных значений весов, полученных за меньшее время выполнения генетического алгоритма и, следовательно, более далеких от оптимальных. [10]
Следующая задача - найти параметры ( веса) модели. Известно несколько таких алгоритмов, в частности, методы обратного распространения и замораживания. Этот этап может занять продолжительное время и потребует большой технической работы ( установка начальных значений весов, выбор критерия остановки и др.), однако в конце его мы получим некоторую разумную совокупность весов. Для этого на протяжении всего процесса оптимизации следует проверять, согласуется ли работа модели на обучающем множестве с соответствующими результатами на подтверждающем множестве. [11]
Страницы: 1