Cтраница 3
Обучение может рассматриваться как процесс сокращения компонент запомненных векторов, которые не соответствуют входным векторам. Этот процесс необратим, если вес однажды установлен в нуль, обучающий алгоритм никогда не восстановит его единичное значение. [31]
Существует много других способов формирования решающих правил, которые можно было бы использовать, но все они зависит от получения подробных сведении о переменных. В то же время если вы хотите узнать, какой из двух методов предпочесть - обучающий алгоритм или подход, основанный на ближайшем среднем, попробуйте применить тот и другой, а потом решите. Не существует в общем случае однозначного ответа, так как очень многое зависит от самой природы переменных, которые мы выбрали для ввода в систему. [32]
Это объясняет, почему веса должны инициализироваться единичными значениями. Если бы они были проинициализированы нулевыми значениями, все компоненты вектора С были бы нулевыми независимо от значений компонент входного вектора, и обучающий алгоритм предохранял бы веса от изменения их нулевых значений. [33]
Целью процедуры минимизации является отыскание глобального минимума - достижение его называется сходимостью процесса обучения. Поскольку невязка зависит от весов нелинейно, получить решение в аналитической форме невозможно, и поиск глобального минимума осуществляется посредством итерационного процесса - так называемого обучающего алгоритма, который исследует поверхность невязки и стремится обнаружить на ней точку глобального минимума. Иногда такой алгоритм сравнивают с кенгуру, который хочет попасть на вершину Эвереста, прыгая случайным образом в разные стороны. Разработано уже более сотни разных обучающих алгоритмов, отличающихся друг от друга стратегией оптимизации и критерием ошибок. [34]
Как уже говорилось, поверхность невязки в пространстве весов в общем случае имеет локальные минимумы, и это является главным препятствием для процесса обучения нейронной сети, в особенности, для алгоритма спуска. Можно встретить утверждения, что в ряде случаев локальный минимум является вполне приемлемым решением [105], однако в общей ситуации необходимо разработать стратегию, которая позволяла бы избегать таких точек и гарантировала бы сходимость обучающего алгоритма к глобальному решению. [35]
Целевая функция выходов должна быть сконструирована таким образом, чтобы выражать степень удовлетворительности результата. Теперь входы становятся переменными для обученной сети. Они подстраиваются с помощью того же самого обучающего алгоритма, который применялся для выставления весов на шаге 2, однако используются для максимизации целевой функции. [36]
Отношения и сеть отношений между элементами целого могут быть самостоятельным объектом изучения. При таком чисто структурном подходе к объекту в центре внимания находится не материальная природа элементов и их свойства, а общий каркас их отношений. Методика структурного анализа используется, например, в тех исследованиях, целью которых является построение обучающих алгоритмов распознавания [ 22, 23 и др. ] грамматических конструкций для обучения овладению текстом. [37]
Так, в экеперимен тальных целях сотрудником X. Арльт, составил по этому базальному тексту линейную обучающую программу для обучающей машины Роббимат, которая подает материал в закрепленном темпе с общим временем проработки 40 минут. После этого субъективная информация текста была определена для ряда испытуемых, ничего не знавших о содержании понятия обучающий алгоритм, и для самого X. [38]
Если несколько упростить эту формулировку за счет точности, то дидактика представляет собой не что иное как отображение множества целей обучения во множестве обучающих алгоритмов. Уточнение формулировок и смысла, который вкладывается в понятие переменных, установление их взаимозависимости, определенное указание на то, что пять независимых переменных определяют зависимую ( обучающий алгоритм), - все это принципиально делало схему X. Следовательно, оказывается возможным, с одной стороны, теоретическое ( модельное) описание действий обучаемого, работающего по алгоритму определенного типа ( линейная или разветвленная обучающая программа, обучающая машина); с другой стороны, появляется общий способ алгоритмизированного изготовления обучающих алгоритмов, если воспользоваться тавтологически звучащим, но довольно точно отражающим суть дела выражением X. Речь идет о составлении программированных материалов с помощью ЭЦВМ из своего рода полуфабриката - базального текста. [39]
Франк исходит из формализации ( прежде всего аппарата теории абстрактных автоматов) и отыскивает для понятий абстрактного автомата аналоги в дидактике. Далее, однако, идет формальное описание обучающего алгоритма. Он понимается как триплет Л ( У, R, ф), причем Y есть множество предвидимых или предусмотренных шагов в обучении; R - множество различаемых обучающей системой реакций адресата и ф - макроструктура обучающего алгоритма, иными словами, функция абстрактного автомата, выполняющего данный алгоритм. Сама терминология здесь, в частности, такие понятия, как шаг, реакция, явно близка к терминологии программированного обучения. [40]
Подобные правила рассчитаны на то, чтобы сеть начинала свою работу в линейном режиме и притом не на плоской части поверхности невязок. Однако нет гарантии, что такое начальное приближение приведет к глобальному минимуму или уменьшит время сходимости. Были разработаны другие методы, дающие еще более хорошее начальное приближение с точки зрения уменьшения времени обучения и обладающие большей устойчивостью в смысле локальных минимумов. При использовании обучающих алгоритмов типа ВР выбор начального приближения очень важен. Уже на этом шаге нужно позаботиться о том, чтобы не попасть в локальный минимум. [41]
Искусственные нейронные сети могут менять свое поведение в зависимости от внешней среды. Этот фактор в большей степени, чем любой другой, ответствен за тот интерес, который они вызывают. После предъявления входных сигналов ( возможно, вместе с требуемыми выходами) они самонастраиваются, чтобы обеспечивать требуемую реакцию. Было разработано множество обучающих алгоритмов, каждый со своими сильными и слабыми сторонами. Как будет указано в этой книге позднее, все еще существуют проблемы относительно того, чему сеть может обучиться и как обучение должно проводиться. [42]
Целью процедуры минимизации является отыскание глобального минимума - достижение его называется сходимостью процесса обучения. Поскольку невязка зависит от весов нелинейно, получить решение в аналитической форме невозможно, и поиск глобального минимума осуществляется посредством итерационного процесса - так называемого обучающего алгоритма, который исследует поверхность невязки и стремится обнаружить на ней точку глобального минимума. Иногда такой алгоритм сравнивают с кенгуру, который хочет попасть на вершину Эвереста, прыгая случайным образом в разные стороны. Разработано уже более сотни разных обучающих алгоритмов, отличающихся друг от друга стратегией оптимизации и критерием ошибок. [43]
Четвертая переменная кибернетической дидактики - средство обучения ( техническое), которое соответствует в берлинской школе термину и понятию зависимость ( дидактической системы) от ( технических) средств. Не касаясь многочисленных аспектов использования техники в обучении, заметим лишь, что дидакты-ки-бернетики вкладывают в понятие технического средства минимальное содержание. Франка важно лишь выделить, что элементом памяти технического средства является запоминающее устройство для макроструктуры обучающего алгоритма. [44]
Если несколько упростить эту формулировку за счет точности, то дидактика представляет собой не что иное как отображение множества целей обучения во множестве обучающих алгоритмов. Уточнение формулировок и смысла, который вкладывается в понятие переменных, установление их взаимозависимости, определенное указание на то, что пять независимых переменных определяют зависимую ( обучающий алгоритм), - все это принципиально делало схему X. Следовательно, оказывается возможным, с одной стороны, теоретическое ( модельное) описание действий обучаемого, работающего по алгоритму определенного типа ( линейная или разветвленная обучающая программа, обучающая машина); с другой стороны, появляется общий способ алгоритмизированного изготовления обучающих алгоритмов, если воспользоваться тавтологически звучащим, но довольно точно отражающим суть дела выражением X. Речь идет о составлении программированных материалов с помощью ЭЦВМ из своего рода полуфабриката - базального текста. [45]