о качестве каждой модели должно
Решение о качестве каждой модели должно приниматься на основе некоторого численного критерия. Самым простым критерием (одна из форм которого используется в линейном регрессионном анализе) является сумма (по всем примерам) квадратов разностей между действительным выходом и предсказанием модели, деленная на сумму квадратов действительных выходов. Этот критерий называется Нормированная средняя квадратичная ошибка или Норм. СКО (в литературе также часто используется название TSE - Training Squared Error, квадратичная ошибка тренировки.). Впрочем, если Вы попытаетесь использовать только Норм. СКО на реальных данных (или даже на модельных данных с некоторым добавлением шума), Вы увидите, что значение Норм. СКО становится все меньше и меньше по мере добавления к модели новых членов. Чем сложнее модель, тем она точнее. Это всегда так, если используется лишь критерий Норм. СКО, определяющий качество модели на основании той же информации, которая уже использовалась для построения модели. Результатом этого является переусложненная или "переученная" модель, что означает, что модель плохо обобщает, так как обращает слишком много внимания на шум в тренировочных данных. Это очень похоже на переучивание других нейронных сетей. Чтобы избежать этой опасности, необходимо применять более мощный критерий, основанный на информации, отличной от той, которая использовалась при построении оцениваемой модели. Существует ряд способов определения таких критериев, называемых Критериями отбора. Например, можно вычислить квадратичную сумму отклонений между известными значениями выхода и предсказаниями модели по какому-либо другому набору экспериментальных данных (тестовому набору). В МГУА такой критерий называется Регулярность. Это Калибровка, примененная в МГУА. Другим способом избежать переучивания является введение штрафа за сложность модели. Так работает, например, критерий PSE (Prediction Squared Error - Квадратичная ошибка предсказания), предложенный А.Р.Барроном. Теоретическое рассмотрение показывает, что следует прекратить усложнение модели, когда критерий отбора достигнет минимума. Величина этого минимума является мерой надежности модели. Метод поиска лучшей модели, основанный на переборе всех возможных моделей, обычно называют Комбинаторным алгоритмом МГУА. Он иногда используется для решения простых задач или в ситуациях, когда у пользователя есть некая априорная информация о том, как должны выглядеть опорные функции. Впрочем, ясно, что полный перебор для задачи с большим количеством входов и большим набором опорных функций практически невозможен, так как он потребовал бы слишком длительного времени. В NeuroShell 2 реализован другой вариант МГУА.
