Распознавание образов

1 Классическая информационная  система по распознаванию  образов 

     Первые  исследования с вычислительной техникой в основном следовали  классической  схеме математического моделирования - математическая модель, алгоритм и  расчет. Таковыми были задачи моделирования  процессов происходящих при взрывах  атомных бомб, расчета баллистических траекторий, экономических и прочих приложений. Однако помимо классических идей этого ряда возникали и методы основанные на совершенно иной природе, и как показывала практика решения некоторых задач, они зачастую давали лучший результат нежели решения, основанные на переусложненных математических моделях. Их идея заключалась в отказе от стремления создать исчерпывающую математическую модель изучаемого объекта(причем зачастую адекватные модели было практически невозможно построить), а вместо этого удовлетвориться ответом лишь на конкретные интересующие нас вопросы, причем эти ответы искать из общих для широкого класса задач соображений. К исследованиям такого рода относились  распознавание  зрительных  образов , прогнозирование урожайности, уровня рек, задача различения нефтеносных и водоносных пластов по косвенным геофизическим данным и т. д. Конкретный ответ в этих задачах требовался в довольно простой форме, как например, принадлежность объекта одному из заранее фиксированных классов. А исходные данные этих задач, как правило, задавались в виде обрывочных сведений об изучаемых объектах, например в виде набора заранее расклассифицированных объектов. С математической точки зрения это означает, что распознавание   образов (а так и был назван в нашей стране этот класс задач) представляет собой далеко идущее обобщение идеи эктраполяции функции. Важность такой постановки для технических наук не вызывает никаких сомнений и уже это само по себе оправдывает многочисленные исследования в этой области. Однако задача  распознавания   образов имеет и более широкий аспект для естествознания(впрочем, было бы странно если нечто столь важное для искусственных кибернетических  систем  не имело бы значения для естесственных!). В контекст данной науки органично вошли и поставленные еще древними философами вопросы о природе нашего познания, нашей способности распознавать образы, закономерности, ситуации окружающего мира. В действительности, можно практически не сомневаться в том, что механизмы распознавания простейших  образов , типа образов приближающегося опасного хищника или еды, сформировались значительно ранее чем возник элементарный язык и формально-логический аппарат. И не вызывает никаких сомнений, что такие механизмы достаточно развиты и у высших животных, которым так же в жизнедеятельности крайне

       необходима способность различения  достаточно сложной  системы   знаков природы. Таким  образом , в природе мы видим, что феномен мышления и сознания явно базируется на способностях к распознаванию   образов и дальнейший прогресс науки об интеллекте непосредственно связан с глубиной понимания фундаментальных законов распознавания . Понимая тот факт, что вышеперечисленные вопросы выходят далеко за рамки стандартного определения распознавания   образов (в англоязычной литературе более распространен термин supervised learning), необходимо так же понимать, что они имеют глубокие связи с этим относительно узким(но все еще далеко неисчерпанным) направлением. Уже сейчас  распознавание   образов  плотно вошло в повседневную жизнь и является одним из самых насущных знаний современного инженера. В медицине  распознавание   образов  помогает врачам ставить более точные диагнозы, на заводах оно используется для прогноза брака в партиях товаров.  Системы  биометрической идентификации личности в качестве своего алгоритмического ядра так же основаны на результатах этой дисциплины. Дальнейшее развитие исскуственного интеллекта, в частности проектирование компьютеров пятого поколения, способных к более непосредственному общению с человеком на естественных для людей языках и посредством речи, немыслимы без  распознавания . Здесь рукой подать и до робототехники, исскуственных  систем  управления, содержащих в качестве жизненно важных подсистем системы   распознавания . Именно поэтому к развитию  распознавания   образов с самого начала было приковано немало внимания со стороны специалистов самого различного профиля - кибернетиков, нейрофизиологов, психологов, математиков, экономистов и т.д. Во многом именно по этой причине современное распознавание   образов само питается идеями этих дисциплин. 

     Рассмотрим  кратко математический формализм  распознавания   образов . Объект в распознавании   образов описывается совокупностью основных характеристик (признаков, свойств) ( ) 1, ..., n X xx = , где i-я координата вектора Х определяет значения i-й характеристики. Основные характеристики могут иметь различную природу: они могут браться из упорядоченного множества типа вещественной прямой, либо из дискретного множества(которое, впрочем, так же может быть наделено структурой). Такое понимание объекта согласуется как потребностью практических приложений  распознавания   образов , так и с нашим пониманием механизма восприятия объекта человеком. Действительно, мы полагаем, что при наблюдении(измерении)

       объекта человеком, сведения о  нем поступают по конечному  числу сенсоров(анализируемых каналов) в мозг, и каждому сенсору можно сопоставить соответствующую характеристику объекта. Помимо признаков, соответствующих нашим измерениям объекта, существует так же выделенный признак, либо группа признаков, которые мы называем классифицирующими признаками, и в выяснении их значений при заданном векторе Х и состоит задача, которую выполняют естественные и искусственные распознающие системы. Понятно, что для того, чтобы установить значения этих признаков, необходимо иметь информацию о том как связаны известные признаки с классифицирующими. Информация об этой связи задается в форме прецедентов, то есть множества описаний объектов с известными значениями классифицирующих признаков. И по этой прецедентной информации и требуется построить решающее правило, которое будет ставить произвольному описанию объекта значения его классифицирующих признаков. Такое понимание задачи  распознавания   образов  утвердилось в науке начиная с 50-х годов прошлого века. И тогда же было замечено что такая постановка вовсе не является новой. С подобной формулировкой сталкивались и уже существовали вполне не плохо зарекомендовавшие себя методы статистического анализа данных, которые активно использовались для многих практических задач, таких как например, техническая диагностика. Поэтому первые шаги  распознавания   образов прошли под знаком статистического подхода, который и диктовал основную проблематику. Статистический подход основывается на идее, что исходное пространство объектов представляет собой вероятностное пространство, а признаки(характеристики) объектов являют собой случайные величины заданные на нем. Тогда задача исследователя данных состояла в том, чтобы из некоторых соображений выдвинуть статистическую гипотезу о распределении признаков, а точнее о зависимости классифицирующих признаков от остальных. Статистическая гипотеза, как правило, представляла собой параметрически заданное множество функций распределения признаков. Типичной и классической статистической гипотезой является гипотеза о нормальности этого распределения (разновидностей таких гипотез статистики придумали великое множество). После формулировки гипотезы оставалось проверить эту гипотезу на прецедентных данных. Это проверка состояла в выборе некоторого распределения из первоначально заданного множества распределений(параметра гипотезы о распределении) и оценки надежности(доверительного интервала) этого выбора. Собственно эта функция распределения и была ответом к задаче, только объект классифицировался уже не однозначно, но с некоторыми вероятностями принадлежности к классам. Статистиками были

       разработано так же и ассимптотическое обоснование таких методов. Такие обоснования делались по следующей схеме: устанавливался некоторый функционал качества выбора распределения (доверительный интервал) и показывалось, что при увеличении числа прецедентов, наш выбор с вероятностью стремящейся к 1 становился верным в смысле этого функционала(доверительный интервал стремился к 0). Забегая вперед скажем, что статистический взгляд на проблему  распознавания  оказался весьма плодотворным не только в смысле разработанных алгоритмов(в число которых входят методы кластерного, дискриминантного анализов, непараметрическая регрессия и т.д.), но и привел впоследствии Вапника к созданию глубокой статистической теории  распознавания . Тем не менее существует серьезная аргументация в пользу того, что задачи  распознавания   образов не сводятся к статистике. Любую такую задачу, в принципе, можно рассматривать со статистической точки зрения и результаты ее решения могут интерпретироваться статистически. Для этого необходимо лишь предположить, что пространство объектов задачи является вероятностным. Но с точки зрения инструментализма, критерием удачности статистической интерпретации некоторого метода  распознавания может служить лишь наличие обоснавания этого метода на языке статистики как раздела математики. Под обоснаванием здесь понимается выработка основных требований к задаче которые обеспечивают успех в применении этого метода. Однако на данный момент для большей части методов распознавания , в том числе и для тех, которые напрямую возникли в рамках статистического подхода, подобных удовлетворительных обоснований не найдено. Кроме этого, наиболее часто применяемые на данный момент статистические алгоритмы, типа линейного дискриминанта Фишера, парзеновского окна, EM- алгоритма, метода ближайших соседей, не говоря уже о байесовских сетях доверия, имеют сильно выраженный эвристический характер и могут иметь интерпретации отличные от статистических. И наконец, ко всему вышесказанному следует добавить, что помимо асимптотического поведения методов  распознавания , которое и является основным вопросом статистики, практика  распознавания ставит вопросы вычислительной и структурной сложности методов, которые выводят далеко за рамки одной лишь теории вероятностей. Итого, вопреки стремлениям статистиков рассматривать распознавание   образов как раздел статистики, в практику и идеологию распознавания входили совершенно другие идеи. Одна из них была вызвана исследованиями в области распознавания зрительных  образов и основана на следующей аналогии. Как уже отмечалось, в повседневной жизни люди постоянно решают(зачастую бессознательно) проблемы  распознавания  различных ситуаций, слуховых и зрительных  образов . Подобная

       способность для ЭВМ представляет  собой в лучшем случае дело  будущего. Отсюда некоторыми пионерами   распознавания   образов  был  сделан вывод, что решение этих  проблем на ЭВМ должно в  общих чертах моделировать процессы  человеческого мышления. Наиболее  известной попыткой подойти к  проблеме с этой стороны было  знаменитое исследование Ф.Розенблатта по перцептронам. К середине 50-х годов казалось, что нейрофизиологами были поняты физические принципы работы мозга(в книге "Новый Разум Короля" знаменитый британский физик-теоретик Р. Пенроуз интересно ставит под сомнение нейросетевую модель мозга, обосновывая существенную роль в его функционировании квантово- механических эффектов; хотя, впрочем, эта модель подвергалась сомнению с самого начала. Отталкиваясь от этих открытий Ф.Розенблатт разработал модель обучения  распознаванию зрительных  образов , названную им персептроном (см. Приложение 1).

     На  входе персептрон получает вектор объекта ( ) 1, ..., n X x x = , который в работах Розенблатта предсталял собой бинарный вектор, показывавший какой из пикселов экрана зачернен изображением а

       какой нет. Далее каждый из  признаков подается на вход  нейрона, действие которого на  значение i x представляет собой простое умножение на некоторый вес нейрона . Результаты подаются на последний нейрон, который их складывает и общую сумму сравнивает с некоторым порогом . В зависимости от результатов сравнения входной объект Х признается нужным  образом либо нет. Тогда задача обучения  распознаванию   образов состояла в таком подборе весов нейронов и значения порога , чтобы персептрон давал на прецедентных зрительных образах правильные ответы. Розенблатт полагал, что получившаяся функция будет неплохо распознавать нужный зрительный образ даже если входного объекта и не было среди прецедентов. Из бионических соображений им так же был придуман и метод подбора весов и порога , на котором останавливаться мы не будем. Скажем лишь, что его подход оказался успешным в ряде задач распознавания и породил собой целое направление исследований алгоритмов обучения основанных на нейронных сетях, частным случаем которых и является персептрон. i w 0 w i w 0 w i w 0 w Далее были придуманы различные обобщения персептрона, функция нейронов была усложнена: нейроны теперь могли не только умножать входные числа или складывать их и сравнивать результат с порогами, но применять по отношению к ним более сложные функции.

     Нейронные сети на данный момент являются не только инструментом решения задач  распознавания   образов , но получили применение в исследованиях по ассоциативной памяти, сжатию изображений. Хотя это направление исследований и пересекается сильно с проблематикой распознавания   образов , но представляет собой отдельный раздел кибернетики. Для распознавателя на данный момент, нейронные сети не более чем очень специфически определенное, параметрически заданное множество отображений, которое в этом смысле не имеет каких-либо существенных преимуществ над многими другим подобными моделями обучения которые далее будут кратко перечислены. В связи с данной оценкой роли нейронных сетей для собственно  распознавания (то есть не для бионики, для которой они имеют первостепенное значение уже сейчас) хотелось бы отметить следующее: нейронные сети, будучи чрезвычайно сложным объектом для математического анализа, при грамотном их использовании, позволяют находить весьма нетривиальные законы в данных. Их трудность для анализа, в общем случае, объясняется их сложной структурой и как следствие, практически неисчерпаемыми возможностями для обобщения самых различных закономерностей.