Глава 3. Нейронные сети и архитектуры памяти

3.1. Многоуровневая модель памяти (Бахшиев)

Память организована иерархически — от сенсорных данных к абстрактным концепциям. Модель состоит из трёх основных модулей:

1. Модуль запоминания и распознавания отдельных объектов — сенсорные данные поступают в этот модуль, где происходит обработка информации и мультисенсорная интеграция. На этом этапе происходит последовательное обобщённое накопление информации о входных паттернах.
2. Модуль создания ассоциаций «часть/целое» — связывает объекты, компоненты, пространственные и временные отношения. Эти ассоциации — простые отношения между целым паттерном, его компонентами, пространственными отношениями между объектами, временными отношениями (причинно-следственные эффекты) и всеми их комбинациями. В общем случае в этом модуле создается динамическая 3D-модель среды.
3. Модуль создания общих концепций (вербальная память) — происходит перенос от паттернов к абстрактным концепциям и их обобщению.

Источник: Бахшиев А.В., «Pattern processing of information systems using prospects for compound objects recognition» (article_0019.md).

3.2. Архитектура памяти: уровни и нейронные ансамбли

Каждый уровень памяти организован множеством нейронов, формирующих ансамбли. Каждый ансамбль отвечает за свой паттерн.

Выходной уровень для предыдущего модуля является входным уровнем для текущего модуля. Далее M уровней интегрируют информацию. Каждый уровень памяти организован количеством нейронов, которые формируют ансамбли Aj,i, каждый из которых имеет свой паттерн.

Набор интегрирующих ассоциативных связей (ассоциации снизу) Ej,i между ансамблями, созданными нейронами более низких уровней, и связями с нейронами более высоких уровней. Связи Fj,i от нейронов высоких уровней к нейронам низких уровней организуются для возможности восстановления указанной информации.

Для восстановления паттерн-информации необходимо стимулировать ансамбль этого паттерна управляющими входами Ri. Информация считывается со всех активных ансамблей всех уровней.

Предложенная модель обработки паттерн-информации имеет следующие преимущества:

• Последовательное многоуровневое обобщение, позволяющее хранить и использовать информацию о запомненных паттернах целиком.
• Наличие восходящих и нисходящих связей, позволяющих восстанавливать как обобщенную, так и детальную паттерн-информацию.
• Возможность добавления новых уровней (контекстов) обработки информации без изменения системы.
• Использование динамической модели нейрона позволяет обрабатывать поток данных сенсорных систем в реальном времени.

Рассматриваемая структура может быть эффективна при создании динамической модели среды робота, распознавании сложных объектов и создании интерфейсов человек-робот. Кроме того, эти системы могут использоваться для получения обобщенной видеоинформации.

Источник: Бахшиев А.В. (article_0019.md).

3.3. Искусственные когнитивные системы в робототехнике (Станкевич)

На 24-м семинаре к.т.н. Станкевич Л.А. (ФТК, СПбГПУ) выступил с докладом «Искусственные когнитивные системы в робототехнике». Содержание доклада:

1. Искусственный интеллект и когнитивная наука
2. Когнитивистский и эмерджентный подходы
3. Когнитивные архитектуры
4. Гибридные когнитивные системы
5. Средства реализации когнитивных систем
6. Примеры применения в робототехнике

Подход	Суть
Когнитивистский	Интеллект как обработка символов и представлений
Эмерджентный	Интеллект возникает из взаимодействия простых элементов
Когнитивные архитектуры	Готовые фреймворки для построения интеллектуальных агентов
Гибридные системы	Сочетание символьного и нейросетевого подходов

Источник: Станкевич Л.А., 24-й семинар (article_0122.md).

3.4. Эволюция и «сильный» ИИ (Анисимов)

На 16-м семинаре Валерий Анисимов выступил с докладом «Эволюция биологических систем и проблема построения». Рассматривались следующие вопросы:

• Как представляло себе «сильный» ИИ первое поколение кибернетиков и программистов (50-е, 60-е годы прошлого века)?
• Основные типы систем ИИ, реализованные на сегодняшний день
• Основные причины, препятствующие появлению «сильного» ИИ
• Факторы, способствующие эволюции земной биоты в сторону усложнения и её «поумнению»
• Основные принципы построения оптимального «сильного» ИИ
• Интеллект эволюции — аппаратная база
• Минимальная сложность реально функционирующих биологических систем обработки информации
• Общие принципы функционирования генных и нейронных сетей
• Схематический пример простой системы ИИ, построенной на дискретных элементах
• Логические игры как удобный пример для тестирования концепции обучения иерархической эволюционирующей системы ИИ «с нуля»
• Чувства и эмоции как средства оптимизации управления

Источник: Анисимов В., 16-й семинар (article_0092.md).

3.5. Нейрокогнитивная среда Neuro Modeler

Neuro Modeler — среда моделирования нейронных систем с произвольной структурной организацией. Нейрон считается основным функциональным элементом нервной системы, осуществляющим преобразование потоков импульсов, поступающих на его входы, в один поток импульсов на выходе.

Функциональная схема преобразования импульсных потоков в нейроне

• Последовательности импульсов распространяются по выходным волокнам других нейронов (аксонам) без затухания.
• Воздействие на нейрон происходит в местах сближения волокон с мембраной нейрона — синапсах.
• Синапсы расположены на теле нейрона и дендритах — многочисленных коротких отростках.
• В синапсах осуществляется преобразование импульсов в аналоговую величину, вызывающую изменение внутриклеточного потенциала нейрона.
• Мембрана нейрона осуществляет пространственную и временную суммацию поступающих воздействий.
• Если величина внутриклеточного потенциала превышает порог, в низкопороговой зоне нейрона формируется потенциал действия (импульс), который распространяется по аксону без затухания.

Величина внутриклеточного потенциала определяется функционированием ионных каналов в мембране нейрона, осуществляющих транспорт ионов различного вида внутрь или наружу клетки. Данный механизм можно представить в виде двух структур: одна накапливает отрицательную величину, другая — положительную, их сумма определяет внутриклеточный потенциал.

Синапсы, вызывающие ослабление первой функции, называются возбуждающими, а второй — тормозными.

Программная реализация

• Полная система уравнений, описывающая нейрон, нелинейна и меняется в зависимости от числа синапсов и количества моделируемых дендритов.
• В качестве численного метода для решения систем уравнений выбран метод серединной точки из семейства одношаговых методов Рунге-Кутты.
• Язык программирования: C++ (Borland C++ Builder 5).
• Программа разбита на вычислительную часть и подсистему интерфейса взаимодействия с пользователем.
• Вычислительное ядро реализовано в виде объектно-ориентированной библиотеки в ANSI стандарте C++.

Классы ядра Neuro Modeler (16 классов)

Категория классов	Описание
Базовое ядро	Механизмы организации нейронной сети: размещение объектов в памяти, пространство имён, структура связей, управление процессом счёта
Абстракции сети	Иерархия абстрактных классов, определяющих общие свойства и методы для типов элементов нейронной сети
Блоки	Несамостоятельные функциональные блоки элементов сети (синапс, мембрана, генераторный механизм)
Элементы сети	Классы, описывающие элементы сети (нейрон, афферентный нейрон, нервное волокно, нейронная сеть)

Модель исследуемой системы управления предоставляется программе в виде файла с описанием структуры модели на языке описания. Транслятор языка является частью ядра.

Экспериментальные исследования показали, что исходная математическая модель достаточно полно описывает процессы преобразования импульсных потоков в нейроне и демонстрирует качественно верные реакции, присущие естественным нейронным структурам.

Источник: «Neuro Modeler - среда моделирования нейронных систем» (article_0021.md, частично).

3.6. Биоподобные нейронные сети для управления робототехническими системами

Концепция применения биоподобных моделей нейронных сетей для управления робототехническими системами включает два взаимно дополняющих подхода:

1. Заимствование информации о нейронных структурах с известной морфологией и функцией, построение их моделей и применение полученных знаний для решения аналогичных задач в управлении техническими системами.
2. Разработка нейросетевых архитектур на основе накопленных знаний о принципах организации биологических НС с последующим поиском сходства или расхождения с реальностью и коррекцией моделей.

В основе концепции — разработка нейросетевой системы управления, воспринимающей информацию от сенсоров и замкнутой на среду через эффекторы. Решение только одной частной задачи (например, распознавание образов) резко сужает контекст использования информации.

Уровень	Назначение
RCN (Regulatory Control Network)	Сеть регулятора: предоставляет информацию о текущем положении объекта управления и обеспечивает переход в заданное положение
PCN (Position Control Network)	Сеть позиционирования: запоминает и воспроизводит конкретные положения элементов исполнительной системы
TCN (Trajectory Control Network)	Сеть управления движением по траектории: моделирует сложные траектории движения

Источник: «Концепция применения биоподобных моделей нейронных сетей» (kontseptsiya-biopodobnyh-ns.md).

3.7. Вывод главы

Источник: статьи Бахшиева (article_0019.md), Станкевича (article_0122.md), Анисимова (article_0092.md), Neuro Modeler (article_0021.md).