RNN (рекуррентная нейронная сеть) на китайском языке называется циклической нейронной сетью. Обычно она принимает последовательность в качестве входных данных. Благодаря внутренней структуре сети, она может эффективно фиксировать характеристики взаимосвязи между последовательностями и, как правило, выводить их последовательно.
Схема однослойной нейронной сети RNN:
В этой статье в основном рассказывается о различных моделях, основанных на внутренней структуре RNN. Читатели могут обратиться к различным классификациям структур, соответствующим вводу и выводу.
РНН моделист-конструктор
Схема внутренней структуры традиционной РНС:
С точки зрения модели расширения трех временных шагов, входные данные каждого временного шага состоят из выходных данных скрытого слоя предыдущего временного шага и входных данных текущего временного шага после сращивание (обычно объединение после сращивания), пройдите через линейный слой (функция активации — tanh), чтобы получить ht, который будет использоваться в качестве входных данных для следующего временного шага и x (t + 1) в следующую структуру, и поэтому на.
Идентификационные признаки объектов капитального строительства — Строительная экспертиза
Согласно структурному анализу найдена внутренняя формула расчета:
Код модели RNN
Значения параметров кода приведены во фрагментах кода.
Преимущества и недостатки модели RNN
Преимущества RNN: внутренняя структура проста, время и пространство, необходимые для расчета, малы, количество параметров невелико, и она хорошо работает для задач с короткими последовательностями.
Недостатки RNN: при решении ассоциации между длинными последовательностями RNN работает очень плохо.При обратном распространении градиент исчезает или градиент увеличивается из-за слишком длинной последовательности.
Структура и код LSTM
Что такое модель LSTM
LSTM: структура долгосрочной и краткосрочной памяти, вариант RNN. По сравнению с RNN, он лучше работает в ситуациях задач с длинной последовательностью и эффективно устраняет явление взрыва градиента или исчезновения градиента.
Структура LSTM
По сравнению с RNN, структура LSTM более сложная и состоит из четырех частей:
· Забытая дверь
· Входные ворота
· Состояние ячейки
· Выходной вентиль
Внутренняя структура LSTM:
Схема частичного строения и формула расчета ворот
Анализ забытой дверной конструкции
похож на традиционную структуру RNN
Структура и код ГРУ
Я напишу это первым сегодня, и я продолжу писать, если у меня будет время завтра.
Источник: russianblogs.com