Том 64, № 4 (2024)

Стохастический градиентный спуск (SGD) является одним из множества методов оптимизации, используемых для решения задач машинного обучения. Практичность и простота подобных методов привлекают не только исследователей, но и инженеров машинного обучения из индустрии. Однако одна из главных слабостей таких методов заключается в необходимости ручной настройки размера шага для эффективного решения каждой конкретной оптимизационной задачи, функции потерь и данных. Стохастический градиентный спуск с размером шага им. Б.Т. Поляка (SPS) – это метод, который предлагает правило обновления, не требующее точной ручной настройки размера шага для решения задачи. Цель настоящей работы – расширить SPS с помощью таких приемов предобуславливания, как методы Хатчинсона, Adam и AdaGrad, что, в свою очередь, улучшит эффективность SPS в случае с плохой обусловленностью задачи и данных. Библ. 31. Фиг. 5.

В 1976–1977 гг. Б.Т. Поляк опубликовал в журнале «Автоматика и телемеханика» две замечательные статьи о том, как исследовать свойства оценок итеративных псевдоградиентных алгоритмов. В первой статье 1976 г. рассматривался общий случай на основе стохастической функции Ляпунова, во второй — линейный случай. Сформулированные предположения и полученные в статьях оценки до сих пор можно считать результатами уровня «state of the art». В настоящей статье этот ставший классическим подход Б.Т. Поляка применяется к исследованию свойств оценок поискового (рандомизированного) алгоритма стохастической аппроксимации для случая неизвестных, но ограниченных помех в наблюдениях. Полученные асимптотические оценки были известны уже и ранее, точные оценки для конечного числа наблюдений публикуются впервые.

Алгоритмы управления с итеративным обучением появились в связи с задачами повышения точности выполнения повторяющихся операций роботами. Они используют информацию из прошлых повторений для корректировки управляющего сигнала на текущем повторении. Чаще всего используется только информация из предыдущего повторения. Алгоритмы управления с итеративным обучением, которые используют информацию из нескольких предыдущих повторений, называются алгоритмами высшего порядка. В последнее время в литературе повысился интерес к этим алгоритмам в связи с задачами роботизированных аддитивных производств. Однако помимо того, что эти алгоритмы мало изучены, относительно их свойств имеются противоречивые оценки. В настоящей статье предлагаются новые алгоритмы управления с итеративным обучением высшего порядка для линейных дискретных и дифференциальных систем, идея построения которых основана на аналогии с многошаговыми методами в теории оптимизации, в частности, с методом тяжелого шарика. Приведен пример, подтверждающий возможность увеличения скорости сходимости ошибки обучения при использовании таких алгоритмов.

Изучение нелинейных проблем, связанных с процессом теплопередачи в веществе, очень важно для практики. Ранее Ю.А. Горчаковым и В.И. Зубовым был предложен эффективный алгоритм определения объемной теплоемкости и коэффициента теплопроводности вещества на основе результатов экспериментального наблюдения за динамикой температурного поля в объекте. В данной работе исследуется задача одновременной идентификации зависящих от температуры объемной теплоемкости и коэффициента теплопроводности исследуемого вещества по тепловому потоку на границе области. Рассмотрение осуществляется на основе первой краевой задачи для одномерного нестационарного уравнения теплопроводности. Рассматриваемая обратная коэффициентная задача сводится к вариационной задаче, которая решается градиентными методами, основанными на применении методологии быстрого автоматического дифференцирования. Исследуется вопрос единственности решения обратной задачи.

История метода поочередных проекций для нахождения общей точки нескольких выпуклых множеств в евклидовом пространстве восходит к известному алгоритму Качмаржа для решения систем линейных уравнений, который появился в 1930-х годах и впоследствии нашел широкое применения в обработке изображений и компьютерной томографии. Важную роль в исследовании данного метода сыграли работы И.И. Ерёмина, Л.М. Брэгмана и Б.Т. Поляка, появившиеся практически одновременно и содержащие весьма общие результаты о сходимости последовательных проекций к точке на пересечении множеств, если это пересечение непусто. В настоящей статье мы рассматриваем модификацию задачи о пересечении выпуклых множеств, относящуюся к теории многоагентных систем и называемую задачей о консенсусе с ограничениями. Каждое выпуклое множество в этой задаче связано со своим агентом и, вообще говоря, недоступно другим агентам. При этом группа агентов заинтересована в нахождении общей точки этих множеств: точки, удовлетворяющей ограничениям. Распределенные аналоги метода поочередных проекций, предложенные для решения этой задачи, приводят к достаточно сложной нелинейной системе уравнений, сходимость которой, обычно, доказывается с помощью специальных функций Ляпунова. В работе дается краткий обзор данных методов и показывается их связь с теоремой о консенсусе в системе усредняющих неравенств, недавно установленной в работах первого автора и развивающей результаты о сходимости обычного метода последовательных усреднений в задаче о консенсусе.