Международная группа исследователей, в которой участвовали математики из Института искусственного интеллекта и цифровых наук факультета компьютерных наук НИУ ВШЭ, теоретически обосновала простой и вычислительно легкий метод оценки неопределенности для стохастического градиентного спуска (SGD). Работа опубликована на сервере научных препринтов arXiv.org и представлена на конференции AISTATS 2026.
Изображение сгенерировано с помощью искусственного интеллекта
Стохастические алгоритмы, включая SGD, широко применяются в задачах оптимизации и машинного обучения. Поскольку эти алгоритмы используют элементы случайности (например, случайные мини-батчи данных), важной характеристикой их решений является доверительный интервал – диапазон, в котором с высокой вероятностью находится истинное решение. Традиционные способы построения таких интервалов требуют сложных статистических оценок, в частности явной оценки предельной ковариационной матрицы решения, что может быть дорого с точки зрения затрат времени и ресурсов или давать неточные оценки.
Ковариационная матрица – это таблица, которая показывает, как несколько случайных величин (признаков или параметров) связаны друг с другом и как они разбросаны относительно своих средних значений.
Исследователи проанализировали один из эмпирически популярных подходов к оценке доверительных интервалов для усредненного SGD, который не требует повторного обучения модели и сложных вычислений. Авторы показали, что он корректно воспроизводит распределение усредненного решения SGD и не нуждается в явной оценке предельной ковариации.
«Подобные методы уже применялись на практике, и часто они показывали лучшие результаты по сравнению с альтернативами. Мы хотели понять причину этого эмпирического преимущества и смогли дать ему строгую математическую интерпретацию», – пояснила Марина Шешукова, младший научный сотрудник Международной лаборатории стохастических алгоритмов и анализа многомерных данных Института ИИ и цифровых наук ФКН НИУ ВШЭ.
Математическое доказательство позволяет пересмотреть отношение к простым эмпирическим методам оценки точности в машинном обучении: разработчики смогут получать надежные оценки неопределенности быстрее и с меньшими вычислительными затратами. Это особенно важно в областях, где критично знать не только предсказание, но и степень уверенности в нем, – например, в медицине, финансах и автономных системах.
Источник: НИУ ВШЭ
Оцените новость 0 0 0 0 0 0 0