В математике и статистике эпсилон-окрестность (ε-окрестность) — это фундаментальное понятие, обозначающее множество точек, удаленных от заданной точки на расстояние меньше заданного ε. В машинном обучении это понятие играет ключевую роль в алгоритмах оптимизации, анализе сходимости и построении устойчивых моделей.
Эпсилон-окрестность позволяет формально определить понятие "близости" в многомерных пространствах признаков, что особенно важно при работе с градиентными методами и оценкой качества моделей.
Для точки x в метрическом пространстве с метрикой d ε-окрестность определяется как: Nε(x) = {y | d(x,y) < ε}, где ε — положительное действительное число.
В контексте машинного обучения чаще всего используются следующие виды метрик:
Концепция ε-окрестности лежит в основе критериев остановки градиентных методов:
Правильный выбор ε критически важен: слишком большое значение приведет к преждевременной остановке, слишком маленькое — к избыточным вычислениям без существенного улучшения.
В стохастических методах (например, SGD) ε-окрестность часто используется для:
Теория сходимости в машинном обучении активно использует ε-окрестности для доказательства следующих утверждений:
В частности, доказательство линейной сходимости многих методов (например, градиентного спуска для сильно выпуклых функций) строится на анализе поведения в ε-окрестности решения.
Выбор параметра ε зависит от:
Эмпирическое правило: начинать с ε ∼ 10-6 для нормы градиента и адаптировать в зависимости от поведения алгоритма.
Концепция ε-окрестности используется в:
В DBSCAN и других density-based методах ε определяет радиус поиска соседей — ключевой параметр, влияющий на количество и форму кластеров.
Концепция ε-окрестности восходит к работам Огюстена Луи Коши и Карла Вейерштрасса по формализации математического анализа в XIX веке. В машинное обучение она проникла через методы оптимизации и стала краеугольным камнем теоретического обоснования многих алгоритмов.