Разработан новый алгоритм классификации без отрицательных данных в датасете

алгоритм классификации без отрицательных данных в датасете

Исследователи проекта RIKEN разработали новый метод машинного обучения, который позволяет обучать модели классифицировать объекты без отрицательных данных в обучающем датасете.

В задачах классификации алгоритмы используют положительные и отрицательные данные. Например, если нужно определить улыбку на фотографии, то изображения с улыбающимся человеком будут классифицированы как положительные, а фото человека без улыбки — как отрицательные. Трудность работы с этой технологией в том, что для обучения требуются и те и другие примеры.

В новом подходе ученые работают только с положительными данными. Такой метод будет полезен в случае, если отрицательные данные для модели невозможно получить. Команда использует показатель доверия (Pconf), который математически высчитывает соответствие вероятности, относится ли результат к положительному классу.

Например, при прогнозировании покупок можно легко получить данные клиентов, которые уже совершили покупку — положительные, но отрицательные получить невозможно, потому что нет информации о людях, которые покупку не совершали. В такой задаче показателем доверия могут выступить данные из опросов существующих клиентов, насколько они готовы совершить подобную покупку у конкурентов. Данные преобразовываются в вероятность 0 или 1 и используются как Pconf.

Исследователи протестировали работу метода на датасетах MNIST и The CIFAR-10. Результаты Pconf сопоставимы с другими современными методами классификации, использующими отрицательные данные для обучения. Подход поможет улучшить работу моделей классификации и минимизировать ошибки в случаях, когда невозможно получить отрицательные данные для подготовки.

обучение нейронной сети - проклятие размерности

Обучение нейронных сетей: проклятие размерности

Представьте, что вы альпинист на вершине горы и наступает ночь. Вам нужно добраться до лагеря, что внизу скалы, но в свете тусклого фонарика вы можете видеть лишь на несколько метров. Так как же спуститься вниз? Одна из стратегий — оглядеться и понять, какой склон…
DAE-deforming-autoencoders-e1537543914660

Деформирующие автоэнкодеры

В настоящее время генеративные модели привлекают к себе огромное внимание в мировой среде машинного обучения. Этот тип моделей имеет практическое применение в различных сферах. Одни из самых эффективных и широко используемых типов данной модели – это Вариационные Автоэнкодеры (Variational Autoencoders – VAE) и Генеративные…
автоэнкодер

Автоэнкодеры: типы архитектур и применение

Autoencoder (автокодер, автоэнкодер, AE) — нейронная сеть, которая копирует входные данные на выход. По архитектуре похож на персептрон. Автоэнкодеры сжимают входные данные для представления их в latent-space (скрытое пространство), а затем восстанавливают из этого представления output (выходные данные). Цель — получить на выходном слое отклик, наиболее близкий…
генеративно-состязательная нейросеть GAN

Генеративно-состязательная нейросеть (GAN). Руководство для новичков

Генеративно-состязательная нейросеть (Generative adversarial network, GAN) — архитектура, состоящая из генератора и дискриминатора, настроенных на работу друг против друга. Отсюда GAN и получила название генеративно-созтязательная. В случае работы с изображениями, во всем остальном — это сверточная нейронная сеть. GAN были впервые представлены в работе 2014-го года…
сверточная нейронная сеть пример

Как работает сверточная нейронная сеть: архитектура, примеры, особенности

Сверточная нейронная сеть основана на удивительно мощной и универсальной математической операции. В этой статье мы шаг за шагом рассмотрим механизм их работы на примере стандартной полностью рабочей сети, и изучим то, как они строят качественные визуальные иерархии. Двумерная сверточная нейронная сеть Двумерная свертка (2D…