Улучшения возможны, но для этого нужна проактивность

▫️ Результаты алгоритмов машинного обучения часто могут не соответствовать нашим ожиданиям и представлениям о справедливости из-за многих причин. Одна из них — неравномерное распределение примеров в обучающей выборке. Так, в 2017 алгоритмы классификации лиц у IBM, Microsoft и Megvii (китайский IT-гигант) ошибались на представителях одного класса (белокожие мужчины) в 100 раз реже чем на представитях другого класса (темнокожие женщины).

▫️ Устранять такие “несправедливости” важно если система внедряется в широкое пользование: например, автоматическая проверка в аэропорту. Мало кому понравится, если для одной группы населения время прохождения проверок сократится в среднем на порядки по сравнению с другими группами.

▫️ Но иногда при столкновении с несправедливостью срабатывает выученная беспомощность: кажется, что до таких проблем никому нет дела и пытаться менять что-то бессмысленно. Темнокожая исследовательница из Канады в начале своего обучения делала проект, где использовала модель классификации лиц и, поскольку ее лицо часто не подходило для тестирования, она просила своего соседа помочь.

▫️ Однако, через десять лет, уже в другом своем исследовательском проекте, она снова столкнулась с этой проблемой и решила написать компаниям-производителям модели. И несмотря на то, что две из них не ответили, IBM пригласили ее поделиться результатами и уже через несколько недель улучшили качество распознавания в десятки раз для проблемных классов.