Представьте себе мир, в котором искусственно интеллектуальные алгоритмы принимают решения, влияющие на вашу повседневную жизнь. Теперь представьте, что они предубеждены.
Это мир, в котором мы уже живем, говорит ученый, доктор наук Гарварда и автор Кэти О'Нил. (Прочитайте первую часть нашего обсуждения с доктором О'Нилом здесь). Мы встретились с номинантом Национальной книжной премии, чтобы узнать, что мы можем сделать с предрассудками в эпоху больших данных. КТ: Предубежден ли ИИ?
КО: Предполагается, что каждый алгоритм, который не был явно сделан справедливым, должен быть предвзятым. Потому что, как люди, мы предубеждены. Если мы признаем это, и мы создаем эти алгоритмы с нашими ценностями и нашими данными, то мы не должны предполагать, что что-то волшебным образом произошло, чтобы сделать вещи справедливыми. Там нет магии там.
КТ: Где алгоритмы получают свои данные?
CO: Это зависит от алгоритма. Иногда социальные сети, такие как политическое нацеливание на рынок или реклама или коммерческие колледжи и хищническое кредитование, - но большая часть данных не собирается в социальных сетях или даже в Интернете.
Сбор данных все больше связан с реальной жизнью, например, с работой, работой на работе, поступлением в колледж или в тюрьму. Это не то, что мы можем обойти с помощью законов о конфиденциальности. Это проблемы власти, когда люди, на которых ориентированы алгоритмы, не имеют власти, а люди, которые собирают информацию, создают и внедряют алгоритмы, имеют всю власть. У вас нет никаких прав на неприкосновенность частной жизни, если вы являетесь обвиняемым по уголовному делу, у вас нет никаких прав на неприкосновенность частной жизни на вашей работе, и у вас мало прав на неприкосновенность частной жизни, если вы подаете заявление на работу, потому что если вы не ответите на вопросы, которые задал вам ваш будущий работодатель, то, скорее всего, вы не получите работу.
Мы должны меньше думать о конфиденциальности и больше о власти, когда речь идет об алгоритмах и вреде, который они могут причинить.
КТ: Что мы можем сделать, чтобы сделать это лучше?
CO: Мы можем признать, что эти алгоритмы не являются совершенными по своей сути, и проверить их на их недостатки. Мы должны проводить постоянные проверки и мониторинг - особенно в отношении важных решений, таких как найм, вынесение приговоров по уголовным делам или оценка людей на их рабочих местах - чтобы убедиться, что алгоритмы действуют так, как мы того хотим, а не каким-либо дискриминационным или несправедливым способом.
Эйлса Джонсон / © Культурная Поездка
CT: Каковы лучшие и худшие сценарии для будущего, управляемого данными?
CO: Наихудший сценарий - это то, что мы имеем сейчас - мы все слепо ожидаем, что алгоритмы будут идеальными, хотя мы должны знать лучше к настоящему времени. И мы распространяем прошлые несправедливости и несправедливости. И мы продолжаем игнорировать недостатки этих алгоритмов.
В лучшем случае мы признаем, что эти алгоритмы не лучше, чем люди. Мы, люди, решаем, чего хотим, к чему стремимся. Как мы хотим, чтобы общество выглядело, и мы учим этим ценностям. Если мы сделаем это успешно, эти алгоритмы могут быть лучше, чем люди.
CT: Какую роль могут играть обычные люди?
CO: Самая важная роль, которую может сыграть индивид, это неявно доверять никаким алгоритмам. Иметь огромное количество скептицизма. Если вас оценивают по алгоритму, спросите: «Как я знаю, что это справедливо, как я знаю, что это полезно, как я знаю, что это точно? Какова частота ошибок? Для кого этот алгоритм не работает? Подводит ли это женщин или меньшинства? Задайте такой вопрос.
Второе, помимо скептицизма, заключается в том, что если вы думаете, что алгоритм несправедлив по отношению к вам или другим людям, это объединиться с этими людьми. Недавний пример - учителя. Статистические модели учителей с добавленной стоимостью являются ужасными, почти случайными генераторами чисел. Но они использовались, чтобы решить, какие учителя должны получить срок пребывания в должности и какие учителя должны быть уволены по всей территории США.
Мое предложение для них, чтобы заставить их союз отодвинуться. И это случилось в некоторых местах. Но удивительно, как мало было сопротивления из-за математической природы системы начисления очков.
CT: Как вы попали в «большие данные»?
CO: Я работал на Уолл-стрит и был свидетелем финансового кризиса изнутри. Мне было противно то, как математика использовалась, чтобы использовать людей или обманывать людей. Я видел ущерб, который может быть нанесен математической ложью, то, что я называю «вооружением математики».
Я решил уйти от этого, поэтому я присоединился к Occupy Wall Street и начал работать в качестве исследователя данных. Я постепенно осознал, что мы видим ошибочную и вводящую в заблуждение ажиотаж вокруг вводящих в заблуждение алгоритмов данных, происходящих также за пределами Уолл-стрит, и что это приведет к большому ущербу. Разница была в том, что, хотя люди во всем мире заметили финансовый кризис, я не думал, что люди заметят сбои этих алгоритмов больших данных, потому что они обычно происходят на индивидуальном уровне.
Прочитайте первую часть нашего обсуждения с доктором О'Нилом здесь. Книга доктора Кэти О'Нила «Оружие математического истребления: как большие данные увеличивает неравенство и угрожает демократии», теперь доступна.
