Социологи из Принстонского университета оценили эффективность применения искусственного интеллекта (ИИ) и машинного обучения для предиктивного анализа данных, то есть прогнозирования будущего поведения в отношении людей. Как следует из исследования ученых, опубликованного в научном журнале Национальной академии наук США (PNAS), точность предсказаний ИИ не дотягивает и до 25%.
ИИ пытался спрогнозировать несколько вариантов будущего для членов около 4 тыс. семей
Чтобы понять, насколько ИИ научился предсказывать жизнь людей, ученые из Принстона использовали помощь примерно 160 исследователей из разных стран. Они пытались спрогнозировать несколько вариантов будущего для членов около 4 тыс. семей на основании анализа примерно 13 тыс. условий их жизни и всевозможных факторов: уровня достатка, доступности образования и работы, размера семьи, психологических особенностей членов семьи, отношений между ними, экономической и политической ситуации и т. п.
Исследователи хотели понять, насколько точными могут быть результаты применения ИИ и машинного обучения при анализе данных об условиях жизни конкретных людей с тем, чтобы спрогнозировать, как их жизнь будет развиваться в будущем.
Они хотели также выяснить возможное попадание этих людей в группы риска, например в преступную среду. Отмечается, что некоторые социологи уже используют подобный предиктивный анализ данных при помощи ИИ.
Данные для исследования взяты из многолетней работы одного из авторов исследования, социолога Принстонского университета Сары Макланахан. На протяжении 15 лет она исследовала жизни семей в США – от начала совместной жизни супругов, рождения детей до начала их учебы, карьеры их родителей, уровня материального положения и т. д.
Исследование начато в 2000 году и прослеживало все этапы жизни членов исследуемых семей. Принстонские ученые предоставили социологам, использующим предиктивные модели поведения людей при помощи ИИ, максимально полный набор факторов жизни этих семей, чтобы при помощи анализа этих данных ИИ смог предсказать, как повернулась жизнь членов этих семей.
Даже обладая обширными данными, предиктивный анализ ИИ дает невысокие результаты точности
Это, в частности, относилось к предсказанию изменения материального положения семьи, карьеры родителей, успеваемости детей в школе и т. п. Максимальная точность прогнозов составила 23% применительно к такому фактору, как «материальные невзгоды» того или иного субъекта исследования, и 19% применительно к успеваемости в учебном заведении.
Минимальная точность – 3%, когда речь шла о прогнозе увольнения с работы человека, или 5% – о вероятности выселения семьи из жилья за неуплату или другие нарушения.
«Возможно, когда речь идет об абстрактных выводах, предсказания могут звучать неплохо», – заявила представительница неправительственной ассоциации Partnership on AI, изучающей проблемы использования и практического применения ИИ, Элис Сянь.
По ее словам, даже самые высокие результаты предиктивного анализа в юридической системе, который, например, прогнозирует вероятность совершения человеком повторного преступления, дают точность не более 60-70%. При этом нередко бывает так, что повторные преступления такой анализ предсказывает лишь в 40% случаев.
Ученые предостерегают властей от использования ИИ в целях прогнозирования будущего
Авторы исследования признают, что для более точных предсказаний, возможно, требуется больший масштаб данных и вводных об условиях жизни человека. Однако они предостерегают власти от того, чтобы чрезмерно полагаться на результаты такого анализа даже с использованием большего массива данных.
«Обладание большим объемом данных и более совершенными способами машинного обучения и ИИ не гарантирует точность предсказаний, – считает один из авторов исследования Мэтью Салганик. – При этом у политиков или должностных лиц, которые не имеют большого опыта в работе с ИИ в этой области, могут быть завышенные нереалистичные ожидания от использования подобных систем анализа».