К 2030 году вопрос будет не «Есть ли у вас деньги?». Он будет звучать так: «Одобрены ли вы ИИ?»

Я годами наблюдаю за тем, как люди обращаются с деньгами. Меня по-настоящему потрясло, когда я увидел, как тихая машинерия теперь решает, кто может участвовать в экономической жизни.

Несколько месяцев назад моему коллеге — человеку, которого я знаю более десяти лет, со стабильным доходом, без долгов и с привычкой к сбережениям, которой позавидовал бы любой финансовый консультант — отказали в кредитной линии. Никаких объяснений дано не было. Никакого письма не прислали. Только экран, который сообщал, что заявка не может быть обработана в настоящее время.

Он позвонил кредитору. Ему сказали, что решение было принято машиной. Он спросил, что его спровоцировало. Ему ответили, что не могут поделиться этой информацией. Он попросил поговорить с кем-то, кто мог бы рассмотреть это вручную — последовала пауза, затем заученные извинения.

Тот разговор не выходил у меня из головы. Не потому, что исход был ужасным. С ним всё хорошо. Кредит не был нужен срочно. Но из-за того, что он обнажил мир, в котором мы уже живём. Машина посмотрела на него, что-то решила — и в цепочке не осталось ни одного человека, который мог бы объяснить ему, что именно она увидела.

Я часто думаю об этом разговоре, когда представляю, каким будет 2030 год. Мне кажется, вопрос, который большинство людей задают недостаточно громко, звучит так: когда ИИ становится привратником финансового доступа — что именно мы отдаём?

Система, заменившая кредитного инспектора

Я вырос, наблюдая, как отец договаривался с управляющим банком. Это не было процессом. Управляющий задавал вопросы, делал предположения, и от всего этого веяло предвзятостью, которую никто не называл вслух. Система была несовершенной, и я по ней не скучаю.

В ней было одно, что нынешняя траектория тихо устраняет: живой человек, которому можно было задать вопрос, который нёс ответственность и находился в той же комнате, что и последствия своего решения.

На протяжении большей части истории кредитоспособность оценивалась по небольшому набору параметров: доход, занятость, существующий долг и история погашений. Кредитные бюро превращали всё это в баллы. Баллы были грубыми и нередко несправедливыми. Но их было хотя бы несложно понять. Можно было понять, что именно они измеряют. Можно было оспорить ошибку. Можно было со временем изменить число.

То, что я наблюдал на протяжении нескольких последних лет, — это принципиальный отход от этой простоты. Модели машинного обучения теперь одновременно обрабатывают тысячи сигналов для оценки финансового риска. Не только историю платежей. То, как вы печатаете в форме. Как долго курсор зависает перед отправкой. Какие приложения установлены на телефоне. Совпадает ли ритм вашей жизни с ритмом того, кому модель научилась доверять.

По отдельности эти сигналы кажутся почти смешными. В совокупности они порождают решения, определяющие, сможет ли человек взять кредит, снять квартиру, застраховаться или найти работу. Люди, получающие эти решения, зачастую понятия не имеют, какой вес нёс каждый отдельный сигнал.

Личность, которую вы не подозревали, что строите

Вот что мне по-настоящему трудно принять: финансовая личность, считываемая этими системами, — не та, которую вы сознательно создавали. Это та, что просачивалась годами через цифровое поведение.

Вы не решали, что приложения на вашем телефоне скажут что-то о вашей кредитоспособности. Вы не знали, что время суток, когда вы обычно отправляете формы, фиксируется и сопоставляется с паттернами погашений. Вы не подписывали соглашение о том, что социальный граф, связывающий вас с контактами, будет использован для оценки вашего профиля риска.

Именно такая архитектура собирается по кусочкам в финтех-компаниях, кредитных бюро и страховых платформах по всему миру. Личность, которую система выводит о вас, строится на основе портрета, для которого вы позировали, не осознавая этого.

Это создаёт разрыв, о котором я часто думаю. Есть человек, которым вы себя знаете: тот, кто осторожен с деньгами, у кого есть контекст для необычных событий в финансовой истории, у кого есть причины для решений, которые могут казаться алгоритму аномалией. А есть статистическая тень вас, которую видит модель ИИ. Это не одно и то же. Всё чаще именно тень, а не человек, определяет доступ.

Я разговаривал с людьми, которым отказывали в займах после переезда в другой город — не потому, что изменилось их финансовое поведение, а потому, что новый адрес коррелировал в обучающих данных с более высокими ставками дефолта. Я говорил с фрилансерами, которых наказывали не за то, как они управляли деньгами, а за то, что переменные паттерны дохода выглядели для модели, обученной на наёмных работниках, как нестабильность. Я говорил со взрослыми людьми, которых помечали не за что-либо конкретное, а за тонкость их цифрового следа в мире, который всё чаще трактует эту тонкость как подозрительную.

Что строится, когда целью становится эффективность

Я хочу быть справедливым, потому что дискуссия вокруг ИИ и финансового доступа нередко скатывается к страху перед технологиями, который никому не идёт на пользу. Расширение оценки кредитоспособности на основе управляемого ИИ принесло реальную пользу реальным людям. Финтех-кредиторы, использующие поведенческие данные, предоставили кредиты миллионам людей, у которых не было формальной финансовой истории и которые были полностью невидимы для традиционных банковских систем. Это важно. Это жизни, изменившиеся потому, что система смогла увидеть то, чего не видел банковский филиал.

Вот противоречие, к которому я постоянно возвращаюсь: быть эффективным и быть справедливым — не одно и то же, и неустанная оптимизация ради одного не производит другого автоматически.

Модель может быть крайне точной в прогнозировании дефолта по всей популяции, одновременно будучи структурно несправедливой к отдельным людям внутри подгрупп, недостаточно представленных в обучающих данных. Система может открывать двери для одних групп населения, тихо закрывая их для других. Это не противоречия, которые разрешаются инженерными средствами. Это результат выборов — нередко имплицитных — о том, что оптимизирует модель и чей опыт отражают обучающие данные.

Больше всего в этом переходе я беспокоюсь о тех, кого этим системам труднее всего читать. Недавние иммигранты с цифровыми историями. Пожилые люди, которые выстраивали жизнь до того, как цифровой след стал всем. Люди из регионов или сообществ, недостаточно представленных в датасетах, на которых обучались модели. Люди, у которых по законным причинам поведенческие паттерны выглядят аномалией для системы, построенной на иных популяциях.

Для этих людей решения об управляемом ИИ доступе рискуют функционировать скорее как стена, нежели как дверь. Не потому, что они являются риском в каком-либо значимом человеческом смысле. А потому, что система не может уверенно их классифицировать — а системы, которые не могут уверенно классифицировать, склонны по умолчанию прибегать к исключению.

Десятилетие, в котором мы на самом деле живём

Мне кажется, что недооценённым в этом моменте остаётся скорость, с которой эти системы становятся фундаментальными. Это не технология, тестируемая в отдельных программах. Она уже встроена в кредитование, страхование, проверку арендаторов и оценку при трудоустройстве во многих частях мира. Правила, регулирующие её, во многих местах сильно отстают от реальности того, как она функционирует.

Европа предприняла шаги. Действующие там правила налагают требования прозрачности и объяснимости на автоматизированное принятие решений. Эти требования не идеальны. Но они закрепляют принцип: человек имеет право понять на доступном ему языке, почему автоматизированная система приняла решение, затронувшее его жизнь.

Этот принцип не действует повсеместно. На многих рынках ИИ, решающий вопрос вашей кредитоспособности, работает без какого-либо обязательства объяснять вам свои действия. Вам могут отказать без права на обжалование, без объяснений и без какой-либо возможности понять, что именно система увидела, придя к такому выводу.

Я убеждён, что это станет одним из определяющих противоречий наступающего десятилетия. Не те драматические сценарии, которые доминируют в разговорах об ИИ, — оружие или разрушения в масштабах научной фантастики. Более тихое, непосредственное противоречие: кто получает право участвовать в экономической жизни и на каких условиях, по мере того как системы, управляющие этим участием, становятся быстрее, непрозрачнее и значимее.

Что на самом деле требует доверие

Я провёл немало времени в пространствах, где принимаются финансовые решения. То, к чему я неизменно возвращаюсь, наблюдая за этой трансформацией, — это то, что доверие — не баллы. Это нечто более сложное и более человеческое.

Доверие предполагает контекст. Оно предполагает способность выслушать историю и понять, почему число выглядит именно так. Оно предполагает суждение, выходящее за рамки сопоставления паттернов. Сложные системы ИИ, доступные сегодня, действительно впечатляют в части сопоставления паттернов. Остальным они не способны.

Риск, который я вижу в мире, который мы строим, не в том, что машины будут принимать решения. Институты всегда использовали инструменты для управления масштабом своих решений. Риск в том, что мы начнём путать уверенность машины с полнотой суждения. Что мы перестанем задавать вопросы, потому что модель выдала число — а число ощущается как окончательное.

Получите ли вы одобрение от ИИ — это будет иметь всё большее значение в ближайшие годы. Вопрос, который должен иметь не меньшее значение и о котором я думаю каждый раз, когда вспоминаю тот разговор с коллегой, — зарабатывает ли ИИ доверие, которое мы в него вкладываем.

На этот вопрос ИИ не может ответить. Это вопрос, который мы должны продолжать задавать — с достаточной настойчивостью, чтобы люди, создающие и внедряющие эти системы, слышали нас.

Если этот материал выразил то, что вы чувствовали, но не могли объяснить, — рад, что он оказался понятным. Подпишитесь на это издание, чтобы читать истории о технологиях, финансах и их влиянии на людей. Если вам понравился материал, расскажите о нём другим. Можно аплодировать ему. Оставьте комментарий. Расскажите, что вы думаете, — даже если вы не согласны или видите ситуацию иначе. Это издание создаётся людьми, которые пишут о том, что им важно. Они привносят в истории свои мысли и опыт. Если вам есть что рассказать — свяжитесь с нами. Мы сможем поработать над этим вместе. *

Материал «К 2030 году вопрос будет не "Есть ли у вас деньги?", а "Одобрил ли вас ИИ?"» был первоначально опубликован в Coinmonks на Medium, где читатели продолжают обсуждение, выделяя фрагменты и отвечая на эту историю.