Когда алгоритм решил за вас: почему банки блокируют операции и кто отвечает за решения ИИ

Когда цифровая реальность начинает выглядеть странно.

Иногда цифровая реальность выглядит почти абсурдно.

Мы оформляем обычную покупку в интернет-магазине.

Оплата не проходит. Банк блокирует операцию.

Звоним в поддержку.

— Почему заблокировали платеж?

— Алгоритм.

— По каким критериям работает алгоритм?

— Не знаю.

— На основании каких правил или норм он принимает решение?

— Мне это неизвестно.

Занавес.

И это далеко не редкая ситуация.

Сегодня всё больше решений в цифровых сервисах принимают автоматизированные системы и алгоритмы. Однако когда пользователь пытается понять, почему именно было принято решение, ответ часто звучит одинаково: «Так решила система».

Почему банки используют алгоритмы и что происходит на рынке

Почему банки используют алгоритмы

Банки обязаны бороться с мошенничеством и подозрительными операциями. В России на это влияют, например:

• Федеральный закон № 115-ФЗ — противодействие легализации доходов
• Федеральный закон № 161-ФЗ — национальная платёжная система
• нормы уголовного законодательства о мошенничестве
• рекомендации Банка России

Для того чтобы анализировать миллионы транзакций, банки используют антифрод-алгоритмы. Такие системы анализируют:

• поведение клиента
• географию операций
• частоту платежей
• устройство или канал операции
• риск-профиль транзакции

Если система обнаруживает признаки риска, операция может быть приостановлена или отклонена.

Что происходит сейчас на рынке

Российские банки действительно обязаны реагировать на подозрительные переводы. Если операция подпадает под риск-факторы, банк может приостановить перевод, провести дополнительную проверку, запросить подтверждение операции.

Например, проверка может начаться, если получатель находится в базе мошеннических операций, происходит необычная активность клиента, резко меняются контактные данные, операция не соответствует обычному поведению клиента.

Банк может приостановить перевод

В ряде случаев перевод может быть временно приостановлен для проверки добровольности операции. При этом банк должен уведомить клиента, объяснить причину проверки, предложить подтвердить операцию.

Блокировок стало заметно больше

По нашей практике, сообщениям СМИ и обсуждениям на финансовом рынке всё больше пользователей сталкиваются с временными ограничениями операций. Эксперты связывают это с несколькими факторами:

• усилением антифрод-алгоритмов
• расширением критериев подозрительных операций
• ростом числа мошеннических схем

Банк обязан объяснять причины ограничения

Регуляторная позиция в целом достаточно ясна — клиент должен понимать, почему операция была ограничена и что нужно сделать дальше.

Поэтому ответ «так решила система» на практике считается недостаточным объяснением.

Почему эта тема важна

Алгоритмы сегодня принимают решения, которые напрямую влияют на жизнь людей. Например:

• кредит одобрен или отказан
• резюме показано работодателю или отклонено
• аккаунт заблокирован или нет
• цена товара или услуги изменена
• контент рекомендован или скрыт

Часто пользователи даже не знают, что решение принимал алгоритм. Алгоритмы становятся невидимой инфраструктурой цифровой экономики.

5 решений, которые алгоритмы уже принимают за вас

Сегодня многие решения в цифровой среде принимаются автоматически, и пользователь может даже не замечать этого. Вот лишь несколько примеров.

1. Одобрить или отклонить платёж

Антифрод-системы банков анализируют десятки факторов и могут остановить операцию ещё до её проведения.

2. Одобрить кредит или отказать

Кредитный скоринг всё чаще строится на алгоритмах анализа данных.

3. Показать ваше резюме работодателю

HR-системы автоматически фильтруют кандидатов по ключевым параметрам.

4. Показать или скрыть контент

Социальные сети и платформы используют алгоритмы рекомендаций и модерации.

5. Изменить цену товара

Маркетплейсы применяют динамическое ценообразование, где стоимость может зависеть от спроса, времени и поведения пользователей. В результате многие решения в цифровой экономике принимаются не человеком напрямую, а системой правил и алгоритмов.

Где возникает главная проблема

Алгоритмы могут быть эффективными. Однако возникает ключевой вопрос — насколько прозрачны такие решения для пользователя?

На практике часто происходит так:

• операция блокируется
• пользователь не понимает причину
• оператор поддержки не может объяснить решение системы

В результате человек сталкивается с тем, что называют «чёрным ящиком алгоритма». Система принимает решение, но логика этого решения остаётся неизвестной.

Почему это становится юридической проблемой

Автоматизированные решения могут напрямую влиять на доступ к деньгам, проведение операций, использование сервисов, репутацию клиента.

Однако при этом часто остаётся неясным, какие критерии применяются, какие данные учитываются, как можно оспорить решение. Именно поэтому прозрачность алгоритмов становится одной из ключевых тем цифровой экономики.

И банки — лишь часть истории. Алгоритмы принимают решения далеко не только в банковской сфере. Сегодня они используются в:

• банках
• кредитном скоринге
• антифроде
• анализе операций
• HR-системах
• автоматическом отборе резюме
• ранжировании кандидатов
• маркетплейсах
• ранжировании товаров
• динамическом ценообразовании
• социальных сетях
• рекомендациях контента
• блокировках аккаунтов
• страховании
• расчётах риск-профиля клиента

Почему же алгоритмы ошибаются

Автоматические решения могут быть ошибочными по нескольким причинам.

1. Ошибки данных

Если в систему попадают неверные данные, алгоритм делает неправильный вывод.

2. Неполные данные

Алгоритм может не видеть полной картины.

3. Предвзятые выборки

Модель может обучаться на «перекошенных» данных.

4. Ошибки модели

Любая система может быть настроена неправильно.

5. Отсутствие человеческой проверки

Иногда решения принимаются полностью автоматически.

Кто на самом деле отвечает за решения ИИ

С юридической точки зрения алгоритм не является субъектом права.

Он не может нести ответственность, принимать юридически значимые решения, быть стороной правоотношений.

Алгоритм — это инструмент. На практике ситуация сложнее. Многие разработчики программного обеспечения пытаются ограничить свою ответственность в пользовательских соглашениях. Например, в документах часто указывается, что система предоставляет рекомендации, разработчик не несёт ответственности за действия пользователя, результаты работы алгоритма носят вспомогательный характер.

Однако для пользователя это мало что меняет. Если автоматическое решение применяет банк или цифровая платформа, именно этот сервис внедряет систему, использует её для принятия решений и ограничивает операции пользователя. Поэтому объяснять и разбираться с последствиями таких решений в первую очередь приходится самому сервису, а не «алгоритму».

Разработчик технологии может нести ответственность в других ситуациях, например, за дефекты программного обеспечения или нарушения требований безопасности. Однако, несмотря на то что практика формируется на наших глазах, дисклеймеры в документах не могут снимать ответственность полностью.

Что происходит в мире

Это не только российская история. Во многих странах сегодня обсуждается вопрос — кто должен отвечать за решения алгоритмов.

Например, в Европейском союзе принят AI Act, который закрепляет обязанности тех, кто разрабатывает системы ИИ, внедряет их, использует в сервисах.

Международные рекомендации (например, принципы OECD и рамки управления рисками NIST) также исходят из одного базового принципа — ИИ это инструмент, а ответственность за его применение несут люди и организации.

Почему таких ситуаций будет только больше

Алгоритмы уже активно используются в банках, в маркетплейсах, в социальных сетях, в государственных сервисах, в медицине, в рекламе и рекомендациях. И чем больше решений автоматизируется, тем чаще люди будут сталкиваться с ситуацией: «Система приняла решение, но объяснить его никто не может».

Что делать пользователю и почему алгоритмы называют «чёрным ящиком»

Что делать пользователю

Если вы столкнулись с отказом или блокировкой, запросите объяснение, уточните конкретную причину ограничения операции. Решение должно быть обоснованным. Направьте письменный запрос — письменные обращения часто рассматриваются более внимательно. При необходимости обращайтесь к регулятору: например, Банк России, Роспотребнадзор, Роскомнадзор.

Почему алгоритмы называют «черным ящиком»

Во многих системах невозможно быстро объяснить, почему именно алгоритм принял то или иное решение. Он анализирует десятки или сотни факторов одновременно. Однако для пользователя это выглядит просто:

• операция не прошла
• аккаунт заблокирован
• кредит не одобрен

И часто объяснение звучит одинаково: «Так решила система».

Главный вопрос цифровой эпохи

Проблема не в том, что алгоритм может ошибиться. Любая система может ошибаться.

Главный вопрос другой — кто отвечает за решение, принятое алгоритмом.

Алгоритм сам по себе ничего не решает. Он работает в рамках системы, которую создают люди.

Чем может помочь ContentGuard

Автоматические решения всё чаще влияют на повседневную жизнь пользователей — от банковских операций до работы онлайн-сервисов.

Юристы ContentGuard помогают разбираться в ситуациях, когда блокировка происходит в автоматическом режиме, требуется защита прав пользователей. Потому что в мире алгоритмов важно понимать не только, как работает система, но и кто отвечает за её решения.