Вопрос

1. Что такое валидация качества данных (далее - КД) и информационных систем (далее - ИС)? Каковы цели валидации КД и ИС? Каково место валидации КД и ИС в общей процедуре валидации?

2. Каковы объекты валидации КД? По каким направлениям она осуществляется?

3. Каковы требования регулятора к КД и ИС, применяемых в ПВР? Где они определены? Каким критериям должны соответствовать данные, применяемые в ПВР?

4. Каковы этапы и особенности проведения валидации КД и ИС?

5. Какой состав документов банк должен иметь и предоставить Банку России для осуществления процедуры валидации КД и ИС?

6. Какие методы оценки и источники информации могут применяться рабочей группой Банка России при осуществлении процедуры валидации КД и ИС?

7. Есть ли отличия между оценкой данных и оценкой качества этих данных в ходе валидации ПВР?

8. Какие методы, технологии, подходы, ИС целесообразно применять банку при построении своей СОКД?

Ответ

1. В широком смысле под валидацией понимается "подтверждение, посредством представления объективных свидетельств, того, что требования, предназначенные для конкретного использования или применения, выполнены" (ISO 9000:2015 "Quality management systems - Fundamentals and vocabulary", а также соответствующий ГОСТ Р ИСО 9000:2011 "Системы менеджмента качества. Основные положения и словарь"). Иными словами, это процедура, дающая высокую степень уверенности осуществляющего ее органа (организации) в том, что конкретный процесс (система, метод, модель и т п.) будет последовательно приводить к результатам, отвечающим заранее установленным критериям приемлемости, применительно к заданным условиям его применения (использования).

В ходе внедрения в банке подходов к количественной оценке рисков для целей расчета норматива достаточности ее собственных средств (капитала) и иных обязательных нормативов, в том числе формирования резервов с применением подхода на основе ожидаемых кредитных потерь (далее - продвинутые подходы) необходимо проведение процедуры оценки применяемых при этом методик управления рисками и моделей количественной оценки рисков, что определено в статье 72.1 Федерального закона Российской Федерации от 10.07.2002 N 86-ФЗ "О Центральном банке Российской Федерации (Банке России)" (далее - Федеральный закон N 86-ФЗ). Эта оценка осуществляется при проведении Банком России процедуры регуляторной валидации указанных методик и моделей (далее в контексте данного документа - валидация), по результатам которой Банк России может выдать банку разрешение на их применение в рассматриваемых целях.

Внедрение продвинутых подходов в России началось в крупнейших банках с области продвинутых подходов в сфере кредитных рисков - подходов на основе внутренних рейтингов (далее - ПВР). Для получения банком, направившей соответствующее ходатайство, разрешения Банка России на применение ПВР необходима оценка банковских методик и моделей количественной оценки кредитного риска, используемых в целях расчета достаточности капитала (далее соответственно - методики и модели ПВР). Эта оценка осуществляется в ходе процедуры валидации для принятия решения о возможности выдачи банку разрешения на применение ПВР в отношении конкретных классов (сегментов) кредитных требований (далее - валидация ПВР).

Валидация КД и ИС является важным и неотъемлемым направлением единого процесса валидации ПВР. Как правило, она выполняется одновременно с другими направлениями валидации ПВР.

Международный стандарт ISO/IEC 2382:2015 определяет валидацию КД как "процесс, осуществляемый в целях определения того, что данные являются точными, полными и соответствуют заданным критериям" (ISO/IEC 2382:2015. Information technology - Vocabulary).

Совместно с валидацией КД осуществляется валидация качества ИС, обеспечивающих ввод, передачу, получение, хранение, агрегирование и иную обработку данных банка, применяемых при реализации ПВР.

Банк России проводит валидацию КД и ИС в следующих целях:

- оценки банковских методик и процедур обеспечения КД на соответствие требованиям Положения Банка России от 06.08.2015 N 483-П "О порядке расчета величины кредитного риска на основе внутренних рейтингов" (далее - Положение Банка России N 483-П) и иных нормативных актов Банка России, регулирующих вопросы качества управления данными, например, подпунктов 8.7.4 - 8.7.6 пунктов 8.7 Положения Банка России от 08.04.2020 N 716-П "О требованиях к системе управления операционным риском в кредитной организации и банковской группе" (далее - Положение Банка России N 716-П);

- оценки эффективности системы управления КД;

- оценки применения в системе управления КД банка методик и процедур обеспечения КД, определенных во внутренних документах банка;

- оценки достаточности КД банка для обеспечения эффективного функционирования методик и моделей ПВР;

- оценки способности информационных систем и системы информационной безопасности (ИБ) банка обеспечивать надежное и эффективное функционирование методик и моделей ПВР;

- выработки для банка рекомендаций по совершенствованию системы управления КД.

2. В соответствии со статьей 2 Федерального закона Российской Федерации от 27.07.2006 N 149-ФЗ "Об информации, информационных технологиях и о защите информации" под ИС понимается "совокупность содержащейся в базах данных информации и обеспечивающих ее обработку информационных технологий и технических средств". Здесь под информационными технологиями (далее - ИТ) понимаются "процессы, методы поиска, сбора, хранения, обработки, предоставления, распространения информации и способы осуществления таких процессов и методов".

ИС в целях осуществления валидации ПВР рассматриваются в более широком контексте с учетом определения, указанного в пункте 8.2 Положения Банка России N 716-П, как "взаимосвязанная совокупность технических и программных средств, других объектов информационной инфраструктуры, содержащейся в базах данных информации и обеспечивающих ее обработку технологий в рамках реализации мероприятий поддержки и обеспечения непрерывности функционирования процессов кредитной организации (головной кредитной организации банковской группы)".

В частности, рассматриваются следующие компоненты ИС, являющиеся объектами валидации КД и ИС:

- функциональные компоненты (модели, методы и алгоритмы);

- компоненты системы обработки, передачи и хранения данных (комплекс технических средств, программное обеспечение);

- организационные компоненты (управление, персонал).

3. Общие требования к КД и ИС, применяемых в методиках и моделях ПВР, устанавливает Банк России. Это право закреплено в статье 72.1 Федерального закона N 86-ФЗ. В настоящее время указанные общие требования определены в Положении Банка России N 483-П, в том числе в его приложении 3, а также в других нормативных актах Банка России.

На основе общих требований Банка России банк самостоятельно разрабатывает комплекс конкретных показателей и критериев, детальных требований к КД и ИС, правил функционирования своей системы обеспечения качества данных (далее - СОКД), определяет их в своих внутренних документах и доказывает в ходе валидации Банку России их корректность, полноту и соответствие указанным общим требованиям.

4. Процедура валидации КД и ИС включает анализ внутренней документов банка, а также наличие системного подхода к формированию и утверждению внутренней документации.

Программа проведения валидации КД и ИС предусматривает следующие этапы:

- проверка процедур обеспечения КД банка на соответствие требованиям приложения 3 Положения Банка России N 483-П и внутренних документов банка по валидации КД и ИС;

- проверка исходных данных, используемых в банковских методиках и моделях количественной оценки кредитного риска, а также тестирование алгоритмов КД. Оцениваются первичные данные, используемые в моделях, их полнота и источники этих данных, алгоритмы обработки и передачи данных, уровень надежности и непрерывности функционирования используемых ИС, достаточность мер по обеспечению информационной безопасности, места хранения данных. Анализируются внутренние алгоритмы оценки качества данных для моделей: на полноту, пропуски, на экстремальные значения (попадания в допустимые значения), допустимые форматы и т п., показатели КД банка, их критерии и предельные значения для работы данными, алгоритмов обработки КД банка и их тестирование;

- в ходе валидации КД и ИС выявленные Банком России несоответствия обсуждаются с банком и впоследствии устраняются банком в сроки, определенные планом устранения несоответствий;

- по результатам проведения валидации и результатов выполнения плана устранения несоответствий Банк России определяет в соответствующем разрешении условия применения ПВР, определенные в ходе процедуры валидации ПВР (далее - регуляторные условия ПВР), для принятия их банком к исполнению;

- после выдачи банку разрешения на применение ПВР Банк России на постоянной основе осуществляет последующий надзор за соответствием внутренних положений ПВР банка требованиям Банка России, соблюдением банком внутренних и регуляторных положений ПВР, а также внутренних и регуляторных условий ПВР, в том числе в части внесения в них возможных изменений.

5. Для успешного осуществления процедуры валидации КД и ИС банку необходимо иметь и предоставить Банку России внутренние документы, определяющие порядок функционирования сферы ИТ и СОКД, в том числе (наименования документов приведены условно для отражения их основной сути и содержания):

стратегии (политики, стандарты и иные положения), имеющие отношение к сфере КД и ИС (например, управления рисками, ИТ развития, обеспечения КД, корпоративной безопасности, информационной безопасности, резервного копирования, управления изменениями, обеспечения непрерывности деятельности, управления проектами, управления персоналом, документирования деятельности, импорта и использования внешних данных и др.);

положения об органах и подразделениях, непосредственно участвующих в СОКД, и подразделений, связанных с функционированием моделей ПВР банка (например, положения о комитете по ИТ, проектном комитете, комитете по управлению рисками и др.);

планы работ, связанных с функционированием СОКД банка (например, обеспечения непрерывности деятельности, аварийного восстановления ИС и др.);

должностные (типовые должностные) обязанности основных работников, непосредственно участвующих в обеспечении КД;

документы, описывающие и регламентирующие работу ИС, участвующих в обработке данных, используемых в ПВР, в т.ч.:

- инструкции и руководства пользователей, указанных ИС;

- инструкции и руководства администраторов, указанных ИС;

применяемые банком методики в сфере обеспечения КД, определяющие в т.ч.:

- характеристики КД, подлежащие контролю;

- методы, алгоритмы и средства, применяемые для обеспечения КД;

- показатели КД с описанием правил их расчета в разрезе соответствующих характеристик КД;

- показатели эффективности методов, алгоритмов и средств обеспечения КД (далее - показатели эффективности) с описанием правил их расчета в разрезе соответствующих характеристик КД;

- общие методологические подходы банка к обеспечению КД, в т.ч. описывающие применение показателей КД и показателей эффективности на различных этапах работы с данными;

практические порядки (процедуры, правила), обеспечивающие практическую реализацию и контроль исполнения указанных методик, в том числе разработку, внедрение, изменение, расчет и использование показателей КД и показателей эффективности;

процедуры взаимодействия органов и подразделений, участвующих в СОКД;

технологические регламенты, связанные с вопросами обеспечения КД (внедрения ИС, сопровождения ИС, аварийного восстановления ИС и др.).

Кроме указанных внутренних документов банку необходимо предоставить Банку России ряд вспомогательных документов рабочего характера, коротко характеризующих ИС банка, имеющие отношение к реализации ПВР, в том числе:

таблицы (журналы) с информацией, отражающей состав и краткие характеристики ИС, включая:

- краткое и полное наименования ИС;

- краткое описание функционала, состав и назначение модулей ИС;

- процессы, в которых участвует ИС;

- производитель (производители) ИС;

- кто осуществлял первичное внедрение ИС;

- дата начала эксплуатации ИС;

- текущая версия ИС, ее ключевые особенности по сравнению с первичной версией;

- этапы и сроки значительных доработок ИС;

- условия использования ИС, наличие лицензий;

- наличие/отсутствие соглашений об уровне ИТ-сервисов (service level agreement (SLA));

- структурные подразделения, использующие ИС;

- подразделение, осуществляющее техническую поддержку ИС;

- примечания (например, планы совершенствования, замены и т.п.).

обобщенная схема (комплект схем), отражающая общую архитектуру ИС банка, связанных с реализацией ПВР, циркулирующие между ИС информационные потоки с их кратким описанием;

логическая схема (комплект схем), описывающая практическую реализацию расчета компонентов кредитного риска и капитала, взвешенного по размеру кредитного риска, в ИС банка;

отчеты с текущими и историческими значениями показателей КД и показателей эффективности в ключевых точках информационных потоков от момента появления информации до применения данных в моделях ПВР, в том числе в части исторических данных;

документы (например, отчеты, заключения, сертификаты) с результатами ранее проведенных (внутренних и внешних) валидациях и аудитах КД и ИС (ИТ, ИБ и т.п.);

международные сертификаты, характеризующие уровень профессиональной подготовленности ИТ-персонала банка в сфере КД и ИС;

текущее состояние обеспеченности банка квалифицированным персоналом в сфере КД и ИС, применяемые при этом подходы и правила, осуществляемые банком в этом направлении практические мероприятия, включая:

- уровень обеспеченности персоналом на ключевых направлениях;

- уровень текучки кадров;

- меры по обеспечению преемственности и передаче знаний и навыков;

- степень зависимости качества функционирования СОКД от смены персонала;

- порядок допуска персонала к работе в соответствии с ролями;

- меры контроля за качеством работы;

- порядок и периодичность повышения квалификации персонала.

статистические данные об инцидентах и обращениях пользователей, связанных с работой ИС, применяемых в ПВР (например, журнал инцидентов и обращений, периодические отчеты о событиях операционного риска по направлению деятельности банка, связанной с КД и ИС).

Банк может не ограничиваться вышеуказанным перечнем.

Документы предоставляются банком в составе общего пакета Банку России в порядке, предусмотренном Указанием Банка России от 06.08.2015 N 3752-У "О порядке получения разрешений на применение банковских методик управления кредитными рисками и моделей количественной оценки кредитных рисков в целях расчета нормативов достаточности капитала банка, а также порядке оценки их качества" (далее - Указание Банка России N 3752-У).

В ходе валидации при необходимости рабочей группой Банка России могут быть запрошены дополнительные документы в порядке, установленном Указанием Банка России N 3752-У.

6. Рабочая группы Банка России, осуществляющая процедуру валидации КД и ИС, может использовать широкий спектр аналитических методов, в том числе:

- изучение и анализ нормативных и иных документов банка, связанных с обеспечением КД и ИС;

- изучение и анализ результатов, предшествовавших внутренних (осуществленных самим банком) и внешних (осуществленных Банком России или специализированными организациями/ компаниями) валидаций и аудитов, связанных со сферой КД и ИС;

- проведение специальных тестов, оценивающих КД и эффективность методов, алгоритмов и средств его обеспечения, в том числе в целях проверки предоставленных банком результатов;

- проверка достоверности данных, зафиксированных в ИС банка путем выборочного сравнения с первичными документами;

- визуальное наблюдение (в том числе в ходе внеплановых проверок) за процессами, связанными с обработкой данных и функционированием ИС на различных стадиях их жизненного цикла;

- изучение и анализ материалов, предоставленных банком по тематике КД и ИС;

- интервьюирование (устное и письменное) участников процесса управления КД, в т ч. участвующих в обеспечении КД и непосредственной работе с данными;

- изучение и анализ иных материалов, в т.ч. из внешних источников, имеющих отношение к КД и ИС банка.

7. Вопросы состава, разрезов и периодов данных для их использования при разработке, тестировании, калибровке и валидации моделей ПВР, форматов их представления, обеспечения репрезентативности соответствующих выборок и иные подобные вопросы не относятся к направлению КД и ИС и оцениваются в ходе валидации методик и моделей ПВР.

Текущее и историческое КД и ИС рассматривается в разрезе подходов и характеристик, определенных в данной сфере соответствующими международными и российскими стандартами (например, ISO/IEC 25012) и нормативными документами Банка России с учетом рекомендаций Базельского комитета по банковскому надзору.

8. Банк может применять любые разрешенные законодательством и соответствующие требованиям Банка России решения, которые позволяют ей в процессе внедрения ПВР обеспечить КД, достаточное для надежного, правильного и эффективного функционирования методик и моделей ПВР, корректной оценки кредитного риска с применением ПВР. Степень достаточности КД и эффективности своей СОКД банк аргументированно обосновывает Банку России в ходе валидации ПВР и последующего надзора за результатом использования ПВР.