信用风险内部评级模型监控体系本文系统性梳理了信用风险内部评级监控体系的整体框架，具体阐述了监测体系的建设目标、监测内容和方法、监测结果的应用等内容，提出了银行内部评级模型监控体系下一步重点关注领域和解决思路。
20世纪50年代以来，随着银行业务复杂程度的提高，国际银行业采用了越来越多的风险计量模型来评估客户、产品、交易的风险。
近10年来，银行风险管理的技术方法取得了跨越式发展。
当前，国内商业银行已普遍建立内部评级体系，对客户交易等风险进行定量评估和计算。
本文系统性梳理了信用风险内部评级监控体系的整体框架，具体阐述了监测体系的建设目标、监测内容和方法、监测结果的应用等内容，提出了银行内部评级模型监控体系下一步重点关注领域和解决思路。
一、开展内部评级体系监测的目的商业银行内部评级体系是独立于外部评级的，基于本行内部信息对客户、交易等做出风险判断的过程。
内部评级体系的建设和实施，是商业银行风险管理现代化过程的一个重要标志，它把对客户、债项风险的判断从完全依赖专家判断的传统模式，转变成为基于大数据和专家经验的现代化工具方式，极大地提高了风险识别和计量的效率。
经过近些年的推广和深入应用，银行内部评级体系结果不仅应用于监管资本的计量，更广泛应用于银行内部的贷款审批、授信额度调整、经济资本计算与考核、行业限额制定、信贷政策制定等领域，成为银行风险管理的基础性工具之一。
但是，先进工具的使用也带来了潜在的模型风险，模型一旦设计、使用不当，将可能导致对客户风险判断的实质性偏离，并带来信贷风险。
因此，建立一套针对内部评级模型的全面、及时、准确的监测体系，及时发现模型使用过程中的问题，并建立问题诊断体系，已经成为银行业风险计量和风险管理领域的核心工作之一。
二、内部评级监测体系的设计目标商业银行建设内部评级监测体系的目标是，实现自动、及时、全面、自诊断地监测内部评级体系运行情况，包括监测内部评级体系中模型、模型支持体系运行情况，及时发现并诊断内部评级体系运行中存在的问题，为后续实施改进措施如深入验证、模型优化、应用流程修正等提供依据和支持。
监测体系应当实现监测活动的自动化。
内部评级模型监测体系要以n系统和数据集市为核心载体，以人工监测和判断为辅助手段，大幅度减少监测过程中的大量的人工投入和重复性工作，实现内部评级体系的批量化、自动化监测，同时实现监测的及时性。
内部评级监测体系应当是一个覆盖多维度、全流程、分段负责的完整体系。
该体系不仅要监测模型本身的表现，还要监测影响到内部评级模型运行的多种因素，如前端基础源数据的质量、模型变量波动情况、变量，后端模型支持体系中的模型使用情况等，使监控体系能准确发现、定位模型运行过程中存在的问题环节，并采取相应的管理行动。
此外，一个设计良好的内部评级监测体系，还应具有自动化实现和替代大部分投产后定量化验证功能及问题初步自诊断功能。
具体来说，内部评级模型监测体系不仅要能实现各类指标的自动化监测，还要能按照一系列内置的专家规则，最大限度判断模型存在问题以及可能的原因，为全面、深入验证和诊断问题提供支持。
三、监测体系的运行职责内部评级模型生产、投产前验证、应用、投产后验证的完整生命周期涉及的几类最基本的角色包括：模型设计主体、验证主体、内部评级流程与政策制定主体、模型应用主体。
内部评级体系已经深入应用到银行业务流程中，涉及信贷业务多个环节，因此，内部评级体系的监测职能也须由多个部门，机构组成、分段承担不同的监测职能。
具体来说，模型设计主体、模型应用主体、应用政策制定部门以及具体使用内部评级模型的银行分支机构，分别承担各自环节的监控。
首先，作为内部评级模型设计主体(一般是商业银行的风险管理部门），要承担内部评级体系监测的牵头责任和部分具体责任。
牵头责任体现在该部门要设计好全行内部评级体系监测的框架，让内评体系各主体明确各自角色、各司其职，保障内部评级体系的顺畅运作，组织每个部门对各自负责流程环节运行情况开展监控。
部分具体责任指模型设计主体要具体负责内部评级模型的部分监测工作。
内部评级模型设计主体是内部评级监测体系的核心组成部分之一。
其次，模型应用政策制定部门、模型应用部门和银行分支机构也要承担各自业务组合、各自流程环节的内部评级体系使用情况的监测责任。
银行内部评级应用的实践显示，模型的表现不仅与模型设计是否合理有关，很大程度上更取决于模型应用政策设计是否合理，模型应用是否恰当等因素，因此，各流程负责主体理当承担起该环节监测的责任。
如评级推翻管理部门要负责评级推翻情况的监测，一旦出现评级推翻率大幅上升，必须通知模型监测和验证团队、模型开发团队以及模型应用部门。
n部门要牵头监控n系统的稳定性、安全性，并确保数据传输的质量；零售业务条线要对零售申请评分卡的自动通过率进行监测。
银行分支机构的对应条线，要对该分支机构的资产组合内部评级体系运行情况进行监测，并对业务数据真实性、完整性负责。
再次，在模型开发团队和模型验证团队中，开发团队应承担内部评级模型的主要责任，验证团队拥有独立的监测和验证职能，以确保验证的独立性，并及时根据监测情况，决定是否开展投产后验证。
两个团队的基础设施如风险数据集市、验证算法等可以在经过独立审核后共享。
最后，银行应当明确监测信息的汇总和报告职责。
在模型新上线或调整、优化时，开发团队需要将模型信息反馈到模型验证主体，并将部分数据更新到数据集市。
模型投入到使用后，各监测主体要把日常监测结果反馈给模型监控牵头部门(包括模型设计主体、验证团队）。
模型使用部门要把模型使用情况定期发送给模型开发团队、模型验证团队，以开展汇总分析。
四、内部评级监测体系的内容框架监测体系主要监测内部评级模型以及内部评级模型支持体系的运行情况。
模型部分主要监测模型和风险参数情况；模型支持体系部分主要监测保障模型的各类支持条件运作情况，如模型输入的数据质量、模型输出的结果、模型应用的情况等。
需要注意的是，很多在模型监测环节发现的问题，实际上根源在模型应用、管理中。
因此，内部评级监测体系必须要以模型监测结果为出发点，以内部评级支持体系监测为辅助，建立逐层剥笋式的监测结果诊断、分析模式，才能找到内部评级体系存在的问题根源。
具体来说，监测体系应包括如下内容。
1. 要设计好反映内部评级体系整体运行情况的仪表盘监测体系需要设计内部评级体系整体分布的概览展示功能，给出具体模型的模型风险等级状态，供管理人员对各模型运行状态进行整体把握和判断。
监测维度包括内部评级模型应用敞口的类别、模型类别、模型名称、模型统一编号、模型适用领域，模型风险等级等信息(红黄绿灯），并对模型的总数、问题模型数量进行统计。
2. 要把内部评级模型的监测作为核心内部评级模型监测的核心是监控模型的区分能力、准确性(审慎性)和稳定性。
其主要目的是通过定量的手段，及时发现模型运行状态，并对所估计的风险参数是否符合监管和内部要求进行监控。
模型区分能力是信用风险评级模型最重要的能力之一，也是模型应用部门和分支机构最关注的内容。
通俗讲，内部评级体系的区分能力指的是能有效区分客户/债项的风险的能力。
良好的区分能力，意味着内部评级结果为高评分、高评级的客户对应的是低风险的客户。
在统计上，一般采用KS值、AR 值、Auc系数、R0C曲线等统计指标来衡量模型的区分能力。
一般来说，这两个指标越高，模型区分能力越好。
模型的准确性有多种理解。
一般来说，模型准确性主要包括模型输出的风险参数量化准确性、模型本身的准确性。
对实施内部评级初级法的银行，主要监测风险参数违约概率ro的准确性，比较每个等级下内评法估计的ro与实际违约率ro之间差异程度。
在零售内部评级中，要同时监测债项ro/L⑶，ead 和实际结果的差异。
由于监管机构更关注风险参数估计的审慎性，还需要单独对审慎性开展监测。
从统计结果上看，一般采用二项检验、正态检验等方法进行准确性（审慎性)的定量监测。
另外，内部评级模型本身的准确性，一般纳入到区分能力部分进行监测。
稳定性指的是，当内部评级模型的客户群发生漂移时，内部评级模型区分能力和风险参数值保持相对稳定。
区分能力的稳定性要通过监测连续几个时间点的区分能力指标来评估。
风险参数的稳定性要在客户群没有发生剧烈变化时保持相对稳定。
除了监测模型本身能力和风险参数稳定性外，还需要综合考察内评应用客户群体的稳定性，才能更具前瞻性地预测可能的冲击对模型稳定性造成的影响。
从定量监测技术上看，模型本身能力的稳定性和风险参数的稳定性可以通过考察时间轴上的区分能力指标、风险参数指标的波动程度来实现，而客户群体的稳定性监测可以通过评级迁徙、群体稳定性指数psi等指标来实现。
除了在上述三大主要维度对模型开展监测以外，针对某些内部评级模型，还有一些专项监测需求。
如在建模时形成的零售分池结构，随着客户群的变化，原来分池结构下的客户群体可能发生了较大变化，因此要对零售分池是否仍然满足池内同质性和池间异质性开展监测；将具有特定的监管要求的资本计量风险参数纳入到监测范畴；零售风险领域需要对是否存在成熟性效应、成熟性效应调节因子进行监测。
在零售评分卡与分池、非零售评级等领域对模型输出的结果如集中度等进行监测等。
3.要建立内部评级支持体系监测这部分内容是银行内部体系监测中相对薄弱的环节。
内部评级支持体系包括内部评级体系的治理架构、模型的使用政策和流程、数据、n系统、模型应用、模型开发和应用文档等。
其中，模型的使用政策和流程、数据、模型应用情况均可纳入内部评级监测体系中，而这些监测内容中，最主要的是模型应用情况。
通过对应用情况的监控，可以评估应用政策和流程设计的合理性、政策和流程执行的有效性，以便有针对性地对评级政策和流程进行及时重检。
具体来说，模型应用情况包括分支机构/客户经理对模型输入信息的录入、发起评级评分、调整、推翻、认定等环节。
以非零售评级应用为例，在评级之前的信息录入环节，需要监控录入信息的准确性。
如可以对客户评级信息的定性指标分布进行监测，通过分布合理性判断客户经理提供的信息是否正确。
否则，一旦录入错误信息，将导致输出错误的模型结果，给客户真实风险判断、授信审批决策带来极大的风险。
在后端评级中，要对评级发起、评级调整、评级推翻、评级审定环节进行监测，以实现对区域、分行、模型、各流程不同环节控制的有效性以及评级流程设计的合理性。
在评级发起环节，需要监测评级覆盖率，以统计因没有及时发起评级而导致客户评级出现真空期的情况，或者因客户评级发起及时性不足导致客户评级结果和客户真实情况发生偏离的情况。
通过定量信息监控模型可以监控使用人员是否使用错误的模型发起评级，导致对客户风险判断失误，以及模型使用人员是否为了规避信贷政策准入要求，采用错误的行业、模型发起评级；在评级调整环节，需要监控特例调整政策的使用频率分布、是否执行评级调整、评级调整有效性等要素，以诊断特例调整政策的使用频度、特例调整政策的有效性等；在评级推翻环节，需要监控评级推翻率总体水平、不同区域/分行模型的评级推翻率、向上推翻比率、向下推翻比率等要素；在评级审定环节，需要监控评级审定和系统评级、调整后评级的偏离情况。