Métricas de verificación de identidad: Cómo se calculan y por qué a menudo engañan

A primera vista, existen varios métodos para evaluar una solución de IDV en términos cuantitativos. Sin embargo, es difícil determinar un enfoque que funcione como estándar de oro para la industria. En la práctica, las empresas y organizaciones tienen sus propias formas de medir la calidad y precisión del software de IDV.

En el campo de la verificación de identidad y biométrica, existen varios laboratorios que ofrecen programas de certificación de productos y evaluaciones para tecnologías utilizadas en la incorporación de dispositivos, el reconocimiento facial, la autenticación de documentos, etc.

El Instituto Nacional de Estadística y Tecnología (NIST) es un ejemplo de un laboratorio con una visión objetiva sobre métricas de verificación biométrica. Con una gran cantidad de datos de prueba diversos y bien preparados, NIST evalúa la precisión de los algoritmos de reconocimiento facial que existen actualmente y pone los resultados a disposición del público de forma gratuita. Sin embargo, como puntos de referencia de calidad orientados específicamente a desarrolladores, estas métricas difícilmente son útiles para empresas que buscan una solución de IDV efectiva.

Otras métricas de verificación de identidad se pueden clasificar de la siguiente manera:

• Métricas de verificación de documentos de identidad: existen métricas dependientes del documento e independientes del documento. El primer grupo se relaciona con características específicas del ID, como tipo, calidad y medidas de seguridad. Por ejemplo, estas métricas pueden medir la precisión de lectura de códigos de barras o la precisión de reconocimiento de escrituras no latinas. El segundo grupo describe el desempeño del algoritmo en distintas condiciones; por ejemplo, cómo procesa la solución IDs escaneados en una habitación oscura o con una cámara móvil de baja calidad.

• Métricas de detección de ataques de presentación: esta categoría describe la precisión de la prueba de vida que ayuda a identificar máscaras de silicona, maniquíes, imágenes generadas por IA, fotos en pantalla, repeticiones o inyecciones de video, y más.

• Métricas de verificación de coincidencia biométrica de rostros: la precisión de la verificación biométrica puede evaluarse mediante la tasa de falsa no coincidencia/coincidencia, la tasa de identificación falsa negativa y muchos otros indicadores. Es importante tener en cuenta que las métricas de biometría facial con frecuencia tienen sesgos; por ejemplo, pueden mostrar mejores (o peores) resultados según un género o una nacionalidad en particular.

• Métricas de usabilidad y desempeño general del software: estas métricas evalúan el software desde la perspectiva del usuario. Muestran qué tan fácil de usar es la solución y si funciona de manera fluida. Incluyen el porcentaje de recapturas de imagen del documento y de selfies, la velocidad de la comprobación, la tasa de aprobación, etc.

• Métricas de seguridad: uno de los propósitos principales de la tecnología de verificación de identidad es prevenir intentos fraudulentos de acceder a sus sistemas. Las métricas de seguridad muestran la efectividad del software en este terreno. Es una categoría amplia que mide aspectos como la tasa de fraude (la proporción de transacciones legítimas/fraudulentas) y muchas otras métricas.

• Métricas de precisión total: esta categoría incluye todos los resultados de precisión que indican la calidad del desempeño de cada comprobación de verificación, por ejemplo, OCR. Por lo tanto, debe mantenerse aparte de las demás métricas.

Obtener estas métricas aun así no garantiza que usted tome una decisión informada.

Primero, la lista que proporcionamos arriba no es exhaustiva.

Segundo, usted nunca sabe cómo se calculan todos estos valores. Y, lo más importante, esto no tiene que ver con la falta de disposición del proveedor a revelar su enfoque. El problema está más profundo.

En la verificación de identidad, cualquier métrica suele ser una categoría generalizada que consiste en muchas otras mediciones. Con frecuencia, se utiliza un sistema que combina numerosos factores para evaluar el desempeño del software en distintas condiciones. Cualquiera de esos factores puede convertir una métrica excelente en cero.

Tomemos un ejemplo para ilustrar esta idea:

Un usuario escanea su documento de identidad con la cámara de un móvil. La calidad de la imagen que se envía al sistema es uno de los factores clave. En la vida real, ese escaneo puede estar lejos de ser perfecto. Esto afecta todas las comprobaciones siguientes, ya que, en el flujo de IDV, una cosa lleva a la otra. Al procesar una foto del ID borrosa, con reflejos o con poca iluminación, el software no puede detectar correctamente el tipo de documento, leer los datos en la MRZ para ejecutar uno de los protocolos durante la verificación RFID, reconocer los códigos de barras, etc. Como resultado, una mala toma arruinará todas las métricas.

Durante la prueba, también importan las características del conjunto de datos de prueba y los algoritmos utilizados para procesar esos datos. El conjunto de datos es el conjunto completo de imágenes de rostros, muestras de documentos, etc., que se usa para probar la solución y evaluar la precisión de verificación.

Estas son las principales características del conjunto de datos que impactan el resultado final:

• Tamaño: cuantos más elementos haya en el conjunto de datos, más compleja (aunque más cercana a la realidad) será la tarea de reconocimiento. El tamaño del conjunto de datos de prueba debe ser lo suficientemente grande como para reflejar proporcionalmente las características específicas de los documentos de identidad o de las selfies de clientes de su flujo actual. En otras palabras, usted necesita una muestra verdaderamente representativa para medir correctamente la precisión de las comprobaciones. De lo contrario, incluso un software que supera la prueba piloto con excelentes resultados puede fallar en el uso diario.

• Calidad de imagen: como sus clientes suelen escanear sus IDs y tomarse selfies en distintos entornos, es crucial comprobar cómo procesa el software imágenes de diferente calidad. Por esta razón, el conjunto de datos debe incluir imágenes de alta resolución, borrosas y oscurecidas. Si su flujo de verificación actual implica que todas las fotos se toman en un entorno controlado (es decir, usted siempre obtiene escaneos de alta calidad), puede omitir este punto. En cualquier caso, la muestra de imágenes debe ser coherente con las fotos reales que usted procesa.

• Diversidad de datos: el conjunto de datos debe ser diverso, con distintos tipos y versiones de documentos de identidad (tanto los emitidos recientemente como los que se han usado durante muchos años) en distintos idiomas, incluidos los no latinos, y con imágenes de personas de varias nacionalidades, edades, géneros, etc. Incluso si el sistema de verificación de identidad está destinado a procesar IDs nacionales, usted puede encontrarse con pasaportes o licencias de conducir extranjeras presentadas por clientes de otros países, como viajeros o nómadas digitales.

• Integridad de datos: las plantillas de documentos de identidad en un conjunto de datos deberían estar anotadas para ofrecer una descripción completa de cada campo de texto y cada medida de seguridad. Además, es mejor separar los IDs en categorías según la medida de seguridad específica que usted quiera comprobar. Por ejemplo, si quiere medir la precisión de la verificación de hologramas, necesita compilar un conjunto de datos representativo de varios IDs que contengan hologramas.

Cuando usted prueba una solución de IDV usando solo fotos de alta resolución de un solo grupo de clientes o de IDs, los puntajes finales pueden ser excelentes. Sin embargo, incluso ajustes leves pueden romper este mecanismo bien aceitado.

Por ejemplo, un software de IDV que verifica perfectamente pasaportes alemanes puede mostrar peores resultados con tarjetas de identidad austriacas.

Ahora, veamos qué sucede a un nivel más profundo.

La tecnología de verificación de identidad se basa en redes neuronales para validar la autenticidad de documentos. Muchos proveedores también involucran agentes humanos en el proceso. Esto significa que, al evaluar a un proveedor, usted necesita tener total claridad sobre si se incluyen revisiones manuales realizadas por empleados. Aquí hablaremos únicamente del flujo de automatización.

Los desarrolladores de IDV usan conjuntos de datos para entrenar redes neuronales para ejecutar estas tareas de verificación. Este proceso incluye muchas iteraciones en las que se cambia el tamaño y la diversidad del conjunto de datos.

Con cada nueva actualización, las redes neuronales van entrenándose gradualmente para generalizar las particularidades de ciertas categorías de objetos, como “licencias de conducir”, “permisos de residencia” y “pasaportes”, con el fin de reconocer y verificar correctamente documentos que “ven” por primera vez.

Hay tres conjuntos de datos involucrados en el entrenamiento del algoritmo o el aprendizaje automático (importante: se requiere un conjunto independiente de conjuntos de datos para cada modelo):

• El conjunto de entrenamiento enseña a un modelo de predicción a resolver una tarea específica, como la clasificación de objetos. Durante el proceso de aprendizaje, el modelo “observa” el conjunto de entrenamiento en un orden determinado una y otra vez.

• El conjunto de validación comprueba el desempeño del modelo midiendo resultados intermedios al final de cada sesión de entrenamiento.

• El conjunto de prueba da una evaluación objetiva (la métrica final) del modelo entrenado, por ejemplo, cuando alcanza una precisión determinada tras muchas iteraciones. Como el conjunto de prueba incluye imágenes que el modelo nunca ha “visto”, es como un examen final. Una “buena” calificación confirma que el modelo está bien entrenado, mientras que una “mala” calificación señala imperfecciones y fallas que deben corregirse.

Durante el proceso de aprendizaje automático, es fundamental evitar cualquier intersección entre estos conjuntos de datos. Es decir, la misma imagen no debe añadirse tanto al conjunto de entrenamiento como al de prueba. Además, debe existir una proporción correcta entre los conjuntos de datos en términos de cantidad, calidad y diversidad.

De lo contrario, las métricas finales serán inexactas.

Cualquier métrica depende en gran medida de qué conjunto(s) de datos y qué algoritmo(s) se usan durante la prueba. Cada proveedor de IDV tiene sus propios insumos al medir eficiencia. Por esta razón, comparar las mismas métricas proporcionadas por distintos proveedores parece contradictorio.

Entrenar redes neuronales utilizadas en reconocimiento y verificación facial también es una tarea desafiante; sin embargo, parece más clara desde el inicio. Las personas tienen rasgos humanos, como una textura de piel específica y características faciales, que ayudan al software a distinguirlas de otros objetos en imágenes. Después de analizar miles de retratos, las redes neuronales pueden reconocer y clasificar fácilmente a las personas por género, nacionalidad o edad.

Por cierto, detrás del proceso están los mismos componentes obligatorios: un conjunto de datos (en realidad, tres) y un algoritmo que lo procesa. Para obtener resultados claros, el conjunto de datos debe ser diverso e incluir imágenes de hombres, mujeres y niños de distintas edades y nacionalidades. La desproporción de imágenes de prueba conduce posteriormente a sesgos en cómo los sistemas de verificación biométrica analizan a las personas.

Además, usted necesita “selfies” tomadas en distintas condiciones para comprobar cómo procesa la solución tomas oscuras y borrosas.

Al mismo tiempo, desarrollar algoritmos confiables para reconocer documentos de identidad es un desafío continuo para ingenieros de aprendizaje automático.

Los pasaportes, las tarjetas de identidad y las licencias de conducir se emiten bajo estándares específicos, como el Doc 9303 de la OACI para documentos de viaje de lectura mecánica, pero aun así carecen de rasgos distintivos como los rostros humanos. Desde una zona de lectura mecánica con distintos formatos de datos hasta una variedad de alfabetos y medidas de seguridad, los documentos de identidad son demasiado diversos como para que las redes neuronales los clasifiquen con facilidad.

Los proveedores de IDV con frecuencia operan con un número limitado de plantillas de ID para compilar conjuntos de datos lo suficientemente grandes como para entrenar redes neuronales que detecten cualquier documento emitido en la Tierra. Además, los documentos se actualizan por parte de los organismos emisores, y a veces cambian significativamente sus características, lo que vuelve esta tarea ya difícil aún más compleja.

Todo esto requiere un conocimiento profundo de los documentos de identidad y sus componentes por parte del proveedor de IDV para construir una solución robusta.

Ahora podemos decir con seguridad que las métricas de IDV pueden prometer en falso. Sin embargo, eso no significa que usted deba descartarlas al probar el desempeño de una solución de IDV.

Para obtener resultados precisos, usted puede compilar un conjunto de datos considerando la demografía de su público objetivo y el tipo de IDs que normalmente recibe de los clientes. Esto le ayudará a realizar una prueba piloto más cercana a la realidad.

Por lo general, las empresas tienen dos opciones para obtener datos de prueba: acceder a sus datos históricos de situaciones anteriores de verificación con IDV o usar datos reales.

Lamentablemente, el primer método en su mayoría es práctico para empresas de tamaño corporativo. Otras pueden considerar una implementación piloto para ejecutar pruebas con datos reales. En este caso, es razonable implementar la solución durante dos o tres meses.

El objetivo principal del proceso de prueba es comprobar si la solución ayuda a completar las tareas diarias de verificación, que varían entre empresas. Por ejemplo, las organizaciones de gobierno o banca suelen tener un flujo de verificación más minucioso en comparación con empresas que ofrecen servicios básicos.

Las necesidades y expectativas específicas de los clientes también importan. Mientras algunas empresas tienen usuarios con alto nivel técnico, otras se dirigen a audiencias más tradicionales que pueden tener dificultades con la prueba de vida activa o con la captura del ID. Por eso, una UX excelente y un flujo sin fricciones están entre las métricas más importantes a considerar.

También es importante probar el desempeño de la solución en distintas plataformas y dispositivos (incluidas versiones antiguas del sistema operativo y dispositivos de gama baja) para asegurarse de que los clientes puedan acceder al servicio.

Las evaluaciones cuantitativas funcionan mejor al medir la efectividad de una solución de IDV. Sin embargo, es fácil perderse en los números, ya que no existe un método único para medir el desempeño.

Su mejor opción es verificar todos los números con datos de prueba reales o bien preparados y ver cómo funciona la solución en sus escenarios específicos de uso.

En Regula, curamos y analizamos cuidadosamente las métricas de nuestras soluciones: Regula Document Reader SDK y Regula Face SDK. Inicie una prueba gratuita o agende una llamada con uno de nuestros gerentes para hablar sobre una implementación piloto y otros detalles.