Asegúrese de que los datos de alta calidad impulsen su IA

La IA no necesita fallar a escala global para causar un daño enorme a las personas, las empresas y las sociedades. Los modelos suelen equivocarse, tener alucinaciones, desviarse y pueden colapsar.

El interés principal aquí son los primeros proyectos de IA de una empresa. Es importante destacar que la calidad de los datos es un problema (y una oportunidad) enorme para toda la organización, pero la mayoría de las empresas lo han descuidado. Una de las consecuencias es que ni ellas ni sus altos directivos comprenden los problemas, cómo abordarlos ni los cambios organizacionales que deben realizar. Se encuentran en una situación difícil: deben protegerse a corto plazo, desarrollar las capacidades necesarias a largo plazo y, al mismo tiempo, formarse para poder hacerlo de manera eficaz. El objetivo de este artículo es ayudarles a dar los primeros pasos.

OBTENER LOS DATOS CORRECTOS

Me parece conveniente enmarcar la idea de buenos datos a través de dos requisitos: 1) si son los "datos adecuados" para abordar el problema y 2) si esos "datos son correctos" o exactos.

Al seleccionar los datos adecuados para un proyecto, considere:

-- Relevancia y exhaustividad

-- Integridad y correcta representación

-- Ausencia de sesgos

-- Actualidad

-- Definición clara

-- Exclusiones apropiadas

Consideraciones más importantes en materia de datos correctos:

-- Precisión

-- Ausencia de duplicados

-- Identificadores consistentes

-- Etiquetado pertinente

El trabajo de garantizar la calidad de los datos no termina con el entrenamiento. Si se entrena bien un modelo con datos de alta calidad, se obtiene un buen modelo. Pero si ese modelo se alimenta con "datos futuros" de mala calidad, se obtienen resultados o predicciones erróneos. Los criterios de "los datos son correctos" y "los datos correctos" siguen siendo válidos.

A CORTO PLAZO: ADOPTAR UNA POSTURA DE "CULPABLE HASTA QUE SE DEMUESTRE LO CONTRARIO."

A nivel de proyecto, la responsabilidad general sobre la calidad de los datos debe recaer en la persona de más alto nivel que dirija la iniciativa. Debe reunir equipos de personas que puedan desarrollar el conjunto completo de requisitos y profundizar en los detalles para garantizar que se cumplan. Debe considerar la posibilidad de contratar talento externo si, como suele ocurrir, su empresa carece de la amplitud y profundidad de conocimientos necesarios para hacerlo.

Estos gerentes deben cuestionar incansablemente a los equipos de desarrollo de modelos y a otros sobre todo. Empiece por preguntar: "¿El problema que se propuso resolver y nuestro problema son el mismo?" Si no es así, tenga mucho cuidado. A continuación, analicen uno por uno los criterios adecuados para los datos de entrenamiento. Profundicen: ¿qué les hace pensar que los datos darán buenos resultados en las predicciones, respaldarán la ampliación del modelo a nuevos mercados y estarán libres de sesgos? Desconfíen cuando los proveedores se nieguen a responder, citando "nuestro modelo es propietario." El modelo puede ser propietario, pero eso no significa que los datos lo sean.

A MEDIANO PLAZO: IMPULSAR LOS ESFUERZOS DE CALIDAD EN LAS FASES INICIALES.

Las empresas deben pasar de lidiar con datos erróneos en las fases finales a crear datos correctos en las fases iniciales. Como cualquier otra disciplina, la gestión de la calidad proporciona un amplio conjunto de fundamentos, métodos y herramientas sobre quién hace qué. Para introducirlos en su organización, comience con tres conceptos:

1. Enfoque intenso en el cliente y en la mejora de procesos, con el objetivo a largo plazo de crear los datos adecuados correctamente con identificadores y etiquetas apropiadas, desde la primera vez.

2. Responsabilidades de gestión claras, es decir, dejar claro que los departamentos comerciales (y no el departamento de TI, el director de riesgos o los directores de datos) son los responsables de la calidad de los datos. A su vez, esto implica responsabilidades claras para los equipos y las personas.

3. Involucre a tantas personas como pueda, en todos los niveles, en la medida de lo posible.