Inteligencia artificial: quién asume el riesgo y quién conserva el control

César Paz-y-Miño

Investigador en Genética y Genómica Médica. Universidad UTE.

La inteligencia artificial promete acelerar diagnósticos, descubrir medicamentos y descifrar relaciones biológicas que desbordan nuestra capacidad de análisis. Al mismo tiempo, quienes la desarrollan advierten que podría escapar a su control y reclaman límites para una carrera que ellos mismos impulsan. Esa contradicción merece examinarse. Están en juego la salud, el conocimiento, recursos materiales y una pregunta política fundamental: quién decide cuánto riesgo deben aceptar los demás.

Las advertencias de investigadores que abandonan los grandes laboratorios no pueden descartarse como simples gestos publicitarios. Quienes conocen el funcionamiento de estos sistemas pueden identificar problemas que permanecen ocultos para el público. Sin embargo, un testimonio, por informado que sea, no demuestra que la humanidad desaparecerá antes de terminar la década. Para evaluar esa posibilidad hacen falta mecanismos plausibles, pruebas reproducibles y una descripción honesta de la incertidumbre. Las visualizaciones de un mensaje miden su difusión, no su validez científica.

También debemos distinguir fenómenos que suelen mezclarse. Un modelo puede producir información falsa, facilitar una actividad dañina o ejecutar acciones que sus operadores no previeron. Son problemas diferentes, con causas y controles distintos. La expresión “perder el control” resulta insuficiente si no explicamos qué podía hacer el sistema, qué instrucciones recibió, qué permisos tenía y qué barreras fallaron.

Anthropic reconoce que utiliza crecientemente IA para desarrollar sus propios modelos, pero aclara que todavía no ha alcanzado una mejora recursiva completamente autónoma y que esta no es inevitable. Esa mejora consistiría en que un sistema pudiera diseñar y desarrollar por sí mismo a su sucesor. Ayudar a programar o ejecutar experimentos constituye un avance importante, aunque no equivale a cerrar todo ese ciclo. Los resultados publicados por la empresa deben evaluarse, además, como información de una parte interesada, abierta a verificación independiente.^¹

Un algoritmo tampoco necesita sentir odio ni adquirir conciencia para causar daño. Basta con que disponga de capacidades, acceso a herramientas y un objetivo cuya ejecución produzca consecuencias peligrosas. Por eso, humanizar sus acciones puede confundir la discusión: atribuirle intenciones emocionales desplaza la atención de decisiones concretas sobre diseño, entrenamiento, permisos y supervisión.

El informe de Anthropic de septiembre describe usos indebidos relacionados con ciberataques, vigilancia, fraude y biología. Incluye cinco casos de utilización que podría apoyar el desarrollo de armas biológicas, pero no atribuye intención dañina a todos los investigadores involucrados. Este matiz es crucial: una actividad de doble uso puede servir a fines beneficiosos o peligrosos. Los casos comunicados justifican vigilancia; no demuestran que se hayan producido armas ni permiten calcular una probabilidad de extinción.^²

Desde la medicina genética, interesa especialmente esa frontera. Las herramientas capaces de explorar relaciones entre genes, proteínas y enfermedades pueden acelerar investigación valiosa. Su evaluación debe considerar, además del resultado informático, el contexto experimental y sus posibles aplicaciones. Una predicción computacional es un punto de partida que necesita contrastación; su presentación convincente no transforma una posibilidad en un hecho biológico.

Esta exigencia alcanza también a las aplicaciones cotidianas. En mi trabajo publicado en Bionatura Journal examiné sesgos y alucinaciones de modelos de lenguaje ante preguntas biomédicas, genómicas y de gobernanza. La comparación plantea problemas de confiabilidad y de evaluación del conocimiento producido; no constituye una certificación clínica de los sistemas.^³ El peligro aparece cuando una respuesta fluida recibe una autoridad que no ha ganado mediante pruebas.

Pensemos en una situación hipotética: un sistema encuentra una variante genética y redacta una explicación categórica sobre su relación con una enfermedad. Si la evidencia disponible es incierta, esa seguridad verbal puede desorientar a la familia y condicionar decisiones posteriores. El problema no se resuelve agregando una advertencia automática al final del informe. Se necesita revisar la evidencia y conservar la incertidumbre allí donde todavía existe. La precisión del lenguaje debe corresponder a la solidez del conocimiento.

La OMS sitúa esta discusión en los derechos humanos. Su informe sobre investigación sanitaria relacionada con IA, publicado el 21 de julio de 2026, identifica vacíos de supervisión y examina tres ámbitos: investigación con datos que utiliza IA, investigación realizada con herramientas de IA e investigación sobre esas herramientas. También atribuye funciones complementarias a financiadores, revistas, mecanismos de acceso a datos y reguladores.⁴

Esta perspectiva permite superar la idea de que toda la responsabilidad cabe en una aprobación inicial. Si cambian el modelo, sus datos o su uso, corresponde evaluar si las garantías siguen siendo suficientes. Un comité necesita conocimientos, tiempo y recursos para revisar esos cambios. La responsabilidad compartida debe traducirse en obligaciones identificables; repartirla entre muchas instituciones no puede convertirse en una manera de diluirla.

La propuesta publicada en NEJM AI ayuda a organizar esa vigilancia mediante cuatro niveles: S1 comprende usos limitados y comprobables; S2, apoyo a decisiones que el profesional puede revisar antes de actuar; S3, situaciones en las que daños importantes pueden aparecer durante el seguimiento; y S4, acciones autónomas de alto riesgo que deberían prohibirse o admitirse únicamente con salvaguardias excepcionales. Se trata de una propuesta académica, no de una norma universal.⁵

Su contribución consiste en vincular la seguridad con la forma de utilizar la herramienta. Un sistema que recomienda una derivación puede parecer útil durante la consulta, pero su beneficio depende también de que el paciente llegue al especialista y reciba atención. Si esa cadena falla, una evaluación centrada únicamente en la respuesta del algoritmo no captará el problema. En medicina importa lo que finalmente sucede con las personas, incluso meses o años después.

La supervisión exige recursos, al igual que la propia IA. Detrás de una respuesta instantánea hay procesadores, memorias, redes, centros de datos y sistemas de refrigeración. También hay extracción y transformación de materiales, fabricación de equipos y trabajo de investigadores, ingenieros, técnicos, evaluadores y personal de mantenimiento. La aparente inmaterialidad de la pantalla oculta una actividad industrial.

Por eso, evaluar esta tecnología requiere examinar cómo se financia y qué consume. Entrenar modelos y utilizarlos son actividades distintas: el entrenamiento construye sus capacidades y la inferencia las aplica a las solicitudes de los usuarios. Atender más consultas puede aumentar ingresos y también costos de operación. La eficiencia puede mejorar, pero la rentabilidad no se deduce del número de usuarios ni de la espectacularidad de una demostración.

La respuesta ambiental comienza a concretarse. El 21 de septiembre, la Comisión Europea comunicó una propuesta de clasificación para centros de datos de más de 500 kilovatios, orientada a transparentar el uso de energía y agua y su integración con la red eléctrica. Las primeras etiquetas se esperan en 2027, después del proceso de revisión institucional.⁶ Este enfoque obliga a discutir consumos verificables y responsabilidades materiales.

También ilumina el debate sobre la desaceleración. Una pausa podría permitir mejores evaluaciones y aliviar necesidades de infraestructura y financiación. Ambas ventajas pueden coexistir. Pero pasar de esa posibilidad a afirmar que toda la industria inventó el peligro para salvar sus cuentas sería una conclusión sin pruebas suficientes. La crítica pierde fuerza cuando transforma un incentivo plausible en una intención demostrada.

Conviene distinguir, además, valoración, financiación, ingresos y beneficios. La valoración expresa cuánto se estima que vale una empresa; la financiación aporta recursos; los ingresos registran ventas. Ninguno de esos datos, por separado, demuestra que el negocio produzca ganancias sostenibles. Una evaluación económica seria necesita conocer costos, compromisos futuros y resultados, no limitarse a repetir cifras gigantescas.

La misma exigencia debe aplicarse a la regulación. Auditorías y evaluaciones independientes pueden reducir daños. Sin embargo, cuando las obligaciones implican costos fijos elevados, las compañías grandes pueden repartirlos entre más operaciones, mientras que una institución pequeña enfrenta una carga proporcionalmente mayor. Una norma puede ser necesaria y, al mismo tiempo, reforzar la concentración empresarial.

Evitarlo requiere controles proporcionales al riesgo, criterios públicos y evaluadores con independencia demostrable. Las empresas deben aportar conocimiento técnico sin monopolizar las decisiones. Los gobiernos deben proteger a la población sin convertir la seguridad en una autorización para la vigilancia indiscriminada. Y la competencia entre potencias no puede ser una excusa permanente para acelerar sin rendir cuentas.

América Latina participa en ese escenario desde una posición desigual. Según el ILIA 2025, presentado por CEPAL y CENIA, la región recibe apenas el 1,12 % de la inversión mundial en IA, aunque representa el 6,6 % del PIB global.⁷ Estos datos corresponden a 2025, pero permiten entender una diferencia esencial: utilizar tecnología no equivale a disponer de capacidad para producirla, evaluarla o negociar sus condiciones.

La OMS advierte sobre colonialismo de datos, desigualdad de poder y aprovechamiento de protecciones éticas insuficientes.⁴ En nuestra región, esa advertencia debe traducirse en preguntas concretas: quién controla los datos sanitarios, quién obtiene propiedad intelectual y quién accede a los productos resultantes. Una colaboración resulta desequilibrada si la población aporta información y riesgos, mientras las capacidades y los beneficios permanecen fuera de su alcance.

En genética, propongo que toda cooperación incorpore participación científica local desde el diseño, condiciones claras de reutilización de datos y beneficios verificables para las poblaciones participantes. La diversidad humana no debería tratarse como una materia prima disponible para terceros. Debe estudiarse con respeto a las personas y con instituciones capaces de decidir sobre sus propios proyectos.

Para Ecuador, la autonomía científica requiere inversión sostenida en bioinformática, genética, infraestructura y formación ética. Universidades, hospitales y autoridades necesitan capacidad para evaluar herramientas antes de adquirirlas y durante su uso. Los contratos deberían precisar responsabilidades por errores, condiciones de actualización, destino de los datos y continuidad del servicio. Comprar una licencia no sustituye construir conocimiento.

La supervisión clínica también debe ser realista. Un profesional sobrecargado, sin tiempo ni acceso a las fuentes, difícilmente ejercerá una revisión efectiva. Propongo vincular la incorporación de IA con formación, registro de incidentes y seguimiento de resultados. La eficiencia solo merece ese nombre si mejora la atención sin trasladar errores y trabajo invisible al paciente o al personal sanitario.

Finalmente, el control humano debe poder ejercerse sobre la infraestructura. Una persona autorizada necesita medios para suspender una operación peligrosa, revocar accesos y mantener los servicios esenciales. La promesa de un chatbot de obedecer no demuestra seguridad. Hacen falta mecanismos externos, pruebas de funcionamiento y responsables identificables.

La IA merece desarrollarse por su capacidad de ampliar el conocimiento y mejorar la vida. Para cumplir esa promesa, su evaluación debe abarcar resultados, costos y distribución del poder. La seguridad empieza cuando quienes soportan el riesgo pueden intervenir en las decisiones, reclamar por los daños y participar de los beneficios.

Tabla. Seguridad de la inteligencia artificial: riesgos, intereses y respuestas necesarias

Dimensión	Riesgo o conflicto	Respuesta necesaria	Relevancia para Ecuador y América Latina
Confiabilidad científica	Respuestas convincentes pueden contener errores, referencias inexistentes o conclusiones sin respaldo.	Contrastar fuentes, declarar incertidumbre y evaluar resultados reproducibles.	Fortalecer formación científica y evaluación independiente de herramientas importadas.
Medicina y genética	Una interpretación genética incorrecta puede alterar el diagnóstico, el asesoramiento y las decisiones familiares.	Revisión especializada, validación clínica local y seguimiento de resultados.	Evaluar el desempeño en nuestra diversidad poblacional y condiciones de atención.
Autonomía y control	Sistemas con permisos amplios pueden ejecutar acciones peligrosas o no previstas.	Limitar accesos, registrar operaciones y comprobar mecanismos de suspensión segura.	Exigir controles verificables al contratar servicios para hospitales y universidades.
Bioseguridad	Las capacidades útiles para investigación biológica también pueden facilitar usos perjudiciales.	Evaluar el doble uso y establecer supervisión proporcional al riesgo.	Desarrollar capacidad local para revisar proyectos y colaboraciones internacionales.
Ética y derechos humanos	La revisión inicial puede resultar insuficiente cuando cambian el modelo, los datos o su aplicación.	Supervisión durante todo el ciclo de vida y responsabilidades institucionales claras, conforme al enfoque de la OMS.	Capacitar y financiar comités de ética con conocimientos en IA y genómica.
Datos y soberanía científica	Extracción de información sanitaria sin participación local ni distribución equitativa de beneficios.	Acordar consentimiento, acceso, reutilización, participación científica y beneficios compartidos.	Evitar que la región aporte datos y riesgos mientras depende de productos inaccesibles.
Costos y recursos	Equipos, electricidad, refrigeración y personal generan gastos persistentes; más usuarios no garantizan rentabilidad.	Examinar costos totales, consumo de recursos y beneficios demostrados.	Comparar cada inversión con prioridades sanitarias y capacidad de mantenimiento.
Regulación y competencia	Controles costosos pueden proteger a la población y, simultáneamente, favorecer a empresas dominantes.	Auditorías independientes, obligaciones proporcionales y transparencia sobre conflictos de interés.	Proteger a pacientes sin excluir a universidades y desarrolladores locales.
Trabajo y responsabilidad	La automatización puede trasladar al profesional la obligación de corregir errores sin tiempo ni recursos.

Trabajo y responsabilidad

La automatización puede trasladar al profesional la obligación de corregir errores sin tiempo ni recursos.

Referencias

1. Anthropic, When AI builds itself: https://www.anthropic.com/institute/recursive-self-improvement

2. Anthropic, Detecting and countering misuse of AI: September 2026: https://www.anthropic.com/threat-intelligence-report-september-2026

3. Paz-y-Miño, Bionatura Journal: https://bionaturajournal.com/2026.03.02.9.html

4. OMS, Artificial intelligence-related health research: ethics review and oversight, 21 de julio de 2026: https://www.who.int/publications/i/item/9789240124073

5. Sheng y colaboradores, A Classification of Safety Risks in Medical AI, resumen aportado en la conversación: https://doi.org/10.1056/AIp2600358

6. Comisión Europea, 21 de septiembre de 2026: https://commission.europa.eu/news-and-media/news/making-data-centres-energy-efficient-thanks-new-eu-rating-system-2026-09-21_en

7. CEPAL y CENIA, ILIA 2025: https://www.cepal.org/es/notas/ilia-2025-se-consolida-como-instrumento-diseno-politicas-inteligencia-artificial-la-region