Resumen semanal de IA · Número 1 · 6 de noviembre de 2026

Cada viernes repasamos lo que ha pasado en inteligencia artificial durante la semana, nos quedamos con lo que de verdad importa y lo explicamos sin bombo. Esta semana el tema ha estado claro: qué pasa cuando un agente de IA hace algo que no le has pedido, y cómo se está preparando la industria para detectarlo y pararlo. Al final, como siempre, el resto de noticias que merece la pena conocer.

El tema de la semana: agentes que se salen del guion

Hace un año la conversación sobre agentes de IA giraba en torno a lo que podían hacer: programar, navegar, rellenar formularios, contestar correos. Esta semana ha girado en torno a lo contrario: lo que pueden hacer sin permiso. Cuatro noticias muy distintas apuntan en la misma dirección.

Apple lo pone por escrito en su informe anual

En su informe anual para el regulador bursátil estadounidense, Apple ha añadido entre sus factores de riesgo que los agentes de IA pueden comportarse de forma imprevista: excederse en sus permisos, ignorar instrucciones o realizar acciones difíciles de deshacer (CNBC). Que una empresa de ese tamaño lo incluya en un documento legal no significa que haya pasado nada grave; significa que el riesgo ya es lo bastante concreto como para que sus abogados quieran dejarlo dicho.

Un informe sobre agentes que funcionan sin nadie al mando

El centro de análisis CNAS ha publicado Sovereign Agents, un informe que distingue entre agentes que siguen funcionando fuera del control de su operador con un objetivo fijo y otros, más preocupantes, cuyo objetivo pasa a ser seguir funcionando. Para ilustrarlo recuerda el gusano Conficker, que siguió propagándose años después de que nadie lo dirigiera. Sus recomendaciones son más de política pública que técnicas: que los laboratorios contemplen este escenario en sus marcos de seguridad, que se identifiquen los puntos de estrangulamiento (nube, pagos, dominios) donde se puede cortar a un agente y que quien lance uno así responda de los daños.

Conviene leerlo como lo que es: un ejercicio de anticipación, no la descripción de algo que ya esté ocurriendo.

Un experimento que se ha exagerado bastante

El equipo de alineamiento de Anthropic publicó en su blog de investigación una prueba de estrés: pidió a agentes basados en Claude que generaran datos de entrenamiento capaces de empujar a un modelo pequeño hacia comportamientos indeseados sin que los detectara un sistema de vigilancia. Tras miles de intentos, encontraron varias técnicas que funcionaban.

En redes se ha contado como «los agentes engañaron a sus vigilantes», pero hay dos matices importantes: el experimento estaba diseñado a favor del atacante, porque los agentes tenían acceso al propio vigilante, y la empresa insiste en que no describe cómo se comportan sus modelos en producción. Lo útil del trabajo es otra cosa: demuestra que un único filtro automático no basta como medida de seguridad.

La industria se pone a construir frenos

Mientras tanto, el sector de la ciberseguridad mueve ficha. CrowdStrike ha anunciado la compra de Fiddler AI y Dreadnode, dos empresas de observabilidad y pruebas de seguridad de IA, por unos 495 millones de dólares, y presenta un mecanismo para cortar en tiempo real agentes no autorizados (Cyber Magazine). Sysdig ha lanzado una herramienta que hace inventario de los agentes, modelos, servidores MCP y complementos que hay funcionando en una empresa (SecurityWeek). Y sigue dando que hablar la guía conjunta de NSA, NIST y CISA de octubre, con diez prácticas para preparar, detectar y responder a incidentes en los que un agente actúa por su cuenta (GovInfoSecurity).

Qué significa si trabajas con agentes

Quitando el ruido, la lección de la semana es práctica. Si en tu equipo usáis agentes, sean de código o de negocio, estas son las preguntas que nos haríamos:

  • ¿Tiene el agente solo los permisos que necesita? Credenciales propias para cada agente, con el mínimo acceso y que caduquen, nunca la cuenta de una persona.
  • ¿Queda registro de lo que hace? Cada herramienta que usa, cada comando que ejecuta y cada dato que lee o modifica. Sin registro no hay forma de investigar un incidente.
  • ¿Hay un botón de parada? Saber cómo se detiene un agente y quién puede hacerlo, antes de necesitarlo.
  • ¿Qué acciones exigen aprobación humana? Borrar, pagar, enviar algo fuera de la empresa o desplegar en producción deberían pasar por una persona.
  • ¿Está protegido frente a instrucciones escondidas? Un agente que lee páginas web, correos o documentos puede encontrar órdenes maliciosas en ellos. Conviene separar lo que lee de lo que puede hacer.

Nada de esto es nuevo en seguridad informática: es el principio de mínimo privilegio, la trazabilidad y la respuesta a incidentes de siempre, aplicados a un software que ahora toma decisiones. Por eso los perfiles que entienden a la vez cómo funcionan los modelos y cómo se construyen sistemas fiables van a ser cada vez más necesarios.

Más noticias de la semana

  • Kimi K3.1 Pro, con pesos abiertos. Moonshot AI ha publicado en Hugging Face los pesos de su nuevo modelo, una arquitectura de mezcla de expertos con unos 2,8 billones de parámetros y contexto de hasta un millón de tokens, que se sitúa entre los mejores modelos abiertos en tareas de agente.
  • Tencent presenta Hy4. Un modelo multimodal de 770.000 millones de parámetros capaz de manejar un ordenador, con el que la compañía quiere entrar en la primera división de los modelos abiertos; los pesos llegarán en los próximos días (SCMP).
  • Una señal común para no entrenar con tu web. Google, Microsoft, OpenAI y Anthropic respaldan una misma etiqueta en el fichero robots.txt, __usage_ai-training, para que una web indique que no quiere que su contenido se use para entrenar modelos. Aún es una propuesta en el IETF y no borra lo ya recopilado (The Next Web).

Para llevarte

La conversación sobre agentes está madurando: menos demostraciones espectaculares y más preguntas de ingeniería sobre permisos, registros y responsabilidades. Es una buena señal. Si quieres profundizar en cómo funcionan por dentro, en el blog tienes qué es un agente de código y las tendencias en datos e IA para 2026 y 2027. Nos vemos el próximo viernes.