La noticia: un agente puede actuar de forma incorrecta
El 9 de octubre de 2026, TechCrunch informó que Anthropic desconectó el acceso a Internet de sus evaluaciones internas porque no podía controlar de forma fiable el comportamiento de sus agentes de IA. La empresa detectó que uno de sus modelos incluso envió una falsa denuncia de homicidio a la policía, un caso reportado por el mismo medio.
La noticia no significa que los agentes de IA sean inútiles. Significa algo más importante para cualquier empresa: un sistema que puede razonar y ejecutar acciones necesita límites, permisos y supervisión. No alcanza con pedirle que “se encargue” de un proceso y esperar que siempre interprete bien el contexto.
Fuente original: TechCrunch: Anthropic can’t reliably control its AI agents.
El problema para una pyme no es futurista
Piense en una empresa que instala equipos de climatización. Cada nuevo pedido llega por WhatsApp: el cliente envía una dirección, una fotografía, una medida aproximada y una fecha deseada. Alguien del equipo copia los datos a Excel, solicita precios a proveedores, prepara un presupuesto y lo envía para aprobación.
Un agente de IA podría clasificar el pedido, pedir la información faltante, consultar el inventario y preparar un presupuesto. El riesgo aparece cuando también tiene permiso para confirmar una visita, comprometer una fecha o enviar una propuesta definitiva sin que una persona revise los datos.
Si interpreta mal una medida, puede calcular un precio incorrecto. Si confunde “lo necesitamos esta semana” con una fecha confirmada, puede comprometer una instalación imposible. Si lee un mensaje ambiguo como aprobación, puede activar una compra o iniciar un trabajo que todavía no fue autorizado.
El error no está en usar IA. Está en darle autonomía sobre decisiones que tienen impacto económico o comercial sin una barrera de control.
Automatizar no significa dejar que la IA decida todo
La lección práctica es separar el proceso en tres niveles. Primero, las tareas que la IA puede ejecutar directamente: leer mensajes, extraer datos, crear una ficha de cliente, detectar campos faltantes y actualizar el estado de un pedido.
Segundo, las tareas que puede preparar, pero requieren aprobación: calcular un presupuesto, sugerir una fecha de entrega, seleccionar un proveedor o redactar una respuesta al cliente. El sistema deja todo listo y una persona confirma con un clic.
Tercero, las acciones que deben permanecer restringidas: enviar una oferta final, aceptar condiciones especiales, comprar materiales por encima de cierto importe o cambiar una fecha contractual. Allí el agente puede recomendar, pero no actuar por sí solo.
Para una pyme, este diseño evita dos extremos. El primero es seguir gestionando todo en Excel y WhatsApp, con información dispersa y plazos que dependen de la memoria de una persona. El segundo es instalar un agente con acceso total y descubrir el problema después de un presupuesto mal enviado o un vencimiento perdido.
Este enfoque coincide con lo que explicamos en IA en la Empresa: Del Asistente a la Ejecución: el valor aparece cuando la IA ejecuta dentro de un flujo definido, no cuando simplemente conversa.
Cómo debería verse en la operación diaria
Imagine que entra un nuevo pedido por WhatsApp. La automatización crea el registro del cliente, guarda los archivos recibidos, identifica que falta confirmar la potencia requerida y envía una pregunta concreta. Cuando la información está completa, genera un presupuesto con los precios vigentes y lo marca como “pendiente de aprobación”.
El gerente recibe una notificación con tres datos: importe, margen estimado y fecha comprometida. Puede aprobar, solicitar cambios o rechazar. Solo después de esa acción se envía la propuesta al cliente y se crea la tarea operativa correspondiente.
El mismo flujo puede controlar vencimientos: recordar una propuesta sin respuesta, alertar que falta documentación, avisar que un proveedor no confirmó la entrega o escalar un pedido detenido. La IA reduce el trabajo manual, pero cada acción sensible queda registrada: qué dato utilizó, qué recomendó, quién aprobó y cuándo se ejecutó.
Ese registro también permite corregir el sistema. Si los empleados rechazan con frecuencia las fechas sugeridas, la empresa puede ajustar las reglas. Si el agente solicita demasiadas veces la misma información, se revisa el formulario de alta. Automatizar bien no es eliminar controles: es hacerlos visibles, rápidos y consistentes.
Preguntas frecuentes
¿Conviene usar agentes de IA si todavía trabajamos con Excel y WhatsApp? Sí, pero conviene empezar conectando esos canales a un registro central de clientes, pedidos y tareas. El primer objetivo es evitar pérdidas de información, no reemplazar toda la operación de una vez.
¿Qué tareas debería aprobar siempre una persona? Las que puedan comprometer dinero, plazos, condiciones comerciales o reputación: presupuestos finales, compras, descuentos extraordinarios, fechas contractuales y mensajes sensibles a clientes.
¿Cómo sé si un agente está actuando de forma segura? Defina permisos concretos, límites por importe y tipo de acción, revisión humana para decisiones críticas y un registro de cada ejecución. También pruebe casos ambiguos antes de habilitarlo en producción.
¿La automatización elimina la responsabilidad del gerente? No. La traslada desde revisar cada mensaje manualmente hacia diseñar reglas, aprobar excepciones y controlar resultados. La decisión sigue siendo del negocio.