Interacción multimodal y agentes: Copilot se integra en el centro de la experiencia de Windows 11

Microsoft ha situado Copilot en el centro de la experiencia de Windows 11 para incorporar los agentes de la mano de las capacidades multimodales que permiten la interacción con voz y hacen que vea lo que hay en la pantalla.

Un ordenador con inteligencia artificial (IA) permite y comprende una interacción natural, ya sea en texto o con la voz, ve lo que ve el usuario y puede realizar acciones en su nombre, de manera autónoma.

Estas tres capacidades se extienden a toda la experiencia de Windows 11, con las novedades que este jueves ha anunciado Microsoft en su evento de otoño, que comienzan con el nuevo comando de activación 'Hey Copilot'.

Con él, los usuarios ya no están limitados a escribir sus indicaciones y pueden hablar directamente con el asistente con las capacidades de 'chat' que introduce Copilot Voice. Según Microsoft, se trata de una función opcional, que puede activarse desde la configuración.

La interacción también se simplifica con Copilot Vision, ya que navega por la pantalla con la capacidad de ver lo que ve el usuario. De esta forma, puede analizar el contenido, responder preguntas y mostrar cómo hacer alguna tarea dentro de una aplicación (por ejemplo, dentro de un juego o en el editor de fotos).

Copilot Vision también puede analizar el contenido completo de un archivo en Word, Excel o PowerPoint (no solo lo que se ve en ese momento en la pantalla), y próximamente admitirá la conversación en texto, ya que actualmente solo se puede usar con la voz.

Microsoft también ha anticipado algunas novedades para Windows 11 que llegarán próximamente a los programas de prueba Windows Insider y Copilot Labs, como la integración de Copilot en la barra de tareas, para convertir en este elemento en una especie de centro dinámico para la productividad.

Estas nueva experiencia en la barra de tareas será opcional, y admitirá la interacción con texto, con voz mediante Copilot Voice y la ayuda visual de Copilot Vision.

Las Copilot Actions o acciones Copilot introducirán en Windows la experiencia de un agente de IA de propósito general para que realice tareas de manera autónoma, para lo que interactuará con el escritorio y las aplicaciones web.

Con Copilot Connectors, será posible enlazar los servicios de Microsoft (OneDrive, Outlook, Calendario) y Google (Gmail, Google Drive, Calendar) dentro de la aplicación de Copilot para Windows, para que pueda buscar en ellos cualquier información útil a las peticiones de los usuarios, por ejemplo, los detalles de la próxima cita con el dentista.

Estos conectores también permitirán enlazar Copilot con la configuración de Windows, para guiar al usuario a los ajustes que necesita según la petición que haga.

Adicionalmente, Microsoft incorporará Manus, un agente que estará disponible como aplicación nativa de Windows y trabajará en segundo plano en tareas complejas mientras el usuario se dedica a otras cosas.

La compañía tecnológica desplegará las nuevas experiencias agénticas en Windows con el compromiso de que los usuarios siempre tendrán el control y podrán revisar lo que hace la IA. Por ejemplo, las acciones estarán desactivadas por defecto, y en caso de activarse, los usuarios podrán pausarlas o deshabilitarlas de nuevo en cualquier momento.