Computer Use ist ein Fachwort für KI-gestützte Computersteuerung: Ein Modell oder Agent interagiert mit sichtbaren Oberflächen, statt nur Text zu erzeugen oder über eine API zu arbeiten. Im KI-Kontext wird der Begriff vor allem bei digitalen Helfern sichtbar, die Browserseiten bedienen, Programme öffnen, Dateien manipulieren oder Aufgaben am PC ausführen sollen.

Definition

Computer Use bedeutet, dass ein KI-System grafische Benutzeroberflächen, Browser oder ganze PCs ähnlich wie ein Mensch bedienen kann. Dazu gehören Aktionen wie klicken, schreiben, recherchieren, Formulare ausfüllen, navigieren oder Arbeitsabläufe in Apps ausführen.

Der Begriff ist eng mit "Computersteuerung" und "GUI-Agent" verbunden. GUI steht für "Graphical User Interface", also grafische Benutzeroberfläche: Das ist die sichtbare Bedienoberfläche mit Schaltflächen, Menüs, Formularen und Fenstern.

Bedeutung im KI-Kontext

Im KI-Kontext steht Computer Use für den Schritt von Chatbots zu digitalen Mitarbeitern: Systeme sollen nicht nur Antworten liefern, sondern Aufgaben direkt in Software erledigen. Die bestehende Wiki-Seite beschreibt Computer Use deshalb als Schlüsselthema für echte digitale Mitarbeiter.

Die Newsletter-Belege zeigen zwei konkrete Richtungen: Microsoft plante für Copilot Studio eine Computer-Use-Funktion, die den PC eigenständig bedienen kann, etwa Programme öffnen oder Dateien manipulieren. Google stellte mit Gemini 2.5 Computer Use ein Modell vor, das Webseiten durch direkte Interaktion steuern kann, indem es Schaltflächen klickt, Formulare ausfüllt und selbstständig navigiert.

Abgrenzung zu Tool Use und Agentic Workflow

Computer Use ist nicht dasselbe wie Tool Use. Bei Tool Use nutzt ein Modell ein Werkzeug, zum Beispiel eine Schnittstelle oder Funktion. Bei Computer Use steht dagegen die Bedienung einer sichtbaren Oberfläche im Vordergrund: Der Agent arbeitet über Buttons, Eingabefelder, Browserseiten oder Programme.

Auch zum Agentic Workflow gibt es eine Nähe, aber keine Gleichsetzung. Ein Agentic Workflow beschreibt eher den mehrschrittigen Ablauf, in dem ein KI-System Aufgaben plant und bearbeitet. Computer Use kann ein Baustein in so einem Ablauf sein, wenn der Agent dafür eine Oberfläche bedienen muss.

Beispiele aus den Newsletter-Belegen

Microsoft: In KW 17/2025 wurde berichtet, dass Microsoft für Copilot Studio eine Computer-Use-Funktion plant, mit der KI den PC eigenständig bedienen könnte. Als Beispiele nennt der Newsletter Programme öffnen und Dateien manipulieren; zugleich wird festgehalten, dass das Feature laut Beleg noch nicht veröffentlicht war.

Google: In KW 42/2025 wurde Gemini 2.5 Computer Use als Modell beschrieben, das Webseiten direkt bedienen kann. Der Newsletter nennt als konkrete Aktionen das Klicken auf Schaltflächen, das Ausfüllen von Formularen und selbstständiges Navigieren.

Chancen und Risiken

Der Nutzen liegt darin, dass Computer-Use-Agenten vorhandene Software bedienen können, ohne dass jede Anwendung zuerst eine passende API bereitstellen muss. Für Nutzerinnen und Nutzer wirkt das wie ein digitaler Helfer, der Arbeitsschritte in bestehenden Programmen übernimmt.

Gleichzeitig nennt die bestehende Wiki-Seite zentrale offene Fragen: GUI-Steuerung ist fragiler als API-Nutzung, und ohne klare Berechtigungsgrenzen können Modelle sensible Daten sehen oder falsche Aktionen ausführen. Die OWASP-Quelle wird als Sicherheitskontext für Risiken in LLM- und generativen KI-Anwendungen geführt.

Weitere Seiten

Quellen und Belege

AI-Breakdown-Ausgaben

Externe Quellen