Computer Use im Hintergrund auf dem Mac: jeder KI-Agent mit eigenem Cursor
Was Computer Use im Hintergrund bedeutet, wie Claude, Codex und andere Werkzeuge mit Ihrem Bildschirm umgehen und wie jeder MCP-Agent Mac-Apps in Hintergrundfenstern mit eigenem Cursor, eigener Tastatur und eigener Zwischenablage bedient.
Kurz gesagt: Computer Use im Hintergrund heißt, dass ein KI-Agent Apps auf Ihrem Mac in Fenstern hinter Ihren eigenen bedient, mit eigenem Cursor, eigener Tastatur und eigener Zwischenablage. Computer Use im Vordergrund nutzt Ihren Mauszeiger und Ihre Tastatur und holt seine Fenster nach vorn, also warten Sie. Claude und Codex bieten in ihren eigenen Desktop-Apps inzwischen einen Hintergrundmodus. ShadowCursor gibt jedem MCP-Agenten in jedem Client einen eigenen Cursor, eine eigene Tastatur und eine eigene Zwischenablage, und mehrere Agenten können gleichzeitig arbeiten.
Was Computer Use bedeutet
Computer Use ist die Fähigkeit eines KI-Modells, einen Computer so zu bedienen wie ein Mensch: Es betrachtet einen Screenshot, entscheidet, wohin es klickt, bewegt den Zeiger, tippt und liest das Ergebnis. So erreicht ein Agent alles, wofür es keine Schnittstelle gibt: ein Webformular hinter einem Login, eine Tabelle in einer Desktop-App, einen Dialog in einer Mac-App, ein PDF, das unterschrieben werden muss.
Das Modell entscheidet nur, was zu tun ist. Den Zeiger bewegt und die Tasten drückt ein eigenes Werkzeug auf Ihrem Mac. Dieses Werkzeug entscheidet, ob der Agent neben Ihnen arbeitet oder statt Ihnen.
Warum Computer Use Sie oft zum Warten zwingt
Am einfachsten baut man Computer Use, indem man den einen Mauszeiger und den einen Tastaturfokus steuert, den Ihr Mac hat. Viele Werkzeuge tun das noch. Das hat drei Folgen:
- Der Agent bewegt Ihren Cursor. Jeder Klick ist ein Sprung des Zeigers, den Sie gerade in der Hand haben.
- Ihre Eingaben landen in seinem Fenster. Tippen Sie, während er arbeitet, geht Ihr Text dorthin, wo der Agent gerade ist, und sein Text kann in Ihrem Dokument landen.
- Seine Fenster kommen nach vorn. Um etwas anzuklicken, holt das Werkzeug das Fenster nach vorn oder blendet alles andere aus.
Die Regel lautet dann: Aufgabe starten, Hände weg von der Tastatur, warten. Und es arbeitet immer nur ein Agent, denn zwei Agenten können sich keinen Zeiger teilen.
Wie die eingebauten Lösungen mit Ihrem Bildschirm umgehen
Claude und Codex bringen eigenes Computer Use mit, und auf dem Mac haben beide einen Hintergrundmodus ergänzt. Was genau passiert, hängt von App und Tarif ab (Stand der Dokumentation im Oktober 2026):
| Werkzeug | Während es arbeitet | Agenten gleichzeitig | Wo es läuft |
|---|---|---|---|
Claude Code CLI (Server computer-use) | Blendet Ihre anderen Apps bis zum Ende des Arbeitsschritts aus | Eine Sitzung hält eine Sperre | macOS, Tarif Pro oder Max |
| Claude Desktop und Cowork | Hintergrundmodus auf macOS, sonst werden Ihre Fenster ausgeblendet | Nicht dokumentiert | macOS und Windows, Tarif Pro oder Max |
| Codex in der ChatGPT-Desktop-App | Hintergrund auf macOS, Vordergrund auf Windows | Nicht dokumentiert | ChatGPT-Desktop-App |
| ShadowCursor | Hintergrund, mit eigenem Cursor, eigener Tastatur und eigener Zwischenablage | Mehrere, jeder mit eigenem Cursor | Jeder MCP-Client ab macOS 15 |
Wenn Sie nur eine dieser Apps und jeweils einen Agenten nutzen, reicht der eingebaute Modus vielleicht schon. Ein eigenes Werkzeug lohnt sich, wenn Sie Computer Use in dem Client möchten, in dem Sie ohnehin arbeiten (Claude Code oder Codex im Terminal, Cursor, VS Code), wenn Ihr Tarif die eingebaute Funktion nicht enthält (Claude Team, Enterprise, ein API-Schlüssel oder Bedrock) oder wenn mehrere Agenten gleichzeitig arbeiten sollen. Quellen: Claude-Code-Dokumentation, Claude-Desktop-Dokumentation, ChatGPT-Dokumentation zu Computer Use.
Was Computer Use im Hintergrund braucht
Damit ein Agent neben Ihnen arbeitet statt an Ihrer Stelle, braucht er von allem sein eigenes:
| Teil | Computer Use im Vordergrund | Computer Use im Hintergrund |
|---|---|---|
| Cursor | Ihr Mauszeiger | Ein eigener Cursor in seiner Farbe und mit seinem Namen |
| Tastatur | Ihr Tastaturfokus | Tasten, die nur im Fenster des Agenten ankommen |
| Zwischenablage | Die Zwischenablage des Systems | Eine eigene Zwischenablage pro Agent |
| Fenster | Werden nach vorn geholt | Bleiben, wo sie sind, auch wenn sie verdeckt sind |
| Agenten gleichzeitig | Einer | Mehrere, jeder mit eigenem Cursor |
Der schwierige Teil sind die Fenster. macOS zeichnet vollständig verdeckte Fenster nicht mehr, und Browser pausieren Seiten, die nicht sichtbar sind. Ein Werkzeug für den Hintergrund muss diese Fenster am Leben halten und genau das Fenster abfotografieren, in dem der Agent arbeitet, nicht Ihren Bildschirm.
So macht es ShadowCursor
ShadowCursor ist eine Mac-App und ein MCP-Server, der genau dafür gebaut ist. Verbinden sich Claude Code, Codex, Cursor oder ein anderer MCP-Client, bekommt der Agent:
- Einen eigenen Cursor. Er gleitet sichtbar zu seinem Ziel, in der Farbe des Agenten und mit Namensschild, damit Sie immer sehen, wer gerade was tut.
- Eine eigene Tastatur. Was der Agent tippt, geht an eine App und ein Fenster. Sonst kommt es nirgends an.
- Eine eigene Zwischenablage. Kopieren und Einfügen funktionieren für den Agenten, ohne Ihre Zwischenablage oder die eines anderen Agenten zu berühren.
- Eigene Fenster. Der Agent arbeitet in seinen Fenstern im Hintergrund, auch wenn Ihre Fenster sie verdecken, und sieht nur diese Fenster.
Die Eingaben wirken menschlich: Der Zeiger bewegt sich in Kurven, und getippt wird in menschlichem Rhythmus mit etwa 200 Wörtern pro Minute. Das zählt im Web, wo Hover-Menüs, Schieberegler, Datumsauswahlen und Unterschriftenfelder echte Zeigerbewegungen erwarten.
Einrichtung in drei Schritten
- ShadowCursor laden und öffnen. Erlauben Sie Bedienungshilfen und Bildschirmaufnahme, wenn Ihr Mac fragt. Diese beiden Berechtigungen braucht jedes Computer-Use-Werkzeug auf dem Mac.
- Ihre KI verbinden. ShadowCursor findet Claude, Codex, Cursor und VS Code auf Ihrem Mac und verbindet sie mit einem Klick. Keine Konfigurationsdatei, nichts zu bearbeiten.
- Die Aufgabe nennen. Zum Beispiel: „Trag die neuen Rechnungen aus dem Download-Ordner in die Tabelle ein.“ Der Agent öffnet Dateien und Tabelle in seinen eigenen Fenstern und arbeitet, während Sie weitermachen.
Was Agenten im Hintergrund erledigen
Alles, was ein Fenster hat. Typische Aufgaben:
- Tabellen: eine Tabelle aus Rechnungen, E-Mails oder einer Webseite füllen, in einem Fenster, das Sie gar nicht ansehen.
- Websites: in Safari suchen, lesen, vergleichen und Formulare ausfüllen, in einem eigenen Fenster des Agenten.
- Mac-Apps: Termine im Kalender anlegen, in Notizen schreiben, Menüs und Dateidialoge bedienen.
- Dokumente: einen Vertrag in Vorschau mit einem echten Stiftstrich unterschreiben.
- Mehrere Projekte gleichzeitig: Claude an Ihren Rechnungen und Codex beim Testen Ihres Onlineshops, nebeneinander, jeder mit eigenem Cursor.
Grenzen, die Sie kennen sollten
Computer Use im Hintergrund ist kein Zauber, und manches hängt davon ab, wie eine App gebaut ist:
- Minimierte und ausgeblendete Fenster kann ein Agent weder sehen noch bedienen. Verdeckte Fenster schon.
- Dateien, Tabs oder Text zwischen Fenstern zu ziehen ist ein Systemvorgang, der der echten Maus folgt. ShadowCursor bricht ihn deshalb ab, statt etwas abzulegen. Schieberegler, Zeichenflächen und Unterschriften funktionieren.
- Hover ohne Klick erreicht Seiten in Safari, aber nicht in Chrome oder Electron-Apps.
- Ein Agent kann keinen Hintergrund-Tab in Ihrem Browserfenster nutzen, weil Browser nur den ausgewählten Tab zeichnen und bedienen lassen. Er öffnet stattdessen ein eigenes Fenster.
- Arbeitet ein Agent in derselben App, in der Sie gerade tippen, wartet er auf Ihre Pausen.
Häufige Fragen
Ist Computer Use im Hintergrund dasselbe wie Browserautomatisierung?
Nein. Werkzeuge zur Browserautomatisierung wie Playwright steuern einen Browser über seine Entwicklerschnittstelle und erreichen nur Webseiten. Computer Use bedient die Apps selbst, über dieselben Schaltflächen, Felder und Menüs wie Sie, und funktioniert deshalb auch in Mac-Apps, Dateidialogen und Desktop-Software.
Welche KI-Agenten funktionieren mit ShadowCursor?
Claude Code, Codex, Cursor, VS Code und jeder andere Client, der MCP (Model Context Protocol) spricht. Mehrere Agenten können gleichzeitig arbeiten, jeder mit eigenem Cursor.
Verlässt mein Bildschirm den Mac?
ShadowCursor läuft lokal. Ein Agent bekommt nur Screenshots der Fenster, in denen er arbeitet, und nur der Agent, den Sie verbunden haben, sieht sie.
Was kostet ShadowCursor?
ShadowCursor beginnt mit 7 Tagen kostenlos, ohne Karte. Danach kostet es 12,99 € im Monat oder 69,99 € im Jahr, mit beliebig vielen Agenten auf bis zu drei Geräten.
Welche Macs werden unterstützt?
Macs ab macOS 15 Sequoia. Eine Version für Windows 10 und 11 ist in der Beta.