Computer-Use-MCP-Server für den Mac: jeder KI-Agent bedient Ihre Apps
Was ein Computer-Use-MCP-Server leistet, worauf Sie bei der Auswahl achten sollten, wo die eingebauten Lösungen von Claude und Codex aufhören und wie ShadowCursor in Claude Code, Codex, Cursor und VS Code arbeitet.
Kurz gesagt: Ein Computer-Use-MCP-Server ist ein Programm auf Ihrem Mac, das einem KI-Agenten Werkzeuge gibt, um Apps zu sehen und zu bedienen: ein Fenster als Screenshot samt Bedienelementen auslesen, dann klicken, tippen, scrollen und Menüpunkte wählen. Weil er MCP spricht, funktioniert er in jedem Client mit MCP-Unterstützung, etwa Claude Code, Codex CLI, Cursor, VS Code oder opencode. Das eingebaute Computer Use von Claude und Codex ist an deren eigene Apps und Tarife gebunden. ShadowCursor ist ein Computer-Use-MCP-Server, der jedem Agenten einen eigenen Cursor, eine eigene Tastatur und eine eigene Zwischenablage in Hintergrundfenstern gibt, auch mehreren Agenten gleichzeitig.
Was ein Computer-Use-MCP-Server macht
MCP (Model Context Protocol) ist der offene Standard, über den KI-Clients externe Werkzeuge aufrufen. Ein Computer-Use-MCP-Server stellt die grafische Oberfläche Ihres Macs als solche Werkzeuge bereit. Das Modell entscheidet, was zu tun ist; der Server führt es aus und meldet das Ergebnis zurück.
Ein typischer Durchlauf sieht so aus:
- Der Agent fragt den Zustand eines Fensters ab (
get_app_state). Er erhält einen Screenshot und eine Liste der Bedienelemente aus der Bedienungshilfen-Schnittstelle: Schaltflächen, Textfelder, Checkboxen und Menüs, jeweils mit Beschriftung und Nummer. - Das Modell wählt ein Element und ruft eine Aktion auf, etwa
click,type_text,set_valueoderselect_menu_item. - Der Server führt die Aktion aus und liefert den neuen Zustand des Fensters zurück. Das geht so weiter, bis die Aufgabe erledigt ist.
Beide Hälften dieses Zustands zählen. Der Screenshot zeigt, was ein Mensch sähe, auch Zeichenflächen, Bilder und Apps, die kaum Bedienelemente preisgeben. Die Elementliste liefert exakte Ziele mit Namen, sodass das Modell „Sichern“ über seine Nummer anklickt, statt Pixelkoordinaten zu raten. Ein guter Server liefert bei jedem Schritt beides.
Welche Werkzeuge Sie erwarten können
Die Namen unterscheiden sich von Server zu Server, der Umfang ist ähnlich. ShadowCursor bietet diese Werkzeuge:
| Werkzeug | Was es tut |
|---|---|
list_apps, launch_app | Laufende Apps und ihre Fenster sehen, eine App starten oder eine Datei öffnen |
get_app_state | Screenshot und Bedienelemente eines Fensters |
click, hover, drag, scroll | Zeigeraktionen, per Elementnummer oder Position im Screenshot |
type_text, press_key | Tippen und Tastenkürzel in diesem Fenster |
set_value, select_text | Feld füllen, Schieberegler setzen, Eintrag im Aufklappmenü wählen, Text markieren |
select_menu_item, perform_secondary_action | Menüpunkte der App wählen, weitere Aktionen eines Elements auslösen |
paste | Text über die eigene Zwischenablage des Agenten einfügen |
Wo Computer Use neben anderen Werkzeugen steht
Computer Use ist der umfassendste Weg, wie ein Agent eine App erreicht, und der langsamste. Die Dokumentation von Claude Code beschreibt die Reihenfolge: zuerst ein MCP-Server für den jeweiligen Dienst, falls vorhanden, dann die Shell für Befehle, Claude in Chrome für Browserarbeit und erst danach Computer Use (Quelle). Browserautomatisierung wie Playwright erreicht nur Webseiten. Ein Computer-Use-Server deckt den Rest ab: Mac-Apps, Dateidialoge, Simulatoren, Desktop-Software ohne Schnittstelle und Websites, die ein echtes Browserfenster sehen sollen.
Worauf Sie bei der Auswahl achten sollten
Klicken und tippen können die meisten Computer-Use-MCP-Server. Ob Sie einen jeden Tag nutzen können, entscheiden diese Fragen:
| Frage | Warum sie wichtig ist |
|---|---|
| Arbeitet er im Hintergrund? | Server, die den echten Zeiger steuern (etwa über PyAutoGUI oder cliclick), bewegen den einen Cursor Ihres Macs und holen Fenster nach vorn. Solange sie laufen, gehört der Bildschirm dem Agenten. |
| Können mehrere Agenten ihn gleichzeitig nutzen? | Bei einem gemeinsamen Zeiger unterbrechen sich zwei Agenten gegenseitig. Parallele Agenten brauchen je einen eigenen Cursor und eine eigene Tastatur. |
| Was passiert mit der Zwischenablage? | Laufen Kopieren und Einfügen über die Zwischenablage des Systems, ersetzt jede Kopie des Agenten deren Inhalt, und zwei Agenten überschreiben sich gegenseitig. |
| Erreichen Eingaben nur das Zielfenster? | Tasten, die an „das Fenster mit dem Fokus“ gehen, können in der falschen App landen. |
| Was zeigen die Screenshots? | Eine Aufnahme des ganzen Bildschirms zeigt dem Modell alles darauf. Eine Aufnahme eines Fensters zeigt nur dieses Fenster. |
| Wirken die Eingaben menschlich? | Hover-Menüs, Schieberegler, Datumsauswahlen und Bot-Prüfungen reagieren auf Zeigerbewegung und Tipprhythmus, nicht auf einen springenden Zeiger. |
| Wie aufwendig ist die Einrichtung? | Jedes Werkzeug braucht auf dem Mac die Berechtigungen Bedienungshilfen und Bildschirmaufnahme. Manche verlangen zusätzlich Konfigurationsdateien, eine Python-Umgebung oder einen eigenen Build. |
Die eingebauten Lösungen und ihre Grenzen
Claude und Codex bringen eigenes Computer Use mit. Die Variante in Claude Code ist selbst ein eingebauter MCP-Server namens computer-use. Stand der Dokumentation im Oktober 2026:
| Lösung | Wo Sie sie nutzen | Während sie arbeitet | Agenten gleichzeitig | Tarif |
|---|---|---|---|---|
Claude Code CLI (computer-use) | Claude Code im Terminal, macOS | Blendet Ihre anderen sichtbaren Apps bis zum Ende des Arbeitsschritts aus | Eine Sitzung hält eine Sperre | Pro oder Max, nicht Team, Enterprise, Bedrock, Vertex oder Foundry, nicht in claude -p |
| Claude Desktop und Cowork | Die Claude-Desktop-App, macOS und Windows | Hintergrundmodus auf macOS | Nicht dokumentiert | Pro oder Max |
| Codex in der ChatGPT-Desktop-App | Die ChatGPT-Desktop-App | Hintergrund auf macOS, Vordergrund auf Windows | Nicht dokumentiert | Unterstützte Regionen, kein Tarif genannt |
| Open-Source-MCP-Server | Jeder MCP-Client | Viele steuern den echten Zeiger, einige arbeiten im Hintergrund | Jeweils prüfen | Open Source |
Im Alltag zählen Details: In Claude Desktop sind Browser nur zum Ansehen freigegeben, Terminals und Entwicklungsumgebungen nur zum Klicken. Codex kann per Computer Use keine Terminal-Apps bedienen. Quellen: Claude Code Computer Use, Claude Desktop, ChatGPT Computer Use.
Arbeiten Sie in einer dieser Apps, mit einem Tarif, der die Funktion enthält, und mit jeweils einem Agenten, genügt die eingebaute Lösung vielleicht. Ein eigener MCP-Server lohnt sich, wenn Sie Computer Use in Ihrem gewohnten Client möchten (Codex CLI, Cursor, VS Code, opencode), wenn Ihr Tarif die eingebaute Funktion ausschließt oder wenn mehrere Agenten gleichzeitig arbeiten sollen. Den Unterschied zwischen Vordergrund und Hintergrund erklärt der Ratgeber Computer Use im Hintergrund auf dem Mac.
ShadowCursor: ein Computer-Use-MCP-Server für den Hintergrund
ShadowCursor ist eine Mac-App und ein MCP-Server. Verbindet sich ein MCP-Client, bekommt sein Agent von allem sein eigenes:
- Einen eigenen Cursor, auf dem Bildschirm in der Farbe des Agenten und mit Namensschild.
- Eine eigene Tastatur. Tasten kommen nur im Fenster des Agenten an, in einer App.
- Eine eigene Zwischenablage. Kopieren und Einfügen berühren weder Ihre Zwischenablage noch die eines anderen Agenten.
- Eigene Fenster. Der Agent arbeitet in Hintergrundfenstern, auch wenn Ihre Fenster sie verdecken, und Screenshots zeigen nur das Fenster, in dem er arbeitet.
Mehrere Agenten können gleichzeitig arbeiten, jeder mit eigenem Cursor. Jede Aktion liefert den neuen Zustand des Fensters zurück, sodass das Modell das Ergebnis jedes Schritts sieht, ohne erneut nachzufragen. Die Eingaben wirken menschlich: Der Zeiger bewegt sich in Kurven mit natürlicher Geschwindigkeit, schießt leicht über und korrigiert, getippt wird mit etwa 200 Wörtern pro Minute in menschlichem Rhythmus. Hover-Menüs in Safari, Schieberegler, Unterschriftenfelder und Datumsauswahlen reagieren wie bei einem Menschen, und ein Agent kann ein PDF in Vorschau mit einem echten Stiftstrich unterschreiben.
ShadowCursor läuft lokal und setzt macOS 15 Sequoia oder neuer voraus.
Einrichtung ohne Konfigurationsdateien
- Öffnen Sie ShadowCursor und erlauben Sie Bedienungshilfen und Bildschirmaufnahme, wenn Ihr Mac fragt.
- Verbinden Sie Ihren Client. Die App findet Claude, Codex, Cursor und VS Code auf Ihrem Mac und verbindet sie mit einem Klick. Andere Clients, die MCP sprechen, können ShadowCursor ebenfalls nutzen.
- Geben Sie eine Aufgabe, die eine App braucht, zum Beispiel: „Öffne die exportierte CSV-Datei in Numbers und füge eine Summenzeile hinzu.“
Grenzen, die Sie kennen sollten
- Minimierte und ausgeblendete Fenster kann ein Agent weder sehen noch bedienen. Verdeckte Fenster schon.
- Dateien, Tabs oder Text per Drag-and-drop zu ziehen ist ein Systemvorgang, der der echten Maus folgt. ShadowCursor bricht solche Vorgänge ab, statt etwas abzulegen.
- Hover ohne gedrückte Taste funktioniert in Safari, nicht in Chrome oder Electron-Apps.
- Ein Agent kann keinen Hintergrund-Tab in Ihrem Browserfenster nutzen; er öffnet ein eigenes Fenster.
- LibreOffice ignoriert gesendete Klicks; Menüs und Tastatur funktionieren dort.
- Code-Editoren wie VS Code geben ihren Text nicht über die Bedienungshilfen preis. Agenten lesen ihn deshalb aus dem Screenshot.
Häufige Fragen
Ist ein Computer-Use-MCP-Server dasselbe wie ein MCP-Server für Browserautomatisierung?
Nein. Server für Browserautomatisierung, etwa auf Basis von Playwright, steuern einen Browser über seine Entwicklerschnittstelle und erreichen nur Webseiten. Ein Computer-Use-Server bedient Apps über ihre Schaltflächen, Felder und Menüs und funktioniert deshalb auch in Mac-Apps, Dateidialogen und Desktop-Software.
Brauche ich einen, wenn Claude Code schon Computer Use hat?
Nicht immer. Der eingebaute Server computer-use funktioniert in Claude Code mit Tarif Pro oder Max, blendet Ihre anderen Apps aus, während Claude arbeitet, und erlaubt jeweils eine Sitzung. Einen eigenen Server brauchen Sie für Codex CLI, Cursor oder VS Code, für Team, Enterprise, API-Schlüssel oder Bedrock oder für mehrere Agenten gleichzeitig.
Welche Clients können einen Computer-Use-MCP-Server nutzen?
Jeder Client, der MCP-Server unterstützt, darunter Claude Code, Codex CLI, Cursor, VS Code und opencode. ShadowCursor verbindet Claude, Codex, Cursor und VS Code mit einem Klick.
Verlassen Screenshots meinen Mac?
Der Server läuft lokal, aber das Modell muss das Fenster sehen, um darin zu arbeiten. Screenshots gehen deshalb an das Modell, das Ihr Client nutzt, wie bei jedem Computer Use. Bei ShadowCursor zeigen diese Screenshots nur das Fenster, in dem der Agent arbeitet.
Was kostet ShadowCursor?
7 Tage kostenlos ohne Karte, danach 12,99 € im Monat oder 69,99 € im Jahr inklusive Steuern, mit beliebig vielen Agenten auf bis zu drei Geräten.