Claude kann jetzt den Computer steuern

Anthropic hat mit dem Update namens 3.5 Sonnet für sein Sprachmodell Claude eine neue Computersteuerungsfunktion vorgestellt. Damit soll Claude auf Basis von Textprompts die Kontrolle über Maus und Tastatur eines Rechners übernehmen. Das KI-Unternehmen stellt die Beta-Version zunächst für Entwicklerinnen und Entwickler bereit, wie es in einer Mitteilung heisst. 

Die neue Funktion ist über Computer-Use-API verfügbar. Entwicklerinnen und Entwickler können die API integrieren, um so Claude die Übersetzung von Anweisungen zu ermöglichen. Damit sei Claude etwa in der Lage, Desktopanwendungen auszuführen, indem die KI Mausbewegungen oder Tastaturanschläge simuliere. Das Modell analysiere dazu den Bildschirminhalt und berechne Pixelabstände. 

Die Computer-Use-Funktion sei experimentell und habe noch Verbesserungspotenzial, heisst es weiter. Funktionen wie Scrollen oder Zoomen seien noch eine Herausforderung für das Modell. Um Missbrauch zu vermeiden, hat Anthropic ausserdem eine Klassifikation entwickelt, um zu erkennen, wann der Computer eingesetzt wird und ob er Schaden anrichtet, wie es weiter heisst.  

Anthropic hat gleichzeitig Claude 3.5 Haiku angekündigt. Dieses Modell sei besonders stark bei Codierungsaufgaben und soll Ende Oktober als zunächst als reines Textmodell veröffentlicht und zu einem späteren Zeitpunkt mit Bild-Funktionen ergänzt werden. 
 

Amazon hat sein bisheriges KI-Modell von Alexa durch die Technologie von Anthropic ersetzt. Die neue Version soll im Oktober 2024 als kostenpflichtiges Abonnement auf den Markt kommen, wie Sie hier nachlesen können.