Apple öffnet Siri AI für Drittanbieter-Apps im neuen iOS-Update mit erweiterter Bildschirmerkennung

Die wichtigsten Punkte

• Aktionen über Drittanbieter-Apps hinweg: Apple gestattet Siri AI ab sofort die direkte Durchführung von Aktionen innerhalb und über externe Anwendungen hinweg.
• Einführung mit neuem System-Update: Die Bereitstellung der Funktionalität erfolgt als fester Bestandteil der Aktualisierung auf iOS 27.3, deren Ausrollen an einem Dienstag startete.
• Offene Integration für alle Applikationen: Entwicklerinnen und Entwickler können die neuen Fähigkeiten von Siri AI laut Apple in ausnahmslos alle Apps einbinden.
• Kombination aus drei Kernkompetenzen: Siri AI stützt sich bei der Ausführung auf den persönlichen Kontext der Nutzer, die Verarbeitung natürlicher Sprachanweisungen sowie ein aktives Bewusstsein für Bildschirminhalte.

Analyse

Bereitstellung über das Update iOS 27.3 und Öffnung für Drittanbieter

Mit dem Rollout der Betriebssystemversion iOS 27.3 vollzieht Apple einen grundlegenden Schritt bei der Weiterentwicklung seines Sprachassistenten: Siri AI ist nicht mehr ausschließlich auf herstellereigene Standarddienste beschränkt, sondern erhält die Freigabe, Aktionen anwendungsübergreifend in Drittanbieter-Apps auszuführen. Wie das Unternehmen im Zuge der Veröffentlichung an einem Dienstag bekannt gab, richtet sich diese Erweiterung direkt an die Entwicklergemeinschaft. Entwickler haben fortan die Möglichkeit, die neu geschaffenen Schnittstellen und Fähigkeiten von Siri AI in ihre Programme zu integrieren.

Bemerkenswert an dieser Ankündigung ist der ausdrückliche Hinweis darauf, dass die Integration in sämtlichen Applikationen („all apps“) vorgenommen werden kann. Damit setzt Apple ein klares Signal gegen eine künstliche Limitierung auf ausgewählte Anwendungskategorien oder exklusive Partnerschaften. Für Nutzerinnen und Nutzer bedeutet dies perspektivisch, dass der Sprachassistent Steuerungs- und Interaktionsaufgaben direkt in denjenigen Programmen übernehmen kann, die sie individuell auf ihren Geräten installiert haben. Die Barriere zwischen dem Betriebssystem-Assistenten und Drittanbieter-Software wird auf funktionaler Ebene abgebaut, sodass Interaktionen nicht mehr an den Grenzen nativer Apple-Dienste enden.

Die drei funktionalen Säulen: Kontext, Sprachverständnis und Bildschirmerkennung

Die angekündigte Arbeitsweise von Siri AI im Zusammenspiel mit Drittanbieter-Apps basiert auf drei wesentlichen Merkmalen, die in der Mitteilung hervorgehoben werden:

1. Persönlicher Kontext: Siri AI erhält die Fähigkeit, auf den individuellen Kontext der Nutzerinnen und Nutzer zurückzugreifen. Anstatt Befehle isoliert und ohne Bezug zur aktuellen Situation zu betrachten, kann die Sprachassistenz relevante Hintergrundinformationen des Nutzers heranziehen, um Aktionen zielgerichtet und passgenau innerhalb von Drittanbieter-Programmen umzusetzen.

2. Verarbeitung natürlicher Sprache: Die Interaktion erfolgt über Prompts in natürlicher Sprache. Nutzer müssen somit keine starren, vordefinierten Befehlsmuster mehr verwenden, um externe Applikationen zu steuern. Die KI ist darauf ausgelegt, die Absicht hinter formulierten Spracheingaben eigenständig zu erfassen und in konkrete Ausführungsschritte innerhalb der jeweiligen Anwendung zu übersetzen.

3. Bildschirmwahrnehmung (On-Screen Awareness): Als dritte fundamentale Komponente verfügt Siri AI über ein Bewusstsein für die auf dem Bildschirm angezeigten Inhalte. Durch diese visuelle Erfassung der aktuellen Benutzeroberfläche kann die Assistenz nachvollziehen, worauf sich eine Anweisung bezieht, und Aktionen direkt im Kontext der momentan sichtbaren App-Elemente vollziehen.

Das Zusammenspiel dieser drei Eigenschaften bildet das technische Fundament, auf dem Entwickler aufbauen können. Durch die Verknüpfung von visuellem Bildschirminhalt, sprachlicher Aufforderung und individuellem Kontext wird Siri AI in die Lage versetzt, komplexe Aufgaben abzuwickeln, die zuvor eine manuelle Bedienung der App-Oberflächen durch den Nutzer erforderten.

Bedeutung für die KI-Branche

Die Entscheidung von Apple, Siri AI für Drittanbieter-Anwendungen freizugeben und mit tiefgreifenden Kontext- sowie Bildschirmerkennungsfähigkeiten auszustatten, unterstreicht einen zentralen Trend in der KI-Entwicklung: den Übergang von isolierten Chatbots hin zu handlungsfähigen, tief ins Betriebssystem eingebetteten KI-Agenten.

In der KI-Branche galt die Brücke zwischen sprachgesteuerten Großmodellen und der tatsächlichen Ausführung von Softwareaktionen lange Zeit als eine der größten Hürden. Während herkömmliche Sprachassistenten meist nur einfache Verknüpfungen oder vordefinierte Kurzbefehle starten konnten, adressiert Apples Ansatz direkt das anwendungsübergreifende Agieren. Durch das Bereitstellen von Werkzeugen für Entwickler aller Apps etabliert Apple eine universelle Handlungsebene. Wenn eine KI nicht nur Anfragen beantwortet, sondern Aktionen in externer Software auf Basis des Bildschirminhalts und des Nutzerkontexts ausführen darf, wandelt sich die Natur von mobilen Betriebssystemen. Die Software-Landschaft bewegt sich damit weg von der punktuellen App-Nutzung hin zu einer zentral gesteuerten Assistenz-Erfahrung, bei der die ausführende App zunehmend im Hintergrund agiert, während der KI-Assistent die vermittelnde Rolle übernimmt.

Häufig gestellte Fragen

Welche zentralen Neuerungen bringt das Update auf iOS 27.3 für Siri AI?

Mit dem Update auf iOS 27.3 ermöglicht Apple es Siri AI, Aktionen über Drittanbieter-Apps hinweg auszuführen. Zudem erhalten Entwicklerinnen und Entwickler die Möglichkeit, die neuen KI-Funktionen direkt in ihre Applikationen einzubinden. Kernbestandteile dieser Neuerung sind die Nutzung des persönlichen Kontexts der Nutzer, die verbesserte Verarbeitung von Prompts in natürlicher Sprache sowie eine aktive Bildschirmwahrnehmung zur Erfassung angezeigter Inhalte.

Für welche Anwendungen können Entwickler die neuen Siri-AI-Funktionen nutzen?

Laut der offiziellen Ankündigung von Apple steht die Integration für alle Apps offen. Entwickler sind somit in der Lage, die neuen Funktionen von Siri AI unabhängig von der App-Kategorie in ihre Programme einzubauen, um Nutzern eine sprach- und kontextgesteuerte Bedienung zu ermöglichen.

Was versteht man unter der Bildschirmwahrnehmung von Siri AI?

Unter der sogenannten Bildschirmwahrnehmung (On-Screen Awareness) versteht man die Fähigkeit von Siri AI, den aktuell auf dem Display angezeigten Bildschirminhalt wahrzunehmen und zu interpretieren. Dadurch kann der Sprachassistent Befehle in natürlicher Sprache verstehen, die sich direkt auf sichtbare Elemente oder Inhalte beziehen, und entsprechende Aktionen innerhalb der jeweiligen App ausführen.