Apple ist nicht einer der führenden Player auf dem Markt für künstliche Intelligenz, aber das neue Open-Source-KI-Modell des Technologieriesen für die Bildbearbeitung zeigt, welche Beiträge das Unternehmen auf diesem Gebiet leisten könnte.
Das Modell mit der Bezeichnung MLLM-Guided Image Editing (MGIE) nutzt multimodale Large Language Models (MLLM), um Textbefehle in der Bildverarbeitung zu interpretieren. Mit anderen Worten: Mit diesem Tool hat der Benutzer die Möglichkeit, Fotos basierend auf dem von ihm eingegebenen Text zu bearbeiten. Obwohl es nicht das erste Werkzeug ist, das dies kann, „sind menschliche Anweisungen manchmal zu kurz, als dass moderne Methoden sie erfassen und ausführen könnten“, heißt es im Projektdokument.
Das Unternehmen hat MGIE zusammen mit Forschern der University of California entwickelt. MLLMs sind in der Lage, einfache oder mehrdeutige Textaufforderungen in detailliertere und verständlichere Anweisungen umzuwandeln, denen ein Bildbearbeiter folgen kann. Wenn ein Benutzer beispielsweise ein Foto einer Peperoni-Pizza bearbeiten möchte, um sie „gesünder zu machen“, kann MLLM dies als „Gemüsebelag hinzufügen“ interpretieren und das Foto entsprechend bearbeiten.
MGIE kann nicht nur grundlegende Bildänderungen vornehmen, sondern auch Fotos zuschneiden, in der Größe ändern und drehen sowie deren Helligkeit, Kontrast und Farbbalance verbessern – alles mit Textaufforderungen. Sie können mit dem Tool auch bestimmte Bereiche des Fotos bearbeiten und beispielsweise Haare, Augen und Kleidung der abgebildeten Person verändern oder Elemente im Hintergrund entfernen.
Apple veröffentlichte das Modell durch GitHubInteressierte können aber auch die Demoversion ausprobieren, die derzeit auf Hugging Face Spa gehostet wirdces. Das Unternehmen hat noch nicht gesagt, ob es plant, die Erkenntnisse aus dem Projekt als Tool oder Funktion in eines seiner Produkte zu integrieren.
Lesen Sie auch: