Meta Platforms auf der jährlichen Meta Connect-Veranstaltung in Kalifornien präsentiert mehrere neue KI-Funktionen für seine beliebten Apps Facebook, Instagram und WhatsApp, aber die beeindruckendste Innovation des Technologieriesen dürfte von vielen unbemerkt geblieben sein. Die Rede ist vom Llama 2 Long AI-Modell.
Ein Forscherteam der Firma Meta veröffentlichte irgendwie still und leise einen Artikel, in dem sie ein neues Modell der künstlichen Intelligenz, Llama 2 Long, vorstellten, das in der Lage ist, kohärente und relevante Antworten auf lange Benutzeranfragen zu generieren. Sie sagen, dass es höchstens einige der besten Konkurrenten der Branche übertrifft.
Llama 2 Long ist eine Erweiterung Lama 2, ein im Sommer veröffentlichtes Open-Source-KI-Modell Meta, das aus einer Vielzahl von Datenquellen lernen und eine Vielzahl von Aufgaben wie Codierung, Mathematik, Sprachverständnis und mehr ausführen kann. Allerdings wurde Llama 2 Long auf mehr Daten trainiert, die längere Texte enthielten, und dieser Algorithmus wurde geändert, um längere Informationssequenzen zu verarbeiten. Dies ermöglicht es, GPT-3.5 Turbo und Claude 2 von OpenAI zu übertreffen, deren Menge an Kontext begrenzt ist, die sie zum Generieren von Antworten verwenden können.
Forscher Meta verwendete verschiedene Versionen von Llama 2 – von 7 Milliarden bis 70 Milliarden Parametern, also Werte, die das KI-Modell durch Lernen aus den Daten verändern kann. Sie fügten weitere 400 Milliarden Token (Texteinheiten) an Daten hinzu, die längere Texte als der ursprüngliche Modelldatensatz enthielten. Außerdem haben sie die Architektur des KI-Modells mithilfe der RoPE-Technik (Rotary Positional Embedding) leicht optimiert, sodass das Modell genaue und nützliche Antworten mit weniger Informationen und Speicher als andere Methoden generieren kann.
Das Team nutzte Reinforcement Learning from Human Feedback (RLHF), eine Methode, bei der das KI-Modell für korrekte Antworten belohnt und von menschlichen Bewertern korrigiert wird und synthetische Daten vom Llama 2-Chat selbst generiert werden, um seine Leistung bei verschiedenen Aufgaben zu verbessern .
Das Papier behauptet, dass das Modell qualitativ hochwertige Antworten auf Benutzeraufforderungen mit einer Länge von bis zu 200 Zeichen generieren kann, was etwa 40 Textseiten entspricht. Die Forscher sagen, dass Llama 2 Long ein Schritt zur Schaffung allgemeinerer und vielseitigerer KI-Modelle ist, die den komplexen und unterschiedlichen Bedürfnissen der Benutzer gerecht werden können. Sie erkennen auch die potenziellen ethischen und sozialen Auswirkungen solcher Modelle an und fordern weitere Forschung und Dialog darüber, wie sie verantwortungsvoll und nutzbringend eingesetzt werden können.
Lesen Sie auch: