Phi-Modell für künstliche Intelligenz von Microsoft - klein, günstig und leidet nicht unter „Halluzinationen“. Das sagen sie über das neue Sprachmodell, dem eine große Zukunft vorausgesagt wird.
GPT ist absolut großartig, aber gleichzeitig auch furchtbar teuer und kann nicht für jeden perfekt sein. Aus diesen und vielen anderen Gründen Microsoft experimentiert mit viel kleineren KI-Modellen. Phi-3-mini soll sogar die Arbeit der OpenAI-Ingenieure in den Schatten stellen.
Auch interessant: Transistoren der Zukunft: Eine neue Ära der Chips erwartet uns
ChatGPT ist kein Allheilmittel
ChatGPT ist eine Erfindung, die finanziert, kuratiert und verbessert wird Microsoft. Eigentlich gehört es nicht dazu Microsoft, und die Firma OpenAI, die Microsoft besitzt nicht (sie ist der führende, wenn auch nicht der größte Investor). Das GPT-Sprachmodell gab Microsoft Ein riesiger Vorteil gegenüber dem Rest der großen Technologiekonzerne, die jetzt aufholen wollen. Allerdings gibt es bei GPT eine Vielzahl von Problemen, von denen viele noch nicht gelöst werden können.
Erstens ist dies ein sehr ressourcenintensives Sprachmodell. Weborientiert Microsoft Copilot oder ChatGPT von OpenAI verursachen sehr hohe Betriebskosten Microsoft. Dies ist eine Funktion nicht nur von GPT, sondern auch von allen wichtigen Sprachmodellen. Darüber hinaus ist GPT wie seine Konkurrenten anfällig für „Halluzinationen“, das heißt, es kann Antworten auf Anfragen generieren, die falsche oder irreführende Informationen enthalten. Je mehr Daten ein solches Modell aufnimmt, desto eher generiert es ähnliche Inhalte. Daher sind Halluzinationen und Falschaussagen keine Mythen, die einem digitalen Finger entzogen wurden. Benutzer stellen häufig fest, dass große Sprachmodelle häufig Fehler machen, ungenaue Daten liefern und auf nicht vorhandenen Fakten basieren.
Beide Probleme sind sehr ernst, weshalb OpenAI, Microsoft, Meta, Google und andere arbeiten nicht nur an der Entwicklung der Large Language Model-Technologie, sondern auch des Small Language Model, das in der Praxis viel bessere Ergebnisse liefern kann.
Ein digitaler Buchhalter muss nicht viel über Quantenphysik wissen. Es kann viel kleiner und weniger komplex (und daher billiger) sein, und wenn nur auf den für seinen Zweck erforderlichen Daten trainiert wird, sollte es theoretisch weniger halluzinieren. Allerdings ist das leichter gesagt als getan. Die GenAI-Technologie ist immer noch ein wildes IT-Unternehmen. Und obwohl die Arbeit in einem beispiellosen Tempo voranschreitet, ist es immer noch schwierig, in grundlegenden Fragen praktische Durchbrüche zu erzielen. Aber das Unternehmen Microsoft hat kürzlich einen solchen Durchbruch angekündigt. Wir sprechen von einem kleinen Sprachmodell Microsoft Fliege.
Auch interessant: Wie Taiwan, China und die USA um die technologische Vorherrschaft kämpfen: der große Chip-Krieg
Was ist bekannt Microsoft Phi
Zunächst ist anzumerken, dass das Experiment ohne Beteiligung der Firma OpenAI durchgeführt wurde. Das heißt, es ist die Entwicklung von Ingenieuren Microsoft.
Modelle Microsoft Phi ist eine Reihe kleiner Sprachmodelle (SLMs), die in einer Vielzahl von Tests außergewöhnliche Ergebnisse erzielen. Das erste Modell, Phi-1, hatte 1,3 Milliarden Parameter und erzielte die besten Python-Codierungsergebnisse unter den bestehenden SLMs.
Anschließend konzentrierten sich die Entwickler auf das Verstehen und Denken von Sprachen und schufen das Phi-1.5-Modell, das ebenfalls über 1,3 Milliarden Parameter verfügte und eine Leistung zeigte, die mit Modellen mit fünffachen Parametern vergleichbar war.
Phi-2 ist ein Modell mit 2,7 Milliarden Parametern, das hervorragende Argumentations- und Sprachverständnisfähigkeiten aufweist und mit 13 Milliarden Parametern auf dem Niveau der besten Basismodelle liegt. Phi-2 hebt sich von anderen Modellen durch Innovationen bei der Modellskalierung und dem Datenkurationstraining ab.
Es ist im Azure AI Studio-Modellkatalog verfügbar, der die Forschung und Entwicklung im Bereich der Sprachmodelle erleichtert. Phi-2 wurde im Dezember 2023 gestartet. Die Entwickler versichern, dass es genauso gut funktioniert wie Mistral oder Lama 2 von Meta. Und Phi-3 funktioniert sogar noch besser als die Vorgängerversion.
Allerdings ist das gerade angekündigte Phi-3-Modell qualitativ völlig neu. Zumindest lässt sich das anhand der bereitgestellten Informationen beurteilen Microsoft. Nach Angaben des Unternehmens schneidet der Phi-3 laut den Indikatoren aller bekannten Benchmarks besser ab als jedes andere Modell ähnlicher Größe, einschließlich Sprachanalysen, Programmierarbeiten oder mathematischer Arbeiten.
Der Phi-3-mini, die kleinste Version dieses Modells, ist seit Kurzem für alle Interessenten verfügbar. Das heißt, es ist seit dem 23. April verfügbar. Phi-3-mini verfügt laut Messungen über 3,8 Milliarden Parameter Microsoft, doppelt so effizient wie jedes andere Modell derselben Größe. Es ist im Katalog der KI-Modelle des Cloud-Dienstes zu finden Microsoft Azure, die Hugging Face-Modellplattform für maschinelles Lernen, und Ollama, ein Framework zum Ausführen von Modellen auf einem lokalen Computer.
Wie er behauptet Microsoft, Phi-3-mini benötigt keine leistungsstarken Chips Nvidia. Das Modell kann mit gewöhnlichen Computerchips betrieben werden. Oder passen Sie es sogar auf ein Telefon an, das nicht mit dem Internet verbunden ist.
Weniger Leistung bedeutet auch, dass die Modelle nicht so genau sind. Für Ärzte oder Steuerberater ist Phi-3 nicht geeignet, hilft aber bei einfacheren Aufgaben. Zum Beispiel für gezielte Werbung oder die Zusammenfassung von Bewertungen im Internet.
Da die kleineren Modelle weniger Verarbeitung erfordern, ist der Einsatz für private Unternehmen günstiger. Das ist in Microsoft Es wird mehr Kunden geben, die KI gerne in ihre Arbeit einbeziehen würden, dies aber für zu teuer halten. Allerdings ist noch nicht klar, wie viel sie kosten werden.
Wann die kleinen und mittleren Modelle erscheinen, ist noch nicht bekannt. Letzteres wird jedoch leistungsfähiger und teurer sein. Obwohl bereits bekannt ist, dass Phi-3-small 7 Milliarden Parameter haben wird, und Phi-3-medium sogar 14 Milliarden Parameter.
Lesen Sie auch:
- Graphen-Mikrochips werden Telefone schneller und einfacher machen
- Über Quantencomputer in einfachen Worten
Wie verwende ich Phi-3-mini?
GPT-4 Turbo erfordert leistungsstarke KI-Chips, die immer noch sehr teuer sind. Das kleine Sprachmodell Phi-3 kann offline, ohne Cloud, sogar mit einem Chip auf einem Mobiltelefon arbeiten.
Phi-3 ist kein Produkt für Endbenutzer, sondern eine Technologie, die Entwickler nutzen und in ihren Anwendungen implementieren können – sowohl cloudbasiert, also entfernt, als auch solche, die lokal und offline arbeiten. Es wird erwartet, dass es nahtlos mit Geräten und deren Komponenten wie Mobiltelefonen, Autos und deren Infotainmentsystemen oder sogar IoT-Sensoren zusammenarbeitet. In manchen Szenarien kann diese Technologie von unschätzbarem Wert sein.
Microsoft gibt sogar ein konkretes Beispiel, damit wir unsere Fantasie nicht anstrengen müssen. Stellen Sie sich einen Landwirt vor, der seine Ernte inspiziert und Anzeichen einer Krankheit an den Blättern, Stängeln und Zweigen sieht. Da er weit entfernt von Telekommunikationsmasten ist, muss er nur sein Telefon herausnehmen, ein Foto des Schadens machen, es in eine Anwendung einfügen, die Phi-3-Technologie nutzt – und das Modell wird das Foto schnell und offline analysieren und Ratschläge dazu geben wie man diese Krankheit genau bekämpft.
Wie er erklärt MicrosoftDer Schlüssel zum Erfolg von GPT lag darin, für das Training auf riesige Datenmengen zurückzugreifen. Bei solch großen Datensätzen ist eine hohe Datenqualität nicht möglich. Währenddessen wurde beim Training des Phi-Modells der genau entgegengesetzte OpenAI-Ansatz verwendet. Anstatt das Modell mit Informationen vollzustopfen, lag der Schwerpunkt auf inkrementellem und gründlichem Lernen.
Anstatt rohe Internetdaten zu verwenden, sagen Forscher Microsoft hat den TinyStories-Datensatz erstellt und Millionen von Miniatur-„Baby“-Geschichten generiert. Diese Geschichten wurden verwendet, um sehr kleine Sprachmodelle zu trainieren. Anschließend gingen die Forscher noch einen Schritt weiter und erstellten den CodeTextbook-Datensatz, der sorgfältig ausgewählte, öffentlich verfügbare Daten verwendete, die nach Bildungswert und Inhaltsqualität gefiltert wurden. Diese Daten wurden dann mehrmals gefiltert und zur weiteren Synthese in ein großes Sprachmodell (LLM) eingespeist.
All dies ermöglichte es, eine Reihe von Daten zu erstellen, die ausreichten, um einen leistungsfähigeren SLM zu trainieren. Darüber hinaus wurde bei der Entwicklung des Phi-3-Modells ein mehrstufiger Ansatz für Risikomanagement und -minderung verwendet, der Bewertung, Tests und manuelle Anpassungen umfasst. Infolgedessen, wie er behauptet Microsoftkönnen Entwickler, die die Phi-3-Modellfamilie verwenden, das in Azure AI verfügbare Toolset nutzen, um sicherere und zuverlässigere Anwendungen zu erstellen.
Lesen Sie auch: Teleportation aus wissenschaftlicher Sicht und ihre Zukunft
Microsoft Wird Phi ChatGPT-Modelle ersetzen?
Gar nicht. Kleine Sprachmodelle (SLMs) haben, selbst wenn sie auf hochwertigen Daten trainiert werden, ihre Grenzen und sind nicht für Deep Learning konzipiert. Große Sprachmodelle (LLMs) übertreffen SLMs aufgrund ihrer Größe und Rechenleistung bei der komplexen Argumentation. LLMs sind und bleiben besonders nützlich in Bereichen wie der Arzneimittelforschung, wo man riesige Sammlungen wissenschaftlicher Arbeiten durchsuchen und komplexe Muster analysieren muss. Andererseits kann SLM für einfachere Aufgaben verwendet werden, etwa zum Zusammenfassen der Hauptpunkte eines langen Textdokuments, zum Erstellen von Inhalten oder zum Betreiben von Kundenservice-Chatbots.
Microsoft, sagte sie, verwende intern bereits hybride Modellsätze, wobei LLM die Führung übernimmt und bestimmte Abfragen, die weniger Rechenleistung erfordern, an SLM weiterleitet, während es andere, komplexere Abfragen selbst bearbeitet. Phi ist für die Datenverarbeitung auf Geräten geeignet, ohne die Cloud zu nutzen. Allerdings wird es immer noch eine Lücke zwischen kleinen Sprachmodellen und dem Grad an Intelligenz geben, der mit großen Modellen in der Cloud erreicht werden kann. Diese Lücke wird dank der Weiterentwicklung des LLM wahrscheinlich nicht so schnell verschwinden.
Phi-3 muss noch von externen unabhängigen Parteien verifiziert werden. Microsoft Manchmal ist von einer 25-mal höheren Effizienz bzw. Energieeffizienz im Extremfall im Vergleich zu Mitbewerbern die Rede, was ziemlich fabelhaft klingt. Allerdings darf man andererseits nicht vergessen, dass diese Jahre vergangen sind Microsoft hat uns ein wenig von der Tatsache entwöhnt, dass es ein klarer Marktführer bei IT-Innovationen ist, und vielleicht glauben wir deshalb nicht wirklich daran. KI-basierte Programme, die sofort reagieren und offline laufen, anstatt sie zu generieren? Dies wäre ein würdiger Höhepunkt der aktuellen Revolution. Leider gibt es ein zentrales Problem.
Lesen Sie auch: Alles über den Neuralink Telepathy-Chip: Was er ist und wie er funktioniert
Phi-3 von Microsoft versteht nur Englisch
Phi-3 hat die ihm zugeworfenen Petabyte nicht verschlungen. Ein sorgfältiges und gewissenhaftes Training des Modells bringt ein kleines Problem mit sich. Phi-3 wurde mit Informationen auf Englisch trainiert und hat noch keine Ahnung von einer anderen Sprache. Nicht nur Ukrainisch, sondern auch Deutsch, Spanisch, Französisch oder Chinesisch. Dies verringert natürlich die Attraktivität für die meisten Benutzer auf der ganzen Welt erheblich.
Aber in Microsoft versichert, dass an seiner Weiterentwicklung und Verbesserung gearbeitet wird. Allerdings sollte man sich nicht darüber täuschen, dass der ukrainische Markt für einen der großen Konzerne Priorität hat. Daher müssen wir sehr lange auf die Unterstützung der ukrainischen Sprache warten. Aber diese Tatsache hat Enthusiasten und diejenigen, die mit dem Fortschritt Schritt halten wollen, nie davon abgehalten.
Lesen Sie auch: