Microsoft hat ein kleines Sprachmodell vorgestellt, das GPT 3.5 eine Konkurrenz machen und auf einem iPhone funktionieren könnte. Wird genannt Phi-3-mini und sein Hauptmerkmal ist eine beachtliche Leistung bei kleinen Abmessungen, die macht es für lokale Installationen auf mobilen Geräten wie Smartphones attraktiv.
Phi-3-mini hat 3,8 Milliarden Parameter aber es wurde auf bis zu 3.300 Milliarden Token trainiert.
Der Parameter eines LLM ist ein Wert, den das Modell während des Trainings lernt und der durch einen Prozess namens „Backpropagation“ reguliert wird, der die Berechnung des Fehlers zwischen den Vorhersagen des Modells und der tatsächlichen Ausgabe sowie die Regulierung der Parameter selbst zur Minimierung dieses Fehlers umfasst Fehler.
Die Parameter dienen daher dazu, die Beziehungen zwischen den verschiedenen Wörtern und Phrasen der Sprache zu identifizieren, sodass das Modell Ergebnisse generieren kann, die denen des Menschen ähneln, und genaue Vorhersagen treffen können. Ohne diese Parameter wäre ein Sprachmodell nicht in der Lage, Aufgaben zur Verarbeitung natürlicher Sprache mit einem hohen Maß an Genauigkeit auszuführen.
Daher gilt im Allgemeinen: Je größer die Anzahl der Parameter (bei LLMs sprechen wir von Milliarden), desto größer ist die Fähigkeit des Modells, die verschiedenen Wörter genau in Beziehung zu setzen, was die Vorhersagefähigkeit eines LLM bei der Satzkonstruktion erhöht.
Die Güte eines Modells hängt aber auch von der Quantität (und Qualität) der für sein Training verwendeten Daten ab, z. B Im Fall von Phi-3-mini sprechen wir von 3.300 Milliarden Token, also Wörtern oder Wortteilen. Eine beachtliche Zahl.
Erfolgreich getestet auf einem iPhone 14
In der von Microsoft veröffentlichten Studie, mit der Phi-3-mini angekündigt wurde, schreibt das Unternehmen über seine Forscher: „Dank seiner geringen Größe kann Phi-3-mini auf 4 Bit quantisiert werden, sodass es nur etwa 1,8 GB Speicher benötigt. Wir haben das quantisierte Modell auf dem iPhone 14 mit dem A16 Bionic-Chip getestet, das nativ auf dem Gerät und vollständig offline läuft und dabei mehr als 12 Token pro Sekunde erreicht“.
Original öffnen
Die Quantisierung eines LLM bezieht sich auf seine Gewichte. In einem LLM bestimmen die Gewichte die Wichtigkeit jeder Eingabe in einem neuronalen Netzwerk und werden auch während des Trainingsprozesses gelernt. Wenn das neuronale Netzwerk Token generiert (d. h. im Fall von LLMs Wörter und dann Text), verwendet es die Gewichte, die es während des Trainings gelernt hat, um zu bestimmen, welches Token am wahrscheinlichsten als nächstes generiert wird.
Quantisierte Gewichte verringern die Präzision dieser Verknüpfungen und damit auch die Präzision des Modells, da tatsächlich die Menge an Informationen reduziert wird, die das Modell verwenden kann, um Vorhersagen über den zu generierenden Text zu treffen.
Die Reduzierung der Gewichte hat jedoch zwei Vorteile: Sie können weniger RAM verwenden und die für die Inferenz erforderlichen mathematischen Operationen beschleunigen, d. h. die tatsächliche Verwendung eines LLM zur Erstellung von Vorhersagen.
Laut Microsoft Phi-3-mini, das über ein Kontextfenster von 4096 Tokens verfügt (d. h. die maximale Anzahl an Tokens, die das Modell gleichzeitig verarbeiten kann), verfügt über eine Gesamtleistung, die mit der von Modellen wie dem Mixtral 8x7B und GPT-3.5 mithalten kann. Letzteres ist das OpenAI-Modell, das ChatGPT auch in einer kostenlosen Version zum Leben erweckt.
Original öffnen
Für Microsoft ist die Leistungsfähigkeit und Innovation von Phi-3-mini die Konsequenz dieses 3.300 Milliarden Token umfassenden Trainingsdatensatzeseine skalierte Version der für Phi-2 verwendeten, bestehend aus stark gefilterten Webdaten und synthetischen Daten (d. h. künstlich durch Algorithmen generiert).
Microsoft arbeitet auch an dem 7-Milliarden-Parameter-Phi-3-small und dem 14-Milliarden-Parameter-Phi-3-medium. Darüber hinaus ist es dank der Verwendung eines „Extenders“ namens LongRoPE bereits gelungen, das Phi-3-mini-Kontextfenster auf bis zu 128K (d. h. 128.000 Token) zu erweitern.
