Meta präsentiert die nächste Llama-Generation

Meta hat Llama 3 vorgestellt, die neue Generation seines hauseigenen Sprachmodells. Es soll nicht nur leistungsfähiger sein als die Vorgängerversion Llama 2, sondern alle frei verfügbaren LLMs auf dem Markt übertreffen, wie Meta in einem Blogpost verspricht.

Llama 3 verfüge über zwei Modellgewichte mit 8B- und 70B-Parametern, die eine breite Palette von Anwendungsfällen unterstützen können, heisst es weiter. Die Generation zeige damit in verschiedenen Industrie-Benchmarks die beste Leistung. Verbesserungen im Pre- und Post-Training-Verfahren sollen die Falschrückweisungsrate (false rejection rate) reduzieren, die Ausrichtung verbessern und die Vielfalt der Modellantworten erhöhen. Meta habe zudem verbesserte Fähigkeiten wie Argumentation, Codegenerierung und Befehlsverfolgung festgestellt. 

Für reale Szenarien optimiert

Die Entwickler hätten ausserdem versucht, die Leistung des Modells für reale Szenarien zu optimieren. Dafür habe man ein Evaluierungsset für Menschen entwickelt. Das Set enthält laut Meta 1800 Prompts für die folgenden 12 Anwendungsfälle: Um Rat fragen, Brainstorming, Klassifizierung, Beantwortung geschlossener Fragen, Codierung, kreatives Schreiben, Extraktion, Verinnerlichung eines Charakters/einer Persona, Beantwortung offener Fragen, Argumentation, Umschreiben und Zusammenfassung.

Meta AI soll mit Llama 3 unter anderem in der Lage sein, in Echtzeit auf Suchmaschinen zuzugreifen und Quellenangaben zu liefern, wie "Golem" berichtet. Damit könne der Chatbot auch auf aktuelle Ereignisse und Informationen verweisen. Des Weiteren könnten User in den USA mit Facebook-Konto mithilfe des Bots in Echtzeit Bilder generieren. Aktuell unterstützt Llama 3 nur die englische Sprache für Fragen und Antworten. 

Llama 3 ist zunächst nur in einer Vorabversion verwendbar. Bald soll das Sprachmodell für Cloud-Anbieter wie AWS, Google oder Microsoft sowie für Modellbibliotheken wie Hugging Face verfügbar sein. Der dazugehörige Chatbot kann auf meta.ai schon jetzt in einigen Ländern getestet werden - die Schweiz gehört jedoch nicht dazu. Das Sprachmodell wurde auch in die Suchfunktionen von Facebook, Whatsapp, Instagram und Messenger integriert, wie Meta schreibt. Demnächst soll auch eine multimodale Meta AI für die Ray-Ban Meta Smart Glasses folgen.

Übrigens: Forschende aus Chicago haben untersucht, wie sich Metas Quest-VR-Headsets angreifen lassen. Sie konnten Daten von Kameras und Mikrofonen abgreifen, angezeigte VR-Umgebungen fälschen und ganze Gespräche manipulieren. Hier erfahren Sie mehr dazu.