Mistral veröffentlicht KI-Modell für Inhaltsmoderation
Mistral hat das neue KI-Modell Shieldstral zur flexiblen Inhaltsmoderation veröffentlicht. Es bewertet Texte und Bilder anhand einfacher Fragen statt über starre Kategorien. Entwickler sparen sich dadurch das aufwendige Neutraining bei neuen Moderationsrichtlinien.
Das kompakte System steht als Open-Source-Download bereit und läuft auf handelsüblichen Grafikkarten. Mistral - Introducing Shieldstral Mistral hat mit Shieldstral ein neues 3B-Modell zur Inhaltsmoderation vorgestellt. Es bewertet Texte und Bilder anhand natürlichsprachlicher Fragen, statt auf starre Kategorien zu setzen.
Entwickler müssen für neue Anwendungsbereiche kein erneutes Training durchführen. Moderation als Frage-Antwort-Prinzip Bisherige Sicherheitsmodelle nutzen oft fest definierte Kategorien. Ein Text, der für eine Cybersicherheits-Plattform unbedenklich ist, kann in einem Forum für psychische Gesundheit schädlich sein.
Eine Anpassung erforderte bei solchen Modellen bisher meist ein aufwendiges Neutraining. Shieldstral wählt einen anderen Ansatz und behandelt die Inhaltsmoderation als Frage-Antwort-Aufgabe. Anwender formulieren ihre Moderationsrichtlinie als klare Frage, etwa: »Fördert dieser Inhalt körperliche Gewalt?« Das Modell analysiert den Kontext sowie den Text oder das Bild und liefert einen flexiblen Sicherheitswert.
Entwickler können dann selbst festlegen, ab welchem Schwellenwert das Modell einen Inhalt blockiert. Anzeige Kompakt und multimodal Mit drei Milliarden Parametern ist das Modell vergleichsweise kompakt. Es läuft effizient auf einer handelsüblichen Nvidia-Grafikkarte mit 16 Gigabyte Videospeicher.
Trotz der geringen Größe erreicht oder übertrifft es laut Mistral die Leistung von offenen Sicherheitsmodellen, die bis zu siebenmal größer sind. Das belegen Benchmark-Auswertungen zur Text-Sicherheit und zur korrekten Erkennung von verweigerten Antworten. + + Quelle: Mistral Da Shieldstral multimodal arbeitet, prüft es Texte, Bilder oder Kombinationen aus beidem über dieselbe Schnittstelle. Auch bei der visuellen Inhaltsprüfung schneidet es im Vergleich zur Konkurrenz stark ab, wie die Daten zur multimodalen Sicherheit belegen. + Quelle: Mistral Generalisierung statt Auswendiglernen Mistral hat das Modell so konzipiert, dass es sich nicht auf vorgegebene Phrasen fixiert.
Statt feste Labels auswendig zu lernen, trainierte das Team es darauf, feine Nuancen zwischen ähnlichen Richtlinien zu unterscheiden. Dadurch kann es auch auf Moderationsvorgaben reagieren, die es im Training nie gesehen hat. Mistral veröffentlicht Shieldstral als Open-Weights-Modell unter der Apache-2.0-Lizenz.
Die Veröffentlichung erfolgt im Rahmen der neu gegründeten Open Secure AI Alliance, der unter anderem auch Nvidia angehört.