Synthetische Daten sind künstlich erzeugte Daten für KI-Systeme. Sie können reale Trainingsdaten ergänzen oder teilweise ersetzen, etwa wenn geeignete Daten knapp, teuer oder datenschutzsensibel sind. Im KI-Kontext werden sie besonders bei kleinen Sprachmodellen, selbstlernenden Systemen, Simulationen und der Frage diskutiert, ob Modelle aus den Antworten anderer Modelle lernen. Entscheidend ist die Qualitätskontrolle: Schlechte synthetische Daten können Fehler, Verzerrungen und Scheingenauigkeit verstärken.
Kurzdefinition
Synthetische Daten sind künstlich erzeugte Daten, mit denen KI-Modelle trainiert, getestet oder erweitert werden können. Der englische Begriff lautet "Synthetic Data". Gemeint sind also nicht direkt gemessene oder von Menschen erstellte Rohdaten, sondern Daten, die gezielt erzeugt werden, um ein Modell oder ein Testverfahren zu unterstützen.
Bedeutung im KI-Kontext
Im KI-Kontext stehen synthetische Daten für einen Ausweg aus drei wiederkehrenden Engpässen: zu wenig verfügbare Daten, Datenschutzprobleme und die hohen Kosten manueller Labels. Der Begriff taucht dort im Zusammenhang mit Modelltraining, selbstlernenden Systemen, Simulation, Forschung und KI-generierten Testfällen auf.
Ein konkreter Newsletter-Beleg ist der Bericht zu Microsofts Phi-3-mini: Dort wird beschrieben, dass kleine Modelle auf günstiger Hardware und teils ohne ständige Internetverbindung interessant werden. Der Trainingsansatz wird mit dem Lernen aus einfachen Kinderbüchern verglichen; weil passende Daten knapp sind, wird der Einsatz synthetischer Daten als Lösungsweg eingeordnet.
Abgrenzung zu Trainingsdaten
Trainingsdaten sind der Oberbegriff für Daten, mit denen ein Modell lernt. Synthetische Daten sind eine besondere Form davon: Sie werden künstlich erzeugt und können reale Daten ergänzen oder in bestimmten Fällen ersetzen. Dadurch sind sie besonders relevant, wenn echte Daten knapp, teuer, urheberrechtlich problematisch oder datenschutzsensibel sind.
Wichtig ist die Unterscheidung zwischen "mehr Daten" und "besseren Daten": Synthetische Daten lösen nicht automatisch Qualitätsprobleme. Wenn sie fehlerhaft, einseitig oder zu stark von bestehenden Modellantworten geprägt sind, können sie problematische Muster wiederholen.
Typische Einsatzfelder
Im Kontext der gelieferten AI-Breakdown-Belege lassen sich mehrere Einsatzfelder ableiten: synthetische Trainingsbeispiele für kleinere Sprachmodelle, simulierte Situationen für Robotik und Weltmodelle, KI-generierte Testfälle für Softwareentwicklung sowie Forschungsdaten, wenn reale Daten nicht ausreichen.
Das Beispiel Phi-3-mini zeigt den Kernnutzen besonders anschaulich: Ein Modell soll aus einfachen, strukturierten Beispielen lernen; wenn es davon nicht genug reale Beispiele gibt, können künstlich erzeugte Daten diese Lücke füllen.
Risiken und offene Fragen
Synthetische Daten können Fehler und Verzerrungen vervielfältigen. Wenn ein Modell aus künstlich erzeugten Beispielen lernt, hängt die Qualität stark davon ab, wie diese Daten erzeugt, geprüft und gefiltert werden.
Eine offene Frage im KI-Kontext ist, wie weit Modelle aus Modellantworten anderer Anbieter lernen dürfen oder sollen. Ohne Qualitätskontrolle drohen Scheingenauigkeit und im Extremfall Model Collapse: Das Modell lernt dann immer stärker aus abgeleiteten oder verzerrten Daten statt aus belastbaren Ausgangsdaten.
Weitere Seiten
Quellen und Belege
AI-Breakdown-Ausgaben
- AI-Breakdown KW 18/2024: Klein aber OHO: Es gibt gerade mehrere Strömungen innerhalb der KI-Entwicklungen bezogen auf die LLMs. Zum einen immer größere Modelle mit mehr Parametern zu erstellen, die dann auch komplexere Aufgaben bewältigen können. Zum anderen kleinere Modelle, die auf günstiger Hardware laufen können und somit z.B. auch ohne eine Internetverbindung eingesetzt werden können. Wir hatten schon über Modelle von Apple gesprochen und jetzt hat Microsoft mit Phi-3-mini ebenfalls ein solches Modell vorgestellt. Mit "nur" 3,8 Milliarden Parametern schlägt es sich in den Tests auch gegen deutlich größere Modelle hervorragend. Wirklich interessant finde ich den Ansatz, der hier gewählt wurde. Der Lernprozess der KI gleicht dabei dem, wie Kinder von Gute-Nacht-Geschichten bzw. Kinderbüchern lernen. Einfache Strukturen, einfache Sprache. Ein Problem, es gibt nicht genug Kinderbücher. Also wurde auf synthetische Daten zurückgegriffen. Heißt, eine andere KI hat Kinderbücher zu über 3.000 Begriffen erstellt und damit das System trainiert.
Externe Quellen
- NIST AI Glossary: Offizielle Glossar-Quelle für vertrauenswürdige KI-Terminologie und Begriffseinordnung.
- NIST Privacy Framework: Offizieller Rahmen zur Einordnung von Datenschutz- und Privacy-Risiken, die bei Datenstrategien einschließlich synthetischer Daten relevant sind.
- On the Opportunities and Risks of Foundation Models: Forschungsnahe Quelle zur Risiko- und Chancen-Einordnung von Foundation Models, passend zur Diskussion über Datenqualität und Modellrisiken.