Schlagwort: #KImodelle

Menschliche Kreativität im Entwurf
Als Mentor von jüngeren Berufskollegen sprechen wir oft über den Sinn und Nutzen generativer künstlicher Intelligenz GenKI. Aus eigener Erfahrung kenne ich die Grenzen der (kostenlos verfügbaren) Technologie, beispielsweise bei der Entwicklung von Grundrisstypologien oder Fassadengestaltungen in der Architektur. Kommerziell erhältliche Programme konzentrieren sich grösstenteils auf die Bildgeneration und ermöglichen dort schon erstaunliche Resultate. Grosse Sprachmodelle, auch LLMs genannt, sind sehr grosse Deep-Learning-Modelle, die anhand riesiger Datenmengen vortrainiert sind. Als KI-Sprachmodelle können sie auf Grund von Bildmaterial einige Entwurfsideen beschreiben, sind jedoch noch nicht in der Lage, daraus Bildvarianten zu produzieren. Gefüttert mit «vektorisierten» Dateien, beispielsweise Linienzeichnungen von Grundrissen im PDF-Format, entstehen mit entsprechenden Prompts rudimentäre Varianten, ohne räumliche Hierarchisierung. Es fehlt an der Urteilsfähigkeit von Maschinen. Kurz, für kreative Arbeit wird der Mensch noch über lange Zeit gebraucht.

Zusammenarbeit von Mensch und GenKI am Arbeitsplatz
Und trotzdem helfen die Modelle im Alltag. Im Beitrag von Daniel Sack, Lisa Krayer, Emma Wiles, Mohamed Abbadi, Urvi Awasthi, Ryan Kennedy, Cristián Arnolds, und François Candelon, BCG Henderson Institute vom 12. September 2024 beschreiben die Autoren das Resultat ihres Feldexperiments: Mitarbeitende, welche mit generativer KI GenKI ausgestattet sind, können Code schneller schreiben, personalisierte Marketinginhalte mit einer einzigen Eingabeaufforderung erstellen und Hunderte von Dokumenten in Sekundenschnelle zusammenfassen. Als kompetente und interessierte «Alte» helfen wir, dank unserer Erfahrung, diese Arbeiten zu überprüfen, um zu merken ob die Werkzeuge einen Fehler gemacht haben. GenKI eignet sich bei der Recherche oder zum Brainstorming, wo wir unsere Wertvorstellungen mit dem Wissen dieser Werkzeuge kombinieren, um neue Modellierungs- und Problemlösungstechniken zu entdecken.

Die Endlichkeit des Internets
Ruth Fulterer, NZZ vom 11.September 2024, beschreibt in ihrem Beitrag mit dem Titel «KI-Texte fluten das Internet – und bedrohen so die nächste Generation der KI-Modelle», ein noch wenig beachtetes Phänomen in der Anwendung von künstlicher Intelligenz KI. Diese braucht echte Texte und Bilder, um sich weiterzuentwickeln. Die Programme können nur aus Beispielen lernen. Doch menschliche Daten und Bilder sind endlich. Und was im Internet nicht oft und konsistent vorkommt, führt bei diesen Programmen oft zu Halluzinationen, Fehlendes wird erfunden und dazugedichtet. Manche Forscher glauben, dass sich diese sogenannten Halluzinationen mit mehr Übungsdaten verringern lassen. Die für Sprach-KI genutzte Datenmenge ist exponentiell gewachsen. Dabei hat die heutige KI bei ihrem Training schon einen Grossteil des Internets gesehen. Wikipedia, Chat-Foren und digitalisierte Bücher sind bereits verarbeitet. Dazu mischt sich unter die Daten im Internet immer mehr KI-gemachtes Material. Aber was, wenn KI aus Daten lernt, die Halluzinationen beinhalten, fragt Fulterer.

Künstliche Intelligenz macht das Internet kaputt
Firmen suchen verzweifelt nach Lösungen. Nicolas Papernot, Assistenz Professor für Electrical and Computer Engineering an der Universität von Toronto, Kanada, hat gemeinsam mit anderen Forschern untersucht, was passiert, wenn KI von KI lernt. KI mit KI-generierten Daten zu trainieren, sei ein bisschen wie Fotokopien von Fotokopien machen, sagt er. Man entferne sich immer weiter vom Original. Irgendwann wird dieses nicht mehr erkennbar sein. Papernot und seine Kollegen haben diesen Moment den «Kollaps des KI-Modells» getauft: den Punkt, ab dem die KI so viele Details verloren hat, dass ihre Erzeugnisse nicht mehr die Verteilungen der Realität widerspiegeln.

Der komplexe Umgang mit Texten und Bildern
Sprache und Bilder funktionieren ganz anders als Spiele wie «Go» oder Schach, welche Regeln befolgen. Texte und Bilder der Welt sind viel komplexer. Es gibt keine Liste mit Regeln, die sie definieren. Und während man Spielzüge danach bewerten kann, wie viel Erfolg sie bringen, gibt es in vielen Feldern keine Möglichkeit, die Qualität des KI-Erzeugnisses klar zu bewerten. Das Innovative an Systemen wie Chat-GPT ist, dass sie Sprache allein aus Beispielen lernen, ohne Regeln. Doch ohne Regeln lassen sich keine hilfreichen synthetischen Daten erzeugen, folgert Papernot. Als Architekt kenne ich das Problem aus dem Umgang mit Konzepten, welche eine Abstraktion von Erfahrung voraussetzen.

Schwierigkeit – Urteilsvermögen aus synthetischen Daten
Pablo Villalobos vom Forschungsinstitut Epoch AI, das sich mit wichtigen Kennzahlen für KI-Fortschritt beschäftigt, sieht Potenzial bei synthetischen Daten für spezifische Anwendungen in Mathematik oder Informatik. Denn dort ist klar überprüfbar, was die Qualität der generierten Daten ist. Es gibt messbaren Fortschritt, das kann man optimieren. Viel schwieriger sei es, echtes Urteilsvermögen aus synthetischen Daten zu lernen. Nicolas Papernot kennt die Grenzen synthetischer Daten aus der Praxis, durch seine Forschung im Bereich KI und Privatsphäre: Jahrzehntelang hätten Forscher daran gearbeitet, beispielsweise um KI im Gesundheitsbereich erzeugen zu können, ohne der Privatsphäre der Patienten zu schaden. Da dies bis jetzt zu keinen Resultaten führte sehen sich KI-Unternehmen nun nach anderen Datenquellen um. Der Facebook-Konzern Meta kam in Konflikt mit den Behörden der EU, weil er die Bilder und Posts seiner Nutzer in seine KI einfliessen lassen wollte. Die KI-Firma Open AI hat laut einer Recherche der «New York Times» Unmengen an Youtube-Videos transkribiert, höchstwahrscheinlich illegal, um genug Trainingsmaterial für GPT-4 zu bekommen. Und Google hat seine Nutzungsbedingungen geändert, offenbar, um beispielsweise auch Restaurantkritiken und öffentliche Google-Docs in seine KI einfliessen lassen zu dürfen.

Zukunft der Lernfähigkeit von KI
Weiter schreibt Ruth Fulterer, wie die Unternehmen alles anzapfen, was sie finden können. Denn die Zeit drängt. Nach Schätzungen des Forschungsinstituts Epoch AI wird bereits im Jahr 2028 öffentliches menschengemachtes Material nicht mehr ausreichen, um bessere KI zu trainieren. Und diese Projektion schliesst noch gar nicht ein, wie generative KI selbst das Angebot im Internet verändert. Deshalb sind neue Ansätze gefragt. KI-Forschung wird sich wieder stärker mit Methoden beschäftigen müssen, um effektiver zu lernen, also mehr Information aus den existierenden Daten zu ziehen.