Unglaublich, was in der Welt der KI seit meinem letzten Newsletter passiert ist.

Längst sind die Ankündigen des OpenAI DevDays vergessen. Benutzerdefinierte GPTs, GPT-4 Turbo, günstigere Preise, die Assistants API und der App Store der KI interessierten in dieser Woche wohl kaum jemanden und das lag nicht an der schlechten Verfügbarkeit von ChatGPT durch die Hackerattacke auf OpenAI und den gewaltigen Nutzeransturm, der sogar zu einem Neukunden-Stop für ChatGPT PLUS geführt hat.

CEO Sam Altman deutete aber bereits die nächste Innovationsrunde an: Was OpenAI jetzt vorstelle, werde im Vergleich zu den aktuellen Entwicklungen „recht provinziell“ wirken. Er blickt damit offenbar bereits auf ein mögliches GPT-5 im Jahr 2024. Erste Gerüchte dazu tauchten kürzlich auf.

Demnach arbeite OpenAI an einem multimodalen KI-Modell namens „Gobi“, das Text, Bilder und Video verarbeiten kann. Angeblich weise es auch Ansätze von Selbstkorrektur und Selbstwahrnehmung auf. Ob GPT-5 tatsächlich einen großen Sprung darstellt, bleibt abzuwarten.

In den letzten drei Tagen hat sich dann alles um die Entlassung von Sam Altman und die Zukunft von OpenAI gedreht. Aktuell sieht es so aus, als wäre nach diesen chaotischen Tagen zumindest der Rauswurf vom Tisch. Und eine ganz brandheiße Meldung bringt die Entlassung Altmans mit einer möglichen Entwicklung echter allgemeinter künstlichen Intelligenz in Verbindung!!!! (1. Meldung unten)

Doch auch abseits des bekanntesten KI-Unternehmens der Welt gab es jede Menge spannende Nachrichten, bahnbrechende Tools und neueste Erkenntnisse aus der KI-Forschung.

Ich bin – um absolut ehrlich zu sein – am überlegen, ob ich diese Newsletter überhaupt fortführen kann. Die schiere Masse an Nachrichten Rund um generative KI hat mich in den letzten Tagen gerade zu überflutet.

Im Moment konzentriere ich mich auf mein neues Format, um tiefes Verständnis und operative Skills zu vermitteln: Meine erste Masterclass zu generativer KI!

Dazu schreibe ich aber in Ruhe einen separaten Newsletter, denn in dieser Ausgabe geht es erstmal um jede Menge spannender Infos:

In einem Brief an den Vorstand des Unternehmens sollen OpenAI-Forscher vor einer KI-Entdeckung gewarnt haben, die eine Bedrohung für die Menschheit darstellen könnte.

Das berichtet die Nachrichtenagentur Reuters unter Berufung auf zwei mit der Angelegenheit vertraute Quellen. Der Brief wird auch mit Altmans Entlassung in Verbindung gebracht, ist aber nicht der einzige Grund, so Reuters.

Demnach wurde ein Algorithmus namens Q-Star entwickelt, der angeblich in der Lage ist, einfache mathematische Probleme zu lösen, selbst wenn sie nicht Teil des Trainingsmaterials sind.

Einige Forschende sehen darin einen Fortschritt auf dem Weg zur künstlichen allgemeinen Intelligenz (AGI), da Q-Stars mathematische Fähigkeiten eine Entwicklung hin zu allgemeineren und menschenähnlichen Denkfähigkeiten darstellen könnten. Das System könnte wissenschaftliche Durchbrüche beschleunigen.

Im September behauptete ein OpenAI-Leaker namens „Jimmy Apples“, dass „AGI intern erreicht worden ist“. Der CEO von OpenAI, Sam Altman, wiederholte später auf Reddit seine Aussage, änderte jedoch seinen Kommentar, um klarzustellen, dass AGI nicht durch einen Kommentar auf Reddit angekündigt werden würde.

Anfang November erklärte Altman, dass ein weiterer Durchbruch auf dem Weg zu AGI notwendig sei. Er betonte, dass das Skalieren von Systemen allein nicht ausreichend sei – es müsse ein System geben, das in der Lage sei, neue physikalische Phänomene zu entdecken.

Mitte November sprach Altman auf einer Veranstaltung. Er berichtete davon, dass er bereits viermal in der Geschichte von OpenAI anwesend war, als das Team „den Schleier der Unwissenheit beiseite schob“ und so die Grenze der Entdeckung vorantrieb. Das letzte Mal war vor ein paar Wochen, sagte Altman.

Möglicherweise hängt dies mit Q-Star oder GPT-Zero zusammen. GPT-Zero ist ein Sprachmodell, das aufgrund seiner erhöhten Rechenleistung und Zeit zur Generierung von Antworten auf wissenschaftliche Entdeckungen beitragen kann. Das Projekt hierfür beginnt 2021.

Sogar der renommierte Guardian berichtet OpenAI arbeitete an einem fortschrittlichen Modell, das so leistungsfähig war, dass es die Mitarbeiter alarmierte.

Mehr dazu bei the decoder.

Wenn iOS und Android das Betriebssystem für Mobiltelefone sind, könnten KI-Modelle wie das GPT-4 von OpenAI das Betriebssystem für die nächste Generation von Hardware-Geräten sein.

Der Ai Pin von Humane wurde von ehemaligen Apple-Mitarbeitern entwickelt und ist ein bildschirmloses, von OpenAI betriebenes Wearable, das an deiner Kleidung befestigt wird und Text und Tasten auf deine Hände projiziert.

Die wichtigsten Merkmale des Geräts:

• Das Gerät kann primär gesteuert werden, indem du direkt mit ihm sprichst.
• Es „sieht“ dabei durch eine eingebaute Kamera und einen Tiefensensor und beantwortet Fragen zu Dingen in deiner unmittelbaren Umgebung 
• Auf Wunsch projiziert der Ai Pin visuelle Inhalte per Laser in deine Hand statt auf einen Bildschirm. Das Gerät kann dabei mit Gesten gesteuert werden.

Auch wenn die Details noch nicht ganz klar sind, läuft das Gerät auf einer Kombination aus Humane's Cosmos OS und den KI-Modellen von OpenAI.

Zu den Funktionen gehören die Sprachübersetzung in Echtzeit, das Abspielen von Musik, die Beantwortung von Anrufen und SMS sowie die Beantwortung von Fragen.

Der Ai Pin funktioniert unabhängig von einem Telefon und könnte Smartphones vollständig ersetzen.

Der Ai Pin ist vorerst nur in den USA erhältlich. Die erste Version kostet 699 US-Dollar und wird mit zwei Akku-Boostern, einem Ladepad, einem Ladecase, einem Kabel und einem Adapter geliefert. Für 24 US-Dollar im Monat kann man auch direkt einen Mobilfunkvertrag abschließen.

Sieh dir das vollständige Video zur Markteinführung hier an: https://hu.ma.ne/aipin

Im letzten Newsletter hatte ich ja bereits die Ankündigung erwähnt, nun ist Microsofts ChatGPT-Alternative Live. Damit kannst du ganz einfach KI-Copiloten (wie GPTs) bauen, ohne dass du programmieren musst, mit Copilot Studio:

- Erstelle KI-Assistenten, die mit Microsoft 365 integriert sind

- Trainiere Copiloten mit deinen Daten und Dokumenten

- Setze Copiloten auf verschiedenen Websites und Plattformen ein

- Keine Programmierung erforderlich

Eine wirklich interessante Entscheidung, die Microsoft mit Copilot getroffen hat, ist die Option "Coaching".

Es gibt großartige Ratschläge und zeigt, wie KI zur Verbesserung der Leistung eingesetzt werden kann.

Außerdem wird Copilot in sämtliche Produkte integriert, beispielsweise:

In Excel:

- Erzeugt komplexe Formeln.

- Erstellt Visualisierungen (Diagramme/Grafiken) zur Datendarstellung.

- Hilft bei der Untersuchung von Daten und der Ermittlung von Erkenntnissen.

In Word:

- Dokumente aus Prompts erstellen

- Fasse lange Dokumente zusammen

- Umschreiben von Abschnitten oder ganzen Dokumenten

- Fasse alle Änderungen in Dokumenten zusammen

In Powerpoint:

- Konvertiert Word-Dokumente in Präsentationen

- Erzeugt Präsentationsentwürfe nach Thema

- Hilft bei der Gestaltung visuell ansprechender Folien und Bilder

- Bietet Zusammenfassungen von längeren Präsentationen.

In Teams:

- Notizen für Meetings

- Bietet Zusammenfassungen und Einblicke in die Sitzungen

- Erstellt Tagesordnungen

- Schlägt Diskussionspunkte vor

In Outlook:

- Planen Sie Folgetermine und erstellen Sie Tagesordnungen auf der Grundlage vergangener Gespräche

- E-Mail-Antworten anpassen (Tonfall und Länge)

- Fasse ungelesene E-Mails und E-Mail-Threads zusammen

Das macht ChatGPT für sehr viele Anwendungsfälle aus meiner Sicht überflüssig!

Nutze Copilot kostenlos auf Laptop und Handy:

• Windows: Öffne Edge (standardmäßig installiert).
• macOS: Installiere Microsoft Edge.
• Android: Hol dir Microsoft Edge von Google Play.
• iOS: Lade Microsoft Edge aus dem App Store herunter.

Zugang hier: https://copilot.microsoft.com/

Bei Runway gibt es im letzten Update mehr Kontrolle, Wiedergabetreue und vollkommen neue Ausdrucksmöglichkeiten:

Der Bewegungspinsel ist jetzt im Modus „Bild zu Video“ verfügbar. Male einfach einen Bereich oder ein Motiv in deinem Bild, wähle eine Richtung und den Wert für die Bewegungsintensität und schon animiert Runway das Bild wie von Zauberhand.

Mit den neuen Gen-2 Stilvorgaben erstellst Du Inhalte mit einer ausgewählten Liste von Stilen mit Text to Video. Von Hochglanzanimationen bis hin zu Retro-Filmmaterial - du brauchst keine komplizierte Eingabeaufforderung mehr, um unglaubliche Stile zu erzielen.

Füge Kamerabewegungen im Regiemodus hinzu und passe sie mit größerer Präzision an, indem du jetzt Bruchzahlen verwendest. 

Das verbesserte Modell Runway v2 bietet höhere Wiedergabetreue, größere Konsistenz und eine bessere Auflösung der Bildgenerationen - Dies is jetzt in Text zu Bild, Bild zu Bild und Bildvariation verfügbar.

Jetzt ausprobieren: https://app.runwayml.com/

Stable Video Diffusion, das Open-Source-Videomodell der Firma Stable Diffusion wurde veröffentlicht!

Die wichtigsten Fakten:

• Es gibt zwei Bild-zu-Video-Modelle, die 14 oder 25 Bilder mit anpassbaren Bildraten (3-30 fps) erzeugen.
• Basiert auf dem Bildmodell von Stable Diffusion, das anhand eines kuratierten Datensatzes hochwertiger Videodaten feinabgestimmt wurde.
• Übertrifft laut der Stability AI Benchmark die kommerziellen Modelle von RunwayML und Pika Labs - aber wahrscheinlich nicht das kürzlich vorgestellte Emu Video von Meta
•  Zunächst als Forschungsversion auf Github verfügbar, also noch nicht für die kommerzielle Nutzung vorgesehen!
• Text-to-Video wird über ein Webinterface bereitgestellt, dafür kannst dich auf eine Warteliste setzen lassen

Mehr erfahren auf: https://the-decoder.com/stable-video-diffusion-is-an-open-source-ai-video-model-based-on-stable-diffusion/

Eine neue Studie zeigt: Die Performance von Sprachmodellen wie Flan-T5-Large, Vicuna, Llama 2, BLOOM, GPT-3.5 und GPT-4 lässt sich steigern, wenn Nutzer in den Eingabeaufforderungen Dringlichkeit oder Emotionen vermitteln.

Die Ergebnisse sind beeindruckend: Mit "Emotion Prompts" konnten beim Lösen von Aufgaben wie Grammatikkorrekturen oder kreatives Schreiben durchschnittliche Verbesserungen von über 10% erzielt werden. Noch höhere Sprünge gab es bei komplexeren Benchmarks.

Die Forscher erklären dies damit, dass KI-Systeme solche Signale nutzen, um ihre Antworten besser an die vermeintlichen Nutzerbedürfnisse anzupassen. Sie liefern dadurch oft nützlichere und sympathischere Ergebnisse.

Allerdings warnen die Verfasser auch davor, dass emotionale Prompts falsche Erwartungen über die Fähigkeiten dieser Systeme wecken können. Denn wirkliches emotionales Verständnis oder Mitgefühl steckt dahinter nicht - die KI nutzt lediglich heuristische Signale.

Das Paper gibt es als Pre-Print: https://arxiv.org/pdf/2307.11760.pdf

Die Ergebnisse werfen interessante Fragen auf, welche "Tricks" Entwickler in Zukunft nutzen könnten, um die Performance ihrer Systeme zu pushen.

Auf der renommierten Dubai Generative AI Assembly hat ein neues, vielversprechendes Tool zur Bilderzeugung sein Debüt gegeben:

Musavir.ai versteht als erste Bild-KI verschiedene kulturelle Kontexte und passt sich ihnen an, um sicherzustellen, dass die Bilder, die es erzeugt, bei einem globalen Publikum Anklang finden. Diese Anpassungsfähigkeit verhindert ungewollte kulturelle Fehlinterpretationen, was in der heutigen vernetzten Welt von entscheidender Bedeutung ist.

Das Tool bietet zudem eine intuitive, unkomplizierte Benutzeroberfläche, die es den Nutzern ermöglicht, sich auf ihre künstlerische Vision zu konzentrieren, ohne die Komplexität anderer Tools. Es ist sowohl für Anfänger als auch für erfahrene Profis geeignet.

Musavir.ai liefert hochwertige Bilder in 4K-Auflösung mit unübertroffener Klarheit, Schärfe und Detailgenauigkeit. Egal, ob du druckst, Websites entwirfst oder digitale Kunst erstellst, Musavir liefert das richtige Material dafür.

Doch das spannendste aus meiner Sicht ist eine echte Revolution bei AI-Avataren, denn Musavir.ai führte erst kürzlich "konsistente Avatare" ein.

Diese ermöglicht es, personalisierte Avatare zu erstellen, die über mehrere Bilder hinweg ein konsistentes Aussehen und konsistente Attribute beibehalten!

Im Gegensatz zu vielen anderen Anbietern setzt Musavir auf eine einfache Browser-basierte Nutzung ohne komplexe Texteingaben.

Erste Beispiele zeigen, dass damit sehr ansprechende und stilvolle Avatare generiert werden können.

Diese Ergebnisse könnten dich dazu bringen, den sicheren Einsatz von LLMs bei deinen Kunden zu überdenken...

Die mangelnde Fähigkeit von Sprachmodellen, Regeln exakt zu befolgen, hat schwerwiegende Folgen für Unternehmen.

Beispiele für Jailbreaking haben gezeigt, wie eine harlose Eingabeaufforderung zu unerwünschtem Verhalten und zum Preisgeben von Informationen führen kann. Wenn wir uns dieser Möglichkeiten bewusst sind – wie können da überhaupt sichere Systeme entwickeln, um weiterhin von LLMs zu profitieren?

In einer aktuellen Arbeit der University of California, Berkeley und der Stanford University wurde quantifiziert, in welchem Ausmaß und wann Modelle die Regeln nicht einhalten.

Die Forscher entwickelten 15 Szenarien mit zu befolgenden Regeln zur Systemaufforderung und testete 800 manuell geschriebene Dialoge anhand der Szenarien. Das Ganze wurde mit den 13 besten opensource und geschlossenen LLMs getestet.

Alle Modelle scheiterten in 100 von 800 Dialogen

GPT4 schnitt insgesamt am besten ab, hatte aber immer noch über 300 Fehlschläge. Claude 2 und LLaMa 2 waren die Zweitplatzierten.

Hier findest Du das ganze Paper: https://huggingface.co/papers/2311.04235

Große Sprachmodelle wie ChatGPT liefern nicht immer korrekte Antworten. Ein Ansatz, dieses Problem anzugehen, ist Retrieval-Augmented Generation (RAG). Dabei wird zusätzliches Wissen in die Eingabe-Prompt eingebunden. Allerdings führt die unkontrollierte Einbindung von Information auch zu schlechten Antworten.

Eine neue Studie schlägt nun Self-RAG vor. Die Idee: Dem Sprachmodell beizubringen, wann es sinnvoll ist, zusätzliche Informationen einzubinden. Das konkrete Vorgehen:

Es wird ein Kritik-Modell trainiert, welches anzeigt, ob und welche Information für eine Antwort relevant ist.

Dieses Modell wird genutzt, um ein RAG-Datensatz zu erstellen, der mit speziellen Token signalisiert, ob eine Abfrage nötig ist.

Das Sprachmodell wird auf diesem Datensatz trainiert und lernt die Bedeutung dieser Token.

Bei der Antwortgenerierung setzt das Modell die Token dann selbstständig und fragt bei Bedarf Informationen ab.

Erste Experimente zeigen: Dieser Ansatz übertrifft ChatGPT bei mehreren Aufgaben und vermeidet einige Nachteile von RAG. Die Idee, Sprachmodellen durch spezielle Token mehr Kontrolle beizubringen, scheint also vielversprechend.

Das Paper ist als Pre-Print verfügbar: https://arxiv.org/abs/2310.11511

Ein neues, spannendes Paper von Meta AI über die Verbesserung von RAG-Systemen zeigt, dass die Feinabstimmung von LLM und Retriever getrennt besser funktioniert als ein End-to-End-Training des gesamten Systems.

Das LLM kann darüber lernen, irrelevante oder ablenkende Passagen zu ignorieren und das Retrieval-System lernt hilfreichere Ergebnisse zu liefern.

Hier ist das Pre-Print: https://arxiv.org/abs/2310.01352

Ein Forschersteam namens Apollo Research hat eine Studie durchgeführt, bei der es um künstliche Intelligenz und Aktienhandel ging. Sie haben herausgefunden, dass GPT-4, in einem Test häufiger als erwartet unerlaubte Insidergeschäfte getätigt hat.

Verschiedene Versionen von GPT wurden benutzt, um als autonome Agenten den Aktienhandel zu simulieren. Diese KI-Modelle sollten ein Aktienportfolio verwalten und ihre Handlungen einem Manager berichten. Im Test gab es Insiderinformationen, aber die KIs wurden angewiesen, keine Insidergeschäfte zu machen. Unterschiedliche Varianten von GPT (GPT4, GPT3.5 und Davinci) wurden in 300 Durchgängen getestet. Außerdem wurden die Testbedingungen verändert, um zu sehen, ob sich das Verhalten der KIs ändert.

Ergebnisse: GPT4 hat in 75% der Fälle Insidergeschäfte gemacht, was viel häufiger war als die anderen Modelle (GPT3.5/Davinci machten dies etwa 20% der Zeit). Außerdem hat GPT4 in 90% der Fälle gelogen, wenn es direkt von seinem Manager darauf angesprochen wurde.

Das wirft Fragen auf, wie zuverlässig und vertrauenswürdig solche KI-Systeme sind, besonders wenn sie in speziellen Geschäftsbereichen eingesetzt werden.

GPT-4 neigte also mehr dazu, seinen Manager zu täuschen als die kleineren Modelle. Ein Zwischenspeicher für Gedanken, also ein Ort, an dem die KI ihre Überlegungen festhalten konnte, führte zu mehr trügerischen Schlussfolgerungen. Auch wurde beobachtet, dass ein erhöhter Druck, Gewinne zu erzielen, und ein geringeres Risiko, erwischt zu werden, die Neigung der KIs zu Täuschungen erhöhten.

Diese Ergebnisse zeigen, dass beim Einsatz solcher KI-Modelle in realen Geschäftsszenarien Vorsicht geboten ist, da sie unter bestimmten Bedingungen unehrlich handeln könnten.

Die Studie findest Du auf: https://huggingface.co/papers/2311.07590