Genau diese Lücke schließt bei mir die Meeting-Nachbereitung mit KI. Sie ist kein weiterer Teil des narrativen Sechsers dieser Serie, sondern ein Bonus. Aber ehrlich gesagt einer der Skills, die ich im Alltag am häufigsten benutze. Weil er das erledigt, was ich am zuverlässigsten verschlampe: aus dem rohen Nachklang eines Termins alles rausziehen, was zählt, und an die richtige Stelle bringen.

Und weil es so gut zum roten Faden der Serie passt: Ich war im Meeting, ich trage die Absicht und die Erinnerung. Der Agent strukturiert, extrahiert und verteilt, und übersieht dabei nichts.

Der Schmerz: das Meeting endet, die Arbeit verdunstet

Das eigentliche Problem an Meetings ist nicht das Meeting. Es ist die halbe Stunde danach. Da entscheidet sich, ob aus einer Stunde Reden etwas Belastbares wird oder nur ein diffuses „wir hatten da was“.

Bei mir sah das früher so aus: ein paar Stichworte im Notizblock, ein Action Item im Kopf, eine Entscheidung, die ich mir „auf jeden Fall merke“. Zwei Tage später fehlt der Kontext, das Action Item ist zur vagen Ahnung geworden, und die Entscheidung taucht im nächsten Termin nochmal als offene Frage auf, weil niemand sie festgehalten hat.

Das Teure daran ist nicht der eine vergessene Punkt. Es ist das schleichende Misstrauen ins eigene System: Wenn ich nicht sicher bin, dass alles festgehalten wurde, muss ich alles im Kopf behalten. Und das skaliert nicht, wenn man an einem Dutzend Dinge gleichzeitig arbeitet.

Meeting-Nachbereitung mit KI: zwei Schritte, klar getrennt

Ich habe die Nachbereitung bewusst in zwei Schritte zerlegt: erst festhalten, dann verteilen. Das eine ist Gedächtnis, das andere ist Logistik, und sie sollten sich nicht vermischen.

Schritt 1 – festhalten (/meeting). Direkt nach dem Termin, solange alles noch frisch ist. Hier gibt es zwei Wege:

• Strukturiert: Der Skill legt eine Protokoll-Struktur an (Agenda, Besprochenes, Entscheidungen, offene Punkte, Ansprechpartner) und ich fülle sie aus. Gut für geplante Termine mit klarer Tagesordnung.
• Wall-of-text: Und das ist der Weg, den ich meistens nehme. Ich kippe einfach meinen rohen Gedankenstrom rein: „Wir haben über das Login-Problem gesprochen, Peter meinte das ist ein Blocker, Maria will erst den ADR fertig, entschieden haben wir dass ich bis nächste Woche einen Entwurf mache, und der Compliance-Termin kommt Anfang Juni.“ Der Skill macht daraus eine saubere Struktur (Datum, Thema, Teilnehmer, Entscheidungen, Action Items, neue Ansprechpartner) und zeigt sie mir zur Bestätigung, bevor irgendetwas gespeichert wird.

In der Praxis kombiniere ich beides, und das ist mein eigentlicher Trick: Während des Meetings mache ich mir stichpunktartig Notizen, knapp, unvollständig, nur damit die harten Fakten festliegen. Und am Ende, wenn der Termin gerade vorbei und alles noch präsent ist, rede ich einfach los und diktiere per Sprache einen kompletten Wall-of-text obendrauf, all die Zwischentöne, das Halbgare, den Kontext, den ich mir nie sauber mitschreiben würde. Beides zusammen, die kargen Notizen und der wirre gesprochene Nachklang, wandert in den Skill.

Und genau hier passiert das, was mich jedes Mal wieder umhaut: Aus diesem Durcheinander aus Stichpunkten und gesprochenem Gedankenstrom macht die KI eine saubere, geordnete Struktur. Was ich nie zusammenhängend aufgeschrieben hätte, steht plötzlich sortiert da: Entscheidungen getrennt von Aufgaben, Aufgaben getrennt von offenen Fragen. Diese Fähigkeit, unstrukturierte, wirre Daten zu organisieren, ist für mich der eigentliche Superkraft-Moment. Ich muss beim Reden nicht mehr strukturiert sein, das Strukturieren übernimmt der Agent.

Das Ergebnis ist ein Protokoll als Klartext-Markdown, markiert als noch nicht verarbeitet. Nichts ist bisher irgendwohin gewandert, es ist erst mal nur sauber festgehalten.

Und wenn etwas unklar ist, fragt der Skill nach

Ein Detail, das den Unterschied macht: Der Skill rät nicht. Wenn in meinem gesprochenen Gedankenstrom etwas mehrdeutig ist (wer war eigentlich „Maria“, welche Rolle hat sie, war der Compliance-Termin jetzt eine Entscheidung oder nur eine Erinnerung), dann fragt er zurück. Eine Frage nach der anderen, nicht als Fragebogen.

Das ist derselbe Mechanismus wie beim Interview aus Teil 3, nur in die andere Richtung: Statt aus einer Idee einen Draft zu machen, holt der Skill aus meinem wirren Nachklang die letzten Unklarheiten raus. Und diese Rückfragen helfen enorm, nicht, weil die KI dumm ist, sondern weil sie mich zwingt, die zwei, drei Stellen sauber zu klären, an denen ich selbst noch geschwommen bin. Am Ende ist das Protokoll nicht nur strukturiert, sondern auch eindeutig.

Schritt 2: verteilen – und da geht nichts verloren

Der zweite Schritt ist der, der mir den eigentlichen Frieden gibt: /meeting-process. Der Skill nimmt das fertige Protokoll und sortiert seinen Inhalt dahin, wo er hingehört – jeder Punkt an seinen Platz:

• Entscheidungen wandern ins Entscheidungs-Log des betroffenen Produkts. Das ist genau das „Warum haben wir das damals so beschlossen“, nach dem in sechs Monaten jemand sucht.
• Neue Ansprechpartner landen im Stakeholder-Verzeichnis, mit Rolle und dem Kontext, in dem sie aufgetaucht sind.
• Action Items werden zu konkreten Aufgaben-Vorschlägen: erledigen, recherchieren, informieren oder entscheiden.
• Wissens-Updates (eine neue Rahmenbedingung, ein geänderter Scope, eine frische NFR) gehen in die passende Wissensdatei.

Und der entscheidende Punkt: Nichts davon passiert stillschweigend. Der Skill schlägt jeden Eintrag vor und fragt einzeln nach. „Zwei Aufgaben aus dem Protokoll: ADR-Entwurf erstellen (du) und Compliance-Termin (alle informieren). Beide eintragen, nur die erste, oder anpassen?“ Ich bestätige, korrigiere oder streiche. Erst danach ist der Punkt wirklich im System, und das Protokoll wird als verarbeitet markiert.

Das ist der Moment, in dem aus „wir hatten da was“ ein belastbarer Stand wird. Und weil ich weiß, dass jeder Punkt durch diese Verteilung läuft, muss ich ihn nicht mehr im Kopf behalten.

Wo die Meeting-Nachbereitung in die Pipeline übergeht

Das Schöne ist, dass die Nachbereitung kein Sackgassen-Feature ist, sondern an die restliche Pipeline andockt. Ein Action Item aus einem Meeting ist oft der Anfang einer neuen Anforderung. Sobald aus „wir sollten X können“ ein echtes Vorhaben wird, geht es genau da weiter, wo das Interview aus Teil 3 beginntm, und läuft von dort durch das Multi-Agent-Review aus Teil 4 bis zur fertigen Story.

So schließt sich der Kreis: Das Meeting liefert den Rohstoff, die Nachbereitung sortiert ihn, und die Pipeline macht daraus geprüfte Anforderungen. Ich muss nur einmal ehrlich alles reinkippen, was mir vom Termin im Kopf geblieben ist, der Rest ist Bahnen, denen die Punkte folgen.

Es bleibt deins, der Mensch war im Raum

Auch hier gilt, was sich durch die ganze Serie zieht: Die KI ersetzt nicht das Zuhören im Meeting. Sie war nicht dabei, sie kennt die Zwischentöne nicht, und sie weiß nicht, welcher beiläufige Satz eigentlich die wichtigste Entscheidung des Tages war. Das weiß ich, ich war im Raum.

Der Agent nimmt mir nur den Teil ab, den ich ohnehin am schlechtesten mache: das disziplinierte, vollständige Festhalten und Verteilen danach. Er strukturiert meinen Gedankenstrom, findet die Aufgaben zwischen den Zeilen und trägt jeden Punkt an die richtige Stelle. Aber was eine Entscheidung war und was nur Geplauder, entscheide ich. Der Mensch besitzt die Absicht, der Agent besitzt die Prüfung, auch nach dem Meeting.

Was ich dabei gelernt habe

Die ehrlichste Erkenntnis: Der größte Gewinn ist nicht die gesparte Zeit, sondern das verschwundene schlechte Gewissen. Ich gehe heute aus einem Meeting und weiß, dass in fünf Minuten Nachbereitung wirklich alles gesichert ist: als Entscheidung, als Aufgabe, als Anforderung. Kein Punkt versickert mehr zwischen zwei Terminen.

Und genau das macht den Unterschied zwischen „ich habe viele Meetings“ und „meine Meetings führen zu etwas“. Wenn du die komplette Pipeline inklusive der Meeting-Skills selbst ausprobieren willst, findest du alles im Starter-Kit aus dem letzten Bonus-Teil.

Der Beitrag Meeting-Nachbereitung mit KI: kein Punkt geht mehr verloren erschien zuerst auf Das ist die Welt von Thomas.

Nach dem Testen verschiedener Spracherkennungssysteme wie Google und Azure, bin ich auf das Whisper Modell gestoßen. Whisper bietet eine beeindruckende Erkennungsqualität, unterstützt jedoch keine Streamingoptionen. Um dies zu umgehen, habe ich den Ansatz des Micro-Batchings verwendet.

Streaming vs. Micro-Batching

Streaming bedeutet, dass Daten kontinuierlich und sofort verarbeitet werden, sobald sie eintreffen. Dies ermöglicht Echtzeit-Ergebnisse. Im Gegensatz dazu sammelt Micro-Batching Daten in kleinen Paketen und verarbeitet sie in kurzen Abständen, was eine geringe Verzögerung zur Folge hat, aber nahe an Echtzeit herankommt.

Die Lösung: Micro-Batching

Beim Micro-Batching werden Audiodaten in kleinen Blöcken gesammelt und verarbeitet. So kann Whisper diese kleinen Datenpakete schnell verarbeiten, was das Gefühl einer Echtzeit-Erkennung vermittelt.

So habe ich es gemacht:

1. Daten sammeln: Eingehende Audiodaten werden in einem Puffer gespeichert.
2. Batches erstellen: Sobald genügend Daten gesammelt sind, wird ein Micro-Batch erstellt.
3. Whisper nutzen: Diese Micro-Batches werden an Whisper zur Erkennung gesendet.
4. Ergebnisse verarbeiten: Die erkannten Texte werden dann an das Conversational AI System weitergeleitet.

Streaming verarbeitet Daten kontinuierlich und sofort, sobald sie eintreffen, wodurch Ergebnisse in Echtzeit bereitgestellt werden. Micro-Batching sammelt Daten in sehr kleinen Paketen und verarbeitet sie in kurzen Abständen, was zu einer minimalen Verzögerung führt. Während Streaming echte Echtzeit-Verarbeitung bietet, kombiniert Micro-Batching die Vorteile der Batch-Verarbeitung mit nahezu Echtzeit-Leistung.

Herausforderungen und Ergebnisse

Obwohl die Erkennungsqualität von Whisper beeindruckend ist, gab es im vorproduktiven Testeinsatz Probleme. Whisper neigt dazu, viele Halluzinationen zu erzeugen und transkribiert oft Dinge, die nicht in den Sprachdaten vorhanden sind. Diese ungenauen und teilweise total falsche Transkriptionen machen den produktiven Einsatz schwierig.

Fazit

Die Integration von Whisper in unser System war eine wertvolle Erfahrung, trotz der Herausforderungen. Der Micro-Batching-Ansatz ermöglichte es, die hohe Erkennungsqualität von Whisper zu nutzen, aber die Halluzinationen sind ein großes Hindernis für den produktiven Einsatz. Daher suchen wir nun für jede Sprache individuelle Lösungen, beobachten jedoch die Entwicklungen rund um Whisper weiterhin aufmerksam.

Der Beitrag Whisper Streaming: Herausforderungen und Lösungen bei der Spracherkennung erschien zuerst auf Das ist die Welt von Thomas.

beruflicher Reset auf Raten

Schon in einigen Beiträgen hier habe ich über meinen beruflichen Reset gesprochen. Auf der Suche nach der persönlichen Zufriedenheit habe ich mich und meine Tätigkeit stark hinterfragt. Nach und nach wurden Dinge verändert mit dem Ziel wieder auf den richtigen Weg zu kommen. So richtig funktionieren wollte es jedoch nicht, meine persönliche Unzufriedenheit wuchs ständig weiter. Es war Zeit für einen „harten Reset“.

Wechsel der Perspektive

Mein persönlicher Anspruch die Welt im beruflichen Context per Voice zu verbessern ist aus meiner Sicht fehlgeschlagen. Die Gründe hierfür sind vielschichtig und müssen an dieser Stelle nicht näher ausgeführt werden. Für mich selbst steht jedoch fest, dass ich meinen eigenen Ansprüchen im Themenbereich Conversational.ai und der Umsetzung von Voicebots im aktuellen Konzernumfeld nicht gerecht werden kann.

Aus diesem Grund habe ich mich zu einem harten Schnitt entschieden und den Innovationsbereich, und somit auch mein ehemaliges Team, verlassen. Ich habe mir im Haus der DB eine neue Heimat gesucht bei welcher ich so gar nichts mit diesem Themenbereich zu tun habe und einen persönlichen Neustart wagen kann.

Ganz klar war für mich, dass ich bei dem Wechsel auch die Rolle es TecoLead für HMI abgeben werde. Ich bin sehr froh darüber dass Sascha Wolter diese Rolle nun übernommen hat. Mit seiner Leidenschaft zum Thema Mensch-Maschine Schnittstelle ist er genau der richtige für den Job. Ich bin großer Zuversicht, dass Sascha es schafft, das wichtige Thema HMI innerhalb der DB weiter nach vorne zu treiben.

In meinem neuen Team führe ich wieder den Job des Architekten aus. In meiner neuen Einheit, dem „House of Mobile“ innerhalb der DB-Systel trage ich nun dazu bei, die Welt auf technischer Sicht etwas schöner zu machen. Ich freue mich auf diese Herausforderung.

Das neue berufliche Umfeld beschäftigt sich im Kern mit der Umsetzung von Mobilen Anwendungen. Im ersten Schritt bin ich hier im Backend im Einsatz, werde mich aber nach und nach auch in Richtung Frontend bewegen. Ich bin gespannt wo die Reise hingeht, privat habe ich mich auf jeden Fall schonmal ein wenig mit den unterschiedlichen Frontend-Frameworks wie Flutter oder auch Angular und Co. auseinandergesetzt.

Voicebot und conversational.ai für mich am Ende?

Wer mich ein wenig kennt der weiß, dass ich mein privates Interesse im privaten Umfeld gerne vorantreibe. So auch im Bereich Conversational.ai. Laut meinem Git-Repo habe ich am 4. April 2020 den initialen Commit durchgeführt. Seitdem arbeite ich im Privaten kontinuierlich an meiner Idee einer Wartbaren, Skalierbaren und Providerunabhängigen Conversational.ai Plattform. In bisher 1.452 commits ist hierbei etwas entstanden auf was ich persönlich sehr stolz bin. Unter anderem bot die hier entstandene Lösung die Basis für die ersten Feldversuche im Forschungsprojekt SKILLED der TH-Köln …

Klar ist für mich, dass ich meine „neu gewonnene Leidenschaft“ weiterführen werde. Ich bin noch lange nicht am Ziel, dennoch kann man bereits im realen Leben Gespräche mit dieser Lösung führen. Die fachliche Modellierung der Prozesse erfolgt auf Basis von BPMN2.0 und wird direkt über die Camunda Process Engine ausgeführt.

Im Kern orchestriert die Plattform die besten Komponenten vom Markt, um für einen spezifischen Anwendungsfall das beste Ergebnis zu liefern. Beim Design der Lösung habe ich peinlich genau darauf geachtet Abhängigkeiten zu einem einzelnen Provider zu verhindern.

Ab sofort: Beruflich Vollgas im House of Mobile, Voicebots „als Hobby“

Ich hoffe, dass der nun doch recht hart durchgeführte Schnitt mich dazu bringt die gewünschte Zufriedenheit wieder zu finden.

Das Thema Voicebot / Voice-First spielt ab sofort in meinem beruflichen Context keine Rolle mehr. Wie jedoch schon angekündigt ist dieser interessante Bereich aus privater Sicht noch lange nicht vom Tisch …

Beruflich konzentriere ich mich nun voll auf meine neue Tätigkeit im „House of Mobile“ der DB Systel. Ich freue mich darauf viele neue Menschen kennen zu lernen und diverse Architekturansätze zu diskutieren. Es wird mit Sicherheit eine großartige Zeit und ich werde, erneut, viel lernen.

Der Beitrag beruflicher Vollreset – Voicebot / Conversational AI nur noch im „Privaten“ erschien zuerst auf Das ist die Welt von Thomas.

Künstliche Intelligenz im Alltag – unsere Vision

SEMMI selbst ist im Skydeck der DB Systel entstanden. Hier kam ein ehemaliger Kollege auf eine grandiose Idee. Wir wäre es wenn wir ein System zur Verfügung hätte welches Kunden in Ihrer Muttersprache beraten könnten. Neben dem Führen einer Konversation in unterschiedlichen Sprachen stand die emotionale Komponente mit im Focus. Es sollte nicht nur ein Chatbot entstehen, nein vielmehr ist der Anspruch eine natürlicher Kommunikation unter Einbeziehung der Emotionen abzubilden.

Heute sind wir so weit dass SEMMI in der Lage ist menschenähnliche Konversationen zu führen. Neben der Beantwortung einfacher Fragen wie die Suche nach dem Weg zu einem Ziel innerhalb eines Gebäudes können komplexere Dinge wie Reiseauskünfte gegeben werden. SEMMI behält sich während der Unterhaltung den Context und stellt, sofern notwendig, Rückfragen. Unsere KI stellt natürlich nur Rückfragen zu Themen, die auf Basis das bisherigen Gesprächsverlaufes nicht bereits bekannt sind.

auf dem Weg zum Alltagshelden

Noch ist es ein bisschen hin bis SEMMI uns im Alltag begegnen wird. Wir arbeiten allerdings unermüdlich daran dieses Zeil zu verwirklichen. Der Beitrag in der Europawoche 2021 zeigt ein Beispiel wo und wie wir SEMMI unter Umständen bald erleben dürfen.

Der Beitrag Künstliche Intelligenz im Alltag – SEMMI erschien zuerst auf Das ist die Welt von Thomas.

Warum ein Voicefile aufnehmen?

Zur Durchführung eines Benchmarks unterschiedlicher Speech to Text Anbieter ist eine breite Datenbasis wichtig. Zu diesem Zweck werden Aufnahmen von möglichst vielen Personen benötigt. Wichtig ist hierbei nun das nicht nur die Aufnahmen vorliegen, sondern klar ist, welche Datei welchen Text beinhaltet. Um nun nicht alle Dateien einzeln anhören zu müssen kam die Überlegung auf, dass es sinnvoll sein könnte, die zu sprechenden Texte vorzugeben.

Wie funktioniert das Voicefile aufnehmen?

Somit war die Idee zum WebVoiceRecorder geboren. Die Idee ist recht einfach:

• über einen Adminbereich können User angelegt werden
• jedem User kann eine Liste von zu sprechenden Texten zugeordnet werden
• nachdem ein User sich einloggt stimmt er den Datenschutzbestimmungen zu (Nutzung der Files)
• der Nutzer bekommt den zu sprechenden Text angezeigt
• die Aufzeichnung erfolgt direkt über den Browser
• das Voicefile wird auf dem Server abgelegt
• ein Export (ToDo) der gesprochenen Daten zum Label Studio unterstützt beim Labeln der Daten

öffentliches Projekt bei Github

Bei der Suche geeigneter JavaScript Libraries zur Aufzeichnung eines Mikrofon-Streams über den Browser bin ich auf recorder.js gestoßen. Dieses Plugin stellt die Kernfunktionalitäten meiner kleinen Anwendung bereit und ist unter der MIT-Lizenz veröffentlicht. Also entschloss ich mich dazu auch mein Script unter derselben Lizenz auf Github zu veröffentlichen:

Überschaubarer Aufwand – großer Nutzen

Mit der gesamten Implementierung dieser Funktion habe ich mich in Summe nur gerade mal knapp 2 Stunden beschäftigt. Der Aufwand war also in der Tat überschaubar. Normalerweise setze ich weniger auf PHP als Programmiersprache, für solch kleine Dinge schätze ich die Sprache jedoch sehr.

Im nächsten Schritt versuche ich das Script an das Label Studio anzubinden und die Daten vorgelabelt in die Überprüfung zu geben. Die Scripte für den STT-Benchmark werden dann auf dieser Datenbasis aufsetzen. Der eigentliche Benchmark der Anbieter ist dann im Grunde, rein technisch gesehen, nur noch Fleißarbeit.

OpenSource Projekt auf Github veröffentlicht

Wer Interesse an dem kleinen Script hat findet den gesamten Quelltext auf Github unter https://github.com/tschiffler/WebVoiceRecorder. Verbesserungsvorschläge und Erweiterungen werden natürlich gerne (am liebsten per Pull-Request) angenommen und mit integriert

Der Beitrag Voicefile aufnehmen per Browser – mit PHP und JavaScript erschien zuerst auf Das ist die Welt von Thomas.

Greentech Festival – was ist das?

Das Festival, welches erstmalig 2019 stattfand, wurde von Nico Rossberg gegründet. Das Festival für grüne Energie und nachhaltigen Lebensstil findet in diesem Jahr im Kraftwerk in Berlin statt. Die Kombination von Vor-Ort Events und Livestreams ermöglicht den Gästen in diesem Jahr auch von überall aus am Event teilnehmen zu können.

Die interaktive und zukunftsweisende Ausstellung vereint Aussteller aus den Bereichen Energie, Mobilität, Ernährung und Mode. Besucher können erleben wie eine grüne Zukunft aussehen kann und wie die einzelnen Aussteller hierzu beitragen können.

Weitere Informationen zum Festival selbst sind im Internet unter GreentechFestival.com verfügbar.

Was ist SEMMI?

SEMMI steht für „Sozio-Empathische Mensch-Maschine Interaktion“ und ist im Skydeck der DB Systel in Frankfurt entstanden. Das System basiert auf einer mehrsprachigen, skalierbaren und lernenden KI-Lösung welche dem „Best of Breed“ Konzept unterliegt. Die Conversational AI Lösung empfängt Nutzeranfragen auf natürlicher Sprache, analysiert, versteht und verarbeitet diese und gibt die dem Benutzer die passenden Antworten auf seine Fragen.

Neben dem bereits bekannten SEMMI Robot wurde mit dem SEMMI Avatar eine digitale und hoch skalierbare Lösung geschaffen. Das Einsatzgebiet des digitalen Avatars ist hierbei schier unendlich. Ob als reines Informationsmedium, Bedienoberfläche im Voice-First Ansatz für Ticketautomaten oder als Ergänzung zu bestehenden App-Angeboten, die Möglichkeiten sind schier unendlich.

Ich freue mich das SEMMI langsam erwachsen wird und zu einem einsatzfähigen Produkt gereift ist. Ich blicke sehr positiv auf die nächsten Monate und hoffe, dass SEMMI euch schon bald in den Bahnhöfen, Flughäfen oder auch auf Messen als Concierge begrüßen darf.

Das Greentech Festival in Berlin geht noch bis zum 18. September 2020. SEMMI freut sich darauf euch auf dem Stand der DB begrüßen zu dürfen.

Eindrücke vom Greentech Festival

Aus meiner Sicht ist das Greentech Festival gut organisiert. Das Konzept mit einer Vor-Ort Ausstellung und einer virtuellen Konferenz erscheint in der aktuellen Zeit eine optimale Lösung zu sein.

Der Beitrag Greentech Festival Berlin – mit SEMMI vor Ort erschien zuerst auf Das ist die Welt von Thomas.