Nach dem Testen verschiedener Spracherkennungssysteme wie Google und Azure, bin ich auf das Whisper Modell gestoßen. Whisper bietet eine beeindruckende Erkennungsqualität, unterstützt jedoch keine Streamingoptionen. Um dies zu umgehen, habe ich den Ansatz des Micro-Batchings verwendet.

Streaming vs. Micro-Batching

Streaming bedeutet, dass Daten kontinuierlich und sofort verarbeitet werden, sobald sie eintreffen. Dies ermöglicht Echtzeit-Ergebnisse. Im Gegensatz dazu sammelt Micro-Batching Daten in kleinen Paketen und verarbeitet sie in kurzen Abständen, was eine geringe Verzögerung zur Folge hat, aber nahe an Echtzeit herankommt.

Die Lösung: Micro-Batching

Beim Micro-Batching werden Audiodaten in kleinen Blöcken gesammelt und verarbeitet. So kann Whisper diese kleinen Datenpakete schnell verarbeiten, was das Gefühl einer Echtzeit-Erkennung vermittelt.

So habe ich es gemacht:

1. Daten sammeln: Eingehende Audiodaten werden in einem Puffer gespeichert.
2. Batches erstellen: Sobald genügend Daten gesammelt sind, wird ein Micro-Batch erstellt.
3. Whisper nutzen: Diese Micro-Batches werden an Whisper zur Erkennung gesendet.
4. Ergebnisse verarbeiten: Die erkannten Texte werden dann an das Conversational AI System weitergeleitet.

Streaming verarbeitet Daten kontinuierlich und sofort, sobald sie eintreffen, wodurch Ergebnisse in Echtzeit bereitgestellt werden. Micro-Batching sammelt Daten in sehr kleinen Paketen und verarbeitet sie in kurzen Abständen, was zu einer minimalen Verzögerung führt. Während Streaming echte Echtzeit-Verarbeitung bietet, kombiniert Micro-Batching die Vorteile der Batch-Verarbeitung mit nahezu Echtzeit-Leistung.

Herausforderungen und Ergebnisse

Obwohl die Erkennungsqualität von Whisper beeindruckend ist, gab es im vorproduktiven Testeinsatz Probleme. Whisper neigt dazu, viele Halluzinationen zu erzeugen und transkribiert oft Dinge, die nicht in den Sprachdaten vorhanden sind. Diese ungenauen und teilweise total falsche Transkriptionen machen den produktiven Einsatz schwierig.

Fazit

Die Integration von Whisper in unser System war eine wertvolle Erfahrung, trotz der Herausforderungen. Der Micro-Batching-Ansatz ermöglichte es, die hohe Erkennungsqualität von Whisper zu nutzen, aber die Halluzinationen sind ein großes Hindernis für den produktiven Einsatz. Daher suchen wir nun für jede Sprache individuelle Lösungen, beobachten jedoch die Entwicklungen rund um Whisper weiterhin aufmerksam.

Der Beitrag Whisper Streaming: Herausforderungen und Lösungen bei der Spracherkennung erschien zuerst auf Das ist die Welt von Thomas.

Da ich die NLU selbst für ein eigenes Projekt benötige habe ich mir die Mühe gemacht, selbige wieder zum Laufen zu bekommen. Die hierfür notwendigen Schritte sind in diesem Artikel dokumentiert.

Was ist das Fehlerbild?

Versucht man die SNIPS-NLU wie in der Dokumentation beschrieben zu installieren so kommt es zu einem SSL-Fehler. Der Fehler selbst tritt beim Versuch die Entitys für Deutsch herunterzuladen. Hierbei kommt die folgende Fehlermeldung:

requests.exceptions.SSLError: HTTPSConnectionPool(host='resources.snips.ai', port=443): Max retries exceeded with url: /nlu/gazetteer-entities/de/country/v0.2/latest (Caused b
y SSLError(CertificateError("hostname 'resources.snips.ai' doesn't match either of 'cloudfront.net', '*.cloudfront.net'",),))

Die Fehlermeldung ist recht eindeutig und sagt aus, dass das SSL-Zertifikat für die Domain resources.snips.ai quasi abgelaufen ist und aus diesem Grund der SSL-Check fehlschlägt. Der Download der System-Entities ist somit leider nicht möglich.

utils.py bearbeiten und SSL-Check deaktivieren

Nachdem meine Versuche fehlschlugen den SSL-Check auf Betriebssystemebene zu deaktivieren blieb mir nur ein Blick in den Quellcode. Die SNIPS NLU lädt über die Datei utils.py über eine Methode ‚get_json‘ das Json-File vom Remote Server. Hierbei wird die requests.get Methode genutzt. Über die zusätzliche Angabe des Parameters ‚verify=False‘ kann die SSL-Zertifikatsprüfung deaktiviert werden.

def get_json(url, desc):
    r = requests.get(url)
    if r.status_code != 200:
        raise OSError("%s: Received status code %s when fetching the resource"
                      % (desc, r.status_code))
    return r.json()

def get_json(url, desc):
    r = requests.get(url, verify=False)
    if r.status_code != 200:
        raise OSError("%s: Received status code %s when fetching the resource"
                      % (desc, r.status_code))
    return r.json()

Docker-Image bauen und Files ersetzen

Nachdem nun die entsprechenden Anpassungen im Code erfolgt sind muss noch der passende Docker-Container gebaut werden. Hier mein Docker-File:

FROM python:3.6-slim-stretch

#set TimeZone
ENV TZ="Europe/Berlin"

#setup Snips
RUN pip install urllib3==1.26.6
RUN pip install snips-nlu

#Download Languages
RUN python -m snips_nlu download-all-languages

#Copy Files for Snips
COPY files/cli/utils.py /usr/local/lib/python3.6/site-packages/snips_nlu/cli/utils.py

#Prepare for Downloading languages
RUN pip config set global.trusted-host "resources.snips.ai" --trusted-host=https://resources.snips.ai/

#Download entites
RUN python -m snips_nlu download-language-entities de
RUN python -m snips_nlu download-language-entities en

#setup Endpoints
RUN pip install fastapi
RUN pip install uvicorn

SNIPS NLU Code auf Gihub veröffentlicht

Sowohl der Code der angepassten utils.py als auch des Dockerfiles wurden auf Github.com veröffentlicht:

• utils.py
• Dockerfile
• Gesamtprojekt

Erweiterung im Webservice

Im Dockerfile selbst wird von mir noch die fastapi mit installiert. Dies hat den Hintergrund dass ich mir einen eigenen kleinen Restservice mit Python geschrieben habe, welcher mit die Snips-Funktionalitäten per Rest bereit stellt. So kann die NLU bequem in bestehende Prozesse integriert werden.

Sollte jemand Interesse an diesem Service haben so gebt mir kurz bescheid und ich veröffentlichte den aktuellen Code. Dieser ist aktuell noch in Arbeit, so dass eine Veröffentlichung aktuell noch wenig Sinn ergibt

Der Beitrag Dockerfile für SNIPS NLU – Fix für SSLError / CertificateError erschien zuerst auf Das ist die Welt von Thomas.

beruflicher Reset auf Raten

Schon in einigen Beiträgen hier habe ich über meinen beruflichen Reset gesprochen. Auf der Suche nach der persönlichen Zufriedenheit habe ich mich und meine Tätigkeit stark hinterfragt. Nach und nach wurden Dinge verändert mit dem Ziel wieder auf den richtigen Weg zu kommen. So richtig funktionieren wollte es jedoch nicht, meine persönliche Unzufriedenheit wuchs ständig weiter. Es war Zeit für einen „harten Reset“.

Wechsel der Perspektive

Mein persönlicher Anspruch die Welt im beruflichen Context per Voice zu verbessern ist aus meiner Sicht fehlgeschlagen. Die Gründe hierfür sind vielschichtig und müssen an dieser Stelle nicht näher ausgeführt werden. Für mich selbst steht jedoch fest, dass ich meinen eigenen Ansprüchen im Themenbereich Conversational.ai und der Umsetzung von Voicebots im aktuellen Konzernumfeld nicht gerecht werden kann.

Aus diesem Grund habe ich mich zu einem harten Schnitt entschieden und den Innovationsbereich, und somit auch mein ehemaliges Team, verlassen. Ich habe mir im Haus der DB eine neue Heimat gesucht bei welcher ich so gar nichts mit diesem Themenbereich zu tun habe und einen persönlichen Neustart wagen kann.

Ganz klar war für mich, dass ich bei dem Wechsel auch die Rolle es TecoLead für HMI abgeben werde. Ich bin sehr froh darüber dass Sascha Wolter diese Rolle nun übernommen hat. Mit seiner Leidenschaft zum Thema Mensch-Maschine Schnittstelle ist er genau der richtige für den Job. Ich bin großer Zuversicht, dass Sascha es schafft, das wichtige Thema HMI innerhalb der DB weiter nach vorne zu treiben.

In meinem neuen Team führe ich wieder den Job des Architekten aus. In meiner neuen Einheit, dem „House of Mobile“ innerhalb der DB-Systel trage ich nun dazu bei, die Welt auf technischer Sicht etwas schöner zu machen. Ich freue mich auf diese Herausforderung.

Das neue berufliche Umfeld beschäftigt sich im Kern mit der Umsetzung von Mobilen Anwendungen. Im ersten Schritt bin ich hier im Backend im Einsatz, werde mich aber nach und nach auch in Richtung Frontend bewegen. Ich bin gespannt wo die Reise hingeht, privat habe ich mich auf jeden Fall schonmal ein wenig mit den unterschiedlichen Frontend-Frameworks wie Flutter oder auch Angular und Co. auseinandergesetzt.

Voicebot und conversational.ai für mich am Ende?

Wer mich ein wenig kennt der weiß, dass ich mein privates Interesse im privaten Umfeld gerne vorantreibe. So auch im Bereich Conversational.ai. Laut meinem Git-Repo habe ich am 4. April 2020 den initialen Commit durchgeführt. Seitdem arbeite ich im Privaten kontinuierlich an meiner Idee einer Wartbaren, Skalierbaren und Providerunabhängigen Conversational.ai Plattform. In bisher 1.452 commits ist hierbei etwas entstanden auf was ich persönlich sehr stolz bin. Unter anderem bot die hier entstandene Lösung die Basis für die ersten Feldversuche im Forschungsprojekt SKILLED der TH-Köln …

Klar ist für mich, dass ich meine „neu gewonnene Leidenschaft“ weiterführen werde. Ich bin noch lange nicht am Ziel, dennoch kann man bereits im realen Leben Gespräche mit dieser Lösung führen. Die fachliche Modellierung der Prozesse erfolgt auf Basis von BPMN2.0 und wird direkt über die Camunda Process Engine ausgeführt.

Im Kern orchestriert die Plattform die besten Komponenten vom Markt, um für einen spezifischen Anwendungsfall das beste Ergebnis zu liefern. Beim Design der Lösung habe ich peinlich genau darauf geachtet Abhängigkeiten zu einem einzelnen Provider zu verhindern.

Ab sofort: Beruflich Vollgas im House of Mobile, Voicebots „als Hobby“

Ich hoffe, dass der nun doch recht hart durchgeführte Schnitt mich dazu bringt die gewünschte Zufriedenheit wieder zu finden.

Das Thema Voicebot / Voice-First spielt ab sofort in meinem beruflichen Context keine Rolle mehr. Wie jedoch schon angekündigt ist dieser interessante Bereich aus privater Sicht noch lange nicht vom Tisch …

Beruflich konzentriere ich mich nun voll auf meine neue Tätigkeit im „House of Mobile“ der DB Systel. Ich freue mich darauf viele neue Menschen kennen zu lernen und diverse Architekturansätze zu diskutieren. Es wird mit Sicherheit eine großartige Zeit und ich werde, erneut, viel lernen.

Der Beitrag beruflicher Vollreset – Voicebot / Conversational AI nur noch im „Privaten“ erschien zuerst auf Das ist die Welt von Thomas.

Künstliche Intelligenz im Alltag – unsere Vision

SEMMI selbst ist im Skydeck der DB Systel entstanden. Hier kam ein ehemaliger Kollege auf eine grandiose Idee. Wir wäre es wenn wir ein System zur Verfügung hätte welches Kunden in Ihrer Muttersprache beraten könnten. Neben dem Führen einer Konversation in unterschiedlichen Sprachen stand die emotionale Komponente mit im Focus. Es sollte nicht nur ein Chatbot entstehen, nein vielmehr ist der Anspruch eine natürlicher Kommunikation unter Einbeziehung der Emotionen abzubilden.

Heute sind wir so weit dass SEMMI in der Lage ist menschenähnliche Konversationen zu führen. Neben der Beantwortung einfacher Fragen wie die Suche nach dem Weg zu einem Ziel innerhalb eines Gebäudes können komplexere Dinge wie Reiseauskünfte gegeben werden. SEMMI behält sich während der Unterhaltung den Context und stellt, sofern notwendig, Rückfragen. Unsere KI stellt natürlich nur Rückfragen zu Themen, die auf Basis das bisherigen Gesprächsverlaufes nicht bereits bekannt sind.

auf dem Weg zum Alltagshelden

Noch ist es ein bisschen hin bis SEMMI uns im Alltag begegnen wird. Wir arbeiten allerdings unermüdlich daran dieses Zeil zu verwirklichen. Der Beitrag in der Europawoche 2021 zeigt ein Beispiel wo und wie wir SEMMI unter Umständen bald erleben dürfen.

Der Beitrag Künstliche Intelligenz im Alltag – SEMMI erschien zuerst auf Das ist die Welt von Thomas.