Warum dieses Script?

Wie bereits aus anderen Beiträgen hier bekannt bin ich ein Freund des papierlosen Büros. Aus diesem Grund setze ich bei mir auf das DMS-System ecoDMS. Dies funktioniert auch wunderbar mit einer Ausnahme. EcoDMS bietet keinen Import von Mails an was für mich eine mittlere Katastrophe darstellt. Die meisten Rechnungen kommen inzwischen digital per PDF in meinen Posteingang. Diese möchte ich gerne an eine definierte E-Mail Adresse weiterleiten so dass der Import ins DMS automatisch erfolgen kann.

Wie funktioniert das Python 3 Script zum Downloaden von PDF-Anhängen?

Das Script selbst ist recht einfach. Es verbindet sich über die Python IMAP Library zu dem definierten Postfach. Dort wird in allen Mails geprüft, ob PDF-Anhänge vorliegen. Falls das der Fall ist wird der Anhang in das Zielverzeichnis von ecoDMS heruntergeladen. Anschliessend wird die Mail gelöscht.

In meinem Fall wird das Script mehrmals täglich über einen Cronjob ausgeführt. Die definierte Postfach-Adresse ist nur mir bekannt so kann ich Mails, welche einen Anhang beinhalten der ins DMS muss einfach dort hin weiterleiten.

E-Mail Anhänge nach ecoDMS importieren – das Script

Bevor das Script funktioniert muss noch die benötige Python-Library installiert werden. Dies erfolgt über den folgenden Befehl:

pip3 install imbox # alternativ auch pip install imbox

Anschliessen müssen noch die Parameter für den Hostname, Username und Passwort für das definierte Postfach hinterlegt werden. Schon kann das Script ausgeführt werden und tut was es soll (hoffentlich zumidnest).

#!/usr/bin/env python
"""
importDmsMailsPy3.py

Check emails at :const:`PROVIDER` for attachments and save them to
:const:`SAVEDIR`.
"""
import os
from imbox import Imbox #pip3 install imbox
import traceback

PROVIDER = 'XXXX'
USER = 'XXXX'
PASSWORD = 'XXXX'

SAVE_DIR = '/opt/ecodms/workdir/scaninput/'

def getNotExistingFileName(saveDir, srcFileName):
    counter = 1
    if (srcFileName.endswith("pdf?=")):
        srcFileName = "scanbymail.pdf"
    while (True):
        currentName = srcFileName
        if (counter > 1):
            currentName = str(counter) + "_" + srcFileName
        if (os.path.isfile(saveDir + currentName)):
            counter = counter + 1
        else:
            return currentName

def save_attachment(attachment):
    attachmentFileName = attachment.get('filename')
    print('Handle Attachment {0!r}.'.format(attachmentFileName))
    if attachmentFileName.endswith(("pdf", "PDF", "Pdf", "PDf", "pDF", "pdF", "PdF", "pdf?=")):
        targetName = attachmentFileName.replace("/", "_")
        targetName = getNotExistingFileName(SAVE_DIR, targetName)
        download_path = f"{SAVE_DIR}/{targetName}"
        with open(download_path, "wb") as download:
            download.write(attachment.get('content').read())
            print('Found and saved attachment {0!r}.'.format(targetName))

def main():
    try:
        mailBox = Imbox (PROVIDER, username=USER, password=PASSWORD, ssl=True, ssl_context=None, starttls=False)
        mailBoxContent = mailBox.messages()

        for (mailId, mail) in mailBoxContent:
            mailBox.mark_seen(mailId)

            for idx, attachment in enumerate(mail.attachments):
                try:
                    save_attachment(attachment)
                except:
                    print(traceback.print_exc())

            mailBox.delete(mailId)
    finally:
        mailBox.logout()

if __name__ == '__main__':
    main()

Anbei das Script noch als Download:

Vorsicht

Das Script löscht bei jedem Lauf ALLE Mails in dem Postfach. Bei der Verwendung bitte auf jeden Fall darauf achten, dass für den Import ein eigenes Postfach definiert ist in welchem nur die Mails vorliegen, welche ins DMS übergeben werden sollen.

Wer möchte kann das Script natürlich gerne verwenden und auf seine Bedürfnisse anpassen. Natürlich übernehme ich keine Garantie für die Funktion des Scriptes, die Verwendung erfolgt auf eigene Gefahr

Der Beitrag E-Mail Anhänge nach ecoDMS importieren – mit Python 3 erschien zuerst auf Das ist die Welt von Thomas.

Fakt ist, dass der aktuell eingesetzte Server nun schon über 4 Jahre alt ist und so langsam an seine Leistungsgrenzen kommt. Diverse Docker-Container treiben das aktuelle System, sowohl im Bereich der CPU also auch des Speichers in den Wahnsinn. Zusätzlich habe ich ein neues Projekt in Planung bei welchem diverse weitere Container zum Leben erweckt werden sollen – es muss also was neues her.

Was soll der neue Homeserver tun?

Die zentrale Aufgabe des Homeservers liegt im Betrieb von diversen Docker-Containern und einer eigenen Docker-Registry. Jeder Container für sich hat seine eigenen klar definierten Aufgaben und stellt die unterschiedlichsten Dienste bereit. In der Hauptsache sollen die folgenden Container betrieben werden:

Schnell ist klar dass der neue Server einiges zu tun hat. Zwar liegen viele der Container oft nur „herum“ und langweilen sich zur Tode, dennoch ist der Speicherbedarf und die Anzahl der parallel laufenden Prozesse nicht zu vernachlässigen.

Wahl der Komponenten – CPU First

Anhand der Anforderungen möglichst viele Prozesse parallel laufen zu lassen war für mich schnell klar, dass die CPU möglichst viele Kerne haben sollte. Nach diversen Vergleichen viel die Wahl auf den AMD Ryzen 9 3900X*, welcher mit seinen 12 Prozessorkernen und 4,6 GHz genügend Power bereithalten sollte. Als Mainboard habe ich mich für das Gigabyte B450M-DS3H* entschieden welches durch seine Bauform schön klein ist aber dennoch für meinen Bedarf genügend Schnittstellen liefert.

Abgerundet wird das ganze durch 128 GB der HyperX FURY 3200 MHz DDR4* untergebracht in einem kleinen mit 3 zusätzlichen Lüftern versehenen ATX Desktopgehäuse von SilverStone*.

Dazu kommt nun noch ein wenig „Kleinkram“ wie eine SSD Festplatte, Netzteil, Grafikkarte oder noch Kabel so dass die Summe der Anschaffungen für den neuen Homeserver an der Grenze zu 1.000 EUR schrammte.

Der Aufbau

Wer mich kennt der weiß, dass ich das Schrauben am Computer definitiv nicht zu meinen Lieblingsaufgaben zähle. Dennoch freute ich mich irgendwie darauf meinen neuen Sklaven zusammen zu schrauben und in Betrieb zu nehmen. Zu meiner großen Freude passte alles direkt ohne Probleme zusammen und keines der gelieferten Bauteile war defekt. Somit war der Zusammenbau der Komponenten recht schnell erledigt und das Betriebssystem konnte nach rund 2 Stunden installiert werden.

Als Betriebssystem habe ich mich, wie fast schon gewohnt, für Debian entschieden.

Erfahrungen nach den ersten Tagen im Betrieb

Mein neuer Homeserver läuft sehr verlässlich und ist absolut mega schnell. Die CPU-Temperatur beträgt recht konstante 37 Grad, der Speicherverbrauch liegt im Maximum aktuell ca. bei 50% und der Serverload übersteigt nur beim Trainieren von Rasa NLU Modellen einmal die 4.

Auch die Geräuschentwicklung ist, trotz der 3 Gehäuselüfter, echt entspannt. Ich bin sehr zufrieden mit der neuen Hardware und hoffe, dass diese lange ihren Dienst verrichtet

Der Beitrag Neuer Homeserver – Ryzen 9 3900X mit 128GB erschien zuerst auf Das ist die Welt von Thomas.

Archivierung von Rechnungen aus E-Mails

Egal wo man heute etwas bestellt, meist kommen die Rechnungen in elektronischer Form. Doch wie kann ich diese Rechnungen nun am Einfachsten in meinem DMS-System archivieren? Eigentlich ging ich davon aus dass ein System wie z.B. ecoDMS ein solches E-Mail Gateway automatisiert mitliefert, leider war dies jedoch nicht der Fall.

Somit musste eine eigene Lösung her. Kein Problem, ein kleines Script sollte das Problem schnell Lösen. Die Grundidee: Ich erzeuge mir ein Mailpostfach an welches ich alle E-Mails, deren PDF-Anhänge archiviert werden sollen weiterleite. Dieses Postfach wird von einem Cronjob abgeholt, die PDF-Anhänge aus den Mails heruntergeladen und in den Übergabeordner von ecoDMS gelegt.

Nach einigen Versuchen ist das folgende Python-Script entstanden welches bei mir nun schon seit über 2 Jahren produktiv im Einsatz ist und stabil seinen Dienst verrichtet.

E-Mail PDF-Anhang speichern – Python-Script

#!/usr/bin/env python
"""
importDmsMails.py

Check emails at :const:`PROVIDER` for attachments and save them to
:const:`SAVEDIR`.
"""
from __future__ import absolute_import, division, print_function
import email
import os
import poplib

PROVIDER = 'XXXX'
USER = 'XXXX'
PASSWORD = 'XXXX'

SAVE_DIR = '/opt/ecodms/workdir/scaninput/'

def getNotExistingFileName(saveDir, srcFileName):
    counter = 1
    if (srcFileName.endswith("pdf?=")):
        srcFileName = "scanbymail.pdf"
    while (True):
        currentName = srcFileName
        if (counter > 1):
            currentName = str(counter) + "_" + srcFileName
        if (os.path.isfile(saveDir + currentName)):
            counter = counter + 1
        else:
            return currentName

def save_attachments(mail_string):
    attachments = list()
    for part in email.message_from_string(mail_string).walk():
        name = part.get_filename()
        if name:
            print('Handle Attachment {0!r}.'.format(name))
            if name.lower().endswith(("pdf", "pdf?=")):
                data = part.get_payload(decode=True)
                name = name.replace("/", "_")
                targetFileName = getNotExistingFileName(SAVE_DIR, name)
                f = file(os.path.join(SAVE_DIR, targetFileName), 'wb')
                f.write(data)
                f.close()
                print('Found and saved attachment {0!r}.'.format(targetFileName))

def main():
    try:
        client = poplib.POP3_SSL(PROVIDER)
        client.user(USER)
        client.pass_(PASSWORD)
        message_numbers = (int(s.split()[0]) for s in client.list()[1])
        for message_number in message_numbers:
            save_attachments('\n'.join(client.retr(message_number)[1]))
            client.dele(message_number)
    finally:
        client.quit()


if __name__ == '__main__':
    main()

Was genau tut das Script?

Das hier aufgeführte Python-Script wird bei mir regelmäßig durch einen Cronjob ausgeführt. Das Script verbindet sich zu meinem Mailserver und lädt sich alle Mails herunter. Hängt an einer Mail ein PDF-Anhang so wird dieser Anhang im Eingangsverzeichnis von ecoDMS gesichert. Bei der Speicherung der Datei prüft das Script ob hier bereits eine Datei mit gleichem Namen vorliegt. Ist dies der Fall so wird der Dateiname durch einen Zähler erweitert so dass keine bereits existierende Datei überschrieben wird.

Wer möchte kann das Script natürlich gerne verwenden und auf seine Bedürfnisse anpassen. Natürlich übernehme ich keine Garantie für die Funktion des Scriptes, die Verwendung erfolgt auf eigene Gefahr

Update – 11. Juni 2021

Ich habe gestern eine Mail erhalten welche mich auf ein Problem hinwies. Thomas erhielt beim Ausführen des Scriptes den folgenden Fehler:

python3 importDmsMails.py
Traceback (most recent call last):

  File "importDmsMails.py", line 61, in <module>

    main()

  File "importDmsMails.py", line 54, in main

    save_attachments('\n'.join(client.retr(message_number)[1]))

TypeError: sequence item 0: expected str instance, bytes found

Bei der Analyse der Meldung stellte sich heraus, dass ich eine andere Python-Version als Thomas verwende. Bei mir läuft Python in der Version 2.7.10, bei ihm auf Python 3.

Ich habe für dieses Problem eine neue Version des Scriptes bereit gestellt. Mehr dazu findet Ihr hier:
E-Mail Anhänge nach ecoDMS importieren – mit Python 3

Der Beitrag E-Mail PDF-Anhang speichern – Python-Script für ecoDMS Übergabe erschien zuerst auf Das ist die Welt von Thomas.

Warum ist das Backup so wichtig?

Wer sich selbst dazu entschließt zuhause auf ein papierloses Büro umzusteigen macht sich ein Stück weit von der Technik abhängig. Alle Dokumente welche archivierungswürdig sind werden, wenn man es konsequent macht, eingescannt und dann vernichtet. Die digitale Papierablage hat einige Vorteile, allerdings eben auch den gravierenden Nachteil dass ein Festplattencrash alle Daten vernichten kann.

Aus diesem Grund muss ein gutes Backupkonzept her welches dafür sorgt, dass die Daten auch im Fall eines Festplattencrashs oder eines Einbruchs mit dem Diebstahl eines Computers (auch wenn das eher unwahrscheinlich ist) noch vorliegen.

Empfehlung: Datensicherung extern sichern

Immer wieder, wenn ich mich mit Bekannten zum Thema der Datensicherung unterhalte stellen sich mir die Nackenhaare auf. Was bringt ein Backup wenn selbiges auf dem gleichen Computer oder sogar noch auf der gleichen Festplatte liegt? Da gibt es Selbstständige Unternehmer welche Ihre Datensicherung „ab und zu“ einmal erledigen und die USB-Festplatte dann angeschlossen am Rechner lassen.

Aus meiner Sicht muss eine Datensicherung nicht nur den zu sichernden Rechner sondern im Idealfall auch noch das Gebäude in welchem die zu sichernden Rechner sich befinden verlassen. Nur so lassen sich die Daten auch z.B. nach einem Einbruch oder einem Brand wieder herstellen.

In meinem Fall erzeuge ich im ersten Schritt das Backup auf einem im internen Netzwerk befindlichen NAS-System. Die Festplatten im NAS-System sind gespiegelt so dass, falls eine ausfällt, die Daten noch immer verfügbar sind.

Das NAS-System steht im gleichen Schrank wie auch der ecoDMS Server. Aus diesem Grund sichere ich das ecoDMS Backup noch auf einen extra angemieteten Cloudspeicher im Internet. Natürlich ist das Backup, welches auf den Cloudspeicher übertragen wird, verschlüsselt so dass der unberechtigte Zugriff erschwert wird. Diesen Teil der Datensicherung führe ich übrigens per rsync und curlftpfs aus – siehe Blogpost.

ecoDMS Backup – Datensicherung eigentlich ganz einfach

Bei mir selbst läuft das ecoDMS-System auf einem Server (welcher hier eh schon im 7×24 Betrieb läuft) mit. Dieser Server läuft mit Ubuntu, ich habe die Pfade bei der Installation von ecoDMS auf den Standard-Pfaden belassen.

ecoDMS liefert bereits von Hause aus ein gutes und lauffähiges Commandshell-Script für das Backup mit. Das Script ist recht einfach aufgebaut und muss nur über die Shell aufgerufen werden. Als Parameter übergeben wir das Verzeichnis in welches das Backup gesichert werden soll.

In meinem Fall habe ich unter /srv/datashare/serversicherung ein Verzeichnis auf meinem NAS-System gemountet. Das Backup selbst soll im Unterverzeichnis ecoDMS abgelegt werden. Um das Script nun auszuführen genügend die folgenden Schritte:

cd /opt/ecodms/ecodmsserver/tools
./ecoDMSBackupConsole /srv/datashare/serversicherung/ecodms

Das Script selbst läuft einen ganzen Moment und sichert alle notwendigen Daten. Dazu gehören nicht nur die indizierten PDF-Dokumente sondern natürlich auch die gesamte Datenbank sowie alle Dokumente welche bereits übergeben aber noch nicht indiziert werden konnten. Gut finde ich dass hier jedes mal ein vollständiges Backup gezogen wird und ich somit für jeden Lauf eine vollständige Datensicherung vorliegen habe.

Datensicherung auf externe Rechner spiegeln

Nun liegt also das ecoDMS Backup auf dem internen NAS herum. Das ist für den ersten Schritt schonmal schön, doch was passiert wenn es bei mir zuhause brennt oder jemand bricht ein und räumt den Serverschrank aus. Ich gebe zu, beides ist nicht zwingend wahrscheinlich aber ausschließen kann ich dieses Szenario nicht. Also sichere ich die Daten noch auf einen externen Datenspeicher im Internet.

Bei diesem Schritt ist darauf zu achten dass der genutzte Speicher möglichst vertrauenswürdig ist. Ich persönlich setze hier lieber auf einen der großen Player im Markt und habe mir hier einen Cloudspeicher angemietet. Natürlich verschlüssele ich meine Datensicherung vor der Übertragung in die Cloud noch … aber da sollte wohl jedem klar sein

Die Übertragung in die Cloud führe ich über rsync aus. Weitere Details hierzu sind in dem schon existierenden Blogbeitrag zu finden: Verzeichnis von Server per rsync spiegeln.

Der Beitrag ecoDMS Backup – automatische Datensicherung im Serverbetrieb erschien zuerst auf Das ist die Welt von Thomas.

Viele werden sich jetzt Fragen ob ich noch alle Latten am Zaun habe. Ist dieser Aufwand überhaupt gerechtfertig und wie soll das funktionieren? Wie reagiert wohl die Frau auf sowas? Wie läuft das im täglichen Leben ab?
Auf genau diese Fragen möchte ich hier die Antworten geben.

papierloses Büro mit oder ohne DMS?

Wie ich bereits eingangs erwähnte bin ich faul, wenn es um das Thema Suchen von Unterlagen geht. Ich möchte es in erster Linie einfach haben. Aus diesem Grund war es für mich ganz logisch dass ich mir ein DMS-System ansehe um meine Dokumente später auch wieder finden zu können. Hierbei standen die folgenden Anforderungen für mich im Mittelpunkt:

• Indizierung von Dokumenten
• Volltextsuche über alle Dokumente
• Kategorisierung / Verschlagwortung
• Revisionssichere Archivierung
• Datensicherung

Nach ein wenig Internetrecherche bin ich auf einige Systeme gestoßen, welche meine Anforderungen erfüllten. Ich habe mich dann schließlich für ecoDMS entschieden.

nächste Frage: welche Hardware?

Nachdem klar war das mein papierloses Büro durch ein DMS-System unterstützt werden sollte stellte sich die Frage nach der Hardware. Benötigt wird:

• ein Rechner auf welchem das DMS-System läuft
• ein Scanner (im Idealfall Duplex) um die Dokumente zu scannen

Glücklicherweise läuft hier zuhause bereits ein Rechner als Server im 7×24 Betrieb so dass hierfür nichts neues angeschafft werden musste. Beim Scanner wurde das Ganze dann schon schwieriger.

Ich habe mich hierbei für den Brother ADS 1600 W* entschieden. Ein kleiner Duplexscanner welcher ohne Schnick-Schnack daherkommt. Stromverbindung herstellen, Wlan einrichten und los gehts.

Jetzt auf Amazon ansehen *

Wie funktioniert das mit dem papierlosen Büro nun?

Im Grund ist der Prozess recht einfach. Wenn ein Brief (oder eine Mail mit einem Dokument) rein kommt wird das Dokument gelesen. Hier wird entschieden ob es ein Dokument, ist welches aufgehoben werden muss oder nicht. Wenn ich der Meinung bin, dass ich das Dokument ggf. irgendwann nochmal benötigen kann wird es archiviert. Nun scanne ich es mit dem Scanner ein und übertrage es an das DMS. Hier wird das Dokument nun kategorisiert und verschlagwortet so dass ich es später wiederfinde, das Original Dokument wird gelöscht.

Wenn ich nun ein Dokument wieder suche logge ich mich einfach über den Browser in dem DMS-System ein. Nun kann ich entweder über Kategorien, Schlagworte oder auch einen Freitext die Dokumente durchsuchen. Das DMS-System durchsucht die gesamte Datenbank nach den Dokumenten und zeigt mir das an was dazu passt.

papierloses Büro nach 4 Jahren

Nach etwas mehr als 4 Jahren geht es mir mit dem System sehr gut. Das regelmäßige Einscannen und Verschlagworten der Dokumente kostet zwar ein wenig Zeit, spart aber im Endeffekt mächtig der selbigen, wenn man etwas sucht. Musste ich früher nachdenken in welchen Hängeregistern oder welchen Ordnern ein Dokument zu finden ist öffne ich heute die Anwendung und suche eben.

Inzwischen sind knapp 18.000 Dokumente im DMS-System hinterlegt, nicht auszumalen was hier an Ordnern im Schrank stehen würden um diese ganzen Papiere vorhalten zu können. Die Suche ist mega schnell und echt einfach. So einfach, dass sogar meine Frau das DMS hin und wieder mal nutzt um etwas zu suchen.

Inzwischen wurde das Büro um einen 2ten Duplexscanner erweitert. Der kleine steht oben im Schrank und kann direkt beim Posteingang genutzt werden. Zusätzlich habe ich mir im Büro einen HP Laserjet Pro MFP M426fdw* gegönnt welcher nicht nur in Duplex Scannen sondern auch drucken kann. Durch den grossen Papiereinzug ist dieser Scanner auch für grössere Papiermengen / Dokumente ideal.

Jetzt auf Amazon ansehen *

Ich würde jedem dazu raten sich das Thema des papierlosen Büros für zuhause mal anzusehen. In Verbindung mit einem DMS ist das ganze echt ein Kinderspiel und das von mir verwendete ecoDMS System nicht nur einfach zu bedienen, sondern auch kostengünstig.

unbedingt beachten: Datensicherung

Wer sich mit der Umstellung auf ein DMS-System beschäftigt sollte das Thema der Datensicherung direkt mit bedenken. Bei mir läuft das System im 7×24 Betrieb und hatte bisher keinen einzigen ungeplanten Ausfall. Ein Datenverlust ist mir bisher ebenso wenig aufgefallen. Dennoch ist das Thema der Datensicherung essenziell, wenn man sich vom Papier trennt. Nicht auszudenken was passiert, wenn alle Dokumente plötzlich weg sind.

Ich werde mein Datensicherungskonzept auch hier veröffentlichen, vielleicht hilft das ja dem ein oder anderen

Der Beitrag papierloses Büro für Zuhause – mit ecoDMS ein Kinderspiel erschien zuerst auf Das ist die Welt von Thomas.