Warum dieses Script?

Wie bereits aus anderen Beiträgen hier bekannt bin ich ein Freund des papierlosen Büros. Aus diesem Grund setze ich bei mir auf das DMS-System ecoDMS. Dies funktioniert auch wunderbar mit einer Ausnahme. EcoDMS bietet keinen Import von Mails an was für mich eine mittlere Katastrophe darstellt. Die meisten Rechnungen kommen inzwischen digital per PDF in meinen Posteingang. Diese möchte ich gerne an eine definierte E-Mail Adresse weiterleiten so dass der Import ins DMS automatisch erfolgen kann.

Wie funktioniert das Python 3 Script zum Downloaden von PDF-Anhängen?

Das Script selbst ist recht einfach. Es verbindet sich über die Python IMAP Library zu dem definierten Postfach. Dort wird in allen Mails geprüft, ob PDF-Anhänge vorliegen. Falls das der Fall ist wird der Anhang in das Zielverzeichnis von ecoDMS heruntergeladen. Anschliessend wird die Mail gelöscht.

In meinem Fall wird das Script mehrmals täglich über einen Cronjob ausgeführt. Die definierte Postfach-Adresse ist nur mir bekannt so kann ich Mails, welche einen Anhang beinhalten der ins DMS muss einfach dort hin weiterleiten.

E-Mail Anhänge nach ecoDMS importieren – das Script

Bevor das Script funktioniert muss noch die benötige Python-Library installiert werden. Dies erfolgt über den folgenden Befehl:

pip3 install imbox # alternativ auch pip install imbox

Anschliessen müssen noch die Parameter für den Hostname, Username und Passwort für das definierte Postfach hinterlegt werden. Schon kann das Script ausgeführt werden und tut was es soll (hoffentlich zumidnest).

#!/usr/bin/env python
"""
importDmsMailsPy3.py

Check emails at :const:`PROVIDER` for attachments and save them to
:const:`SAVEDIR`.
"""
import os
from imbox import Imbox #pip3 install imbox
import traceback

PROVIDER = 'XXXX'
USER = 'XXXX'
PASSWORD = 'XXXX'

SAVE_DIR = '/opt/ecodms/workdir/scaninput/'

def getNotExistingFileName(saveDir, srcFileName):
    counter = 1
    if (srcFileName.endswith("pdf?=")):
        srcFileName = "scanbymail.pdf"
    while (True):
        currentName = srcFileName
        if (counter > 1):
            currentName = str(counter) + "_" + srcFileName
        if (os.path.isfile(saveDir + currentName)):
            counter = counter + 1
        else:
            return currentName

def save_attachment(attachment):
    attachmentFileName = attachment.get('filename')
    print('Handle Attachment {0!r}.'.format(attachmentFileName))
    if attachmentFileName.endswith(("pdf", "PDF", "Pdf", "PDf", "pDF", "pdF", "PdF", "pdf?=")):
        targetName = attachmentFileName.replace("/", "_")
        targetName = getNotExistingFileName(SAVE_DIR, targetName)
        download_path = f"{SAVE_DIR}/{targetName}"
        with open(download_path, "wb") as download:
            download.write(attachment.get('content').read())
            print('Found and saved attachment {0!r}.'.format(targetName))

def main():
    try:
        mailBox = Imbox (PROVIDER, username=USER, password=PASSWORD, ssl=True, ssl_context=None, starttls=False)
        mailBoxContent = mailBox.messages()

        for (mailId, mail) in mailBoxContent:
            mailBox.mark_seen(mailId)

            for idx, attachment in enumerate(mail.attachments):
                try:
                    save_attachment(attachment)
                except:
                    print(traceback.print_exc())

            mailBox.delete(mailId)
    finally:
        mailBox.logout()

if __name__ == '__main__':
    main()

Anbei das Script noch als Download:

Vorsicht

Das Script löscht bei jedem Lauf ALLE Mails in dem Postfach. Bei der Verwendung bitte auf jeden Fall darauf achten, dass für den Import ein eigenes Postfach definiert ist in welchem nur die Mails vorliegen, welche ins DMS übergeben werden sollen.

Wer möchte kann das Script natürlich gerne verwenden und auf seine Bedürfnisse anpassen. Natürlich übernehme ich keine Garantie für die Funktion des Scriptes, die Verwendung erfolgt auf eigene Gefahr

Der Beitrag E-Mail Anhänge nach ecoDMS importieren – mit Python 3 erschien zuerst auf Das ist die Welt von Thomas.

Archivierung von Rechnungen aus E-Mails

Egal wo man heute etwas bestellt, meist kommen die Rechnungen in elektronischer Form. Doch wie kann ich diese Rechnungen nun am Einfachsten in meinem DMS-System archivieren? Eigentlich ging ich davon aus dass ein System wie z.B. ecoDMS ein solches E-Mail Gateway automatisiert mitliefert, leider war dies jedoch nicht der Fall.

Somit musste eine eigene Lösung her. Kein Problem, ein kleines Script sollte das Problem schnell Lösen. Die Grundidee: Ich erzeuge mir ein Mailpostfach an welches ich alle E-Mails, deren PDF-Anhänge archiviert werden sollen weiterleite. Dieses Postfach wird von einem Cronjob abgeholt, die PDF-Anhänge aus den Mails heruntergeladen und in den Übergabeordner von ecoDMS gelegt.

Nach einigen Versuchen ist das folgende Python-Script entstanden welches bei mir nun schon seit über 2 Jahren produktiv im Einsatz ist und stabil seinen Dienst verrichtet.

E-Mail PDF-Anhang speichern – Python-Script

#!/usr/bin/env python
"""
importDmsMails.py

Check emails at :const:`PROVIDER` for attachments and save them to
:const:`SAVEDIR`.
"""
from __future__ import absolute_import, division, print_function
import email
import os
import poplib

PROVIDER = 'XXXX'
USER = 'XXXX'
PASSWORD = 'XXXX'

SAVE_DIR = '/opt/ecodms/workdir/scaninput/'

def getNotExistingFileName(saveDir, srcFileName):
    counter = 1
    if (srcFileName.endswith("pdf?=")):
        srcFileName = "scanbymail.pdf"
    while (True):
        currentName = srcFileName
        if (counter > 1):
            currentName = str(counter) + "_" + srcFileName
        if (os.path.isfile(saveDir + currentName)):
            counter = counter + 1
        else:
            return currentName

def save_attachments(mail_string):
    attachments = list()
    for part in email.message_from_string(mail_string).walk():
        name = part.get_filename()
        if name:
            print('Handle Attachment {0!r}.'.format(name))
            if name.lower().endswith(("pdf", "pdf?=")):
                data = part.get_payload(decode=True)
                name = name.replace("/", "_")
                targetFileName = getNotExistingFileName(SAVE_DIR, name)
                f = file(os.path.join(SAVE_DIR, targetFileName), 'wb')
                f.write(data)
                f.close()
                print('Found and saved attachment {0!r}.'.format(targetFileName))

def main():
    try:
        client = poplib.POP3_SSL(PROVIDER)
        client.user(USER)
        client.pass_(PASSWORD)
        message_numbers = (int(s.split()[0]) for s in client.list()[1])
        for message_number in message_numbers:
            save_attachments('\n'.join(client.retr(message_number)[1]))
            client.dele(message_number)
    finally:
        client.quit()


if __name__ == '__main__':
    main()

Was genau tut das Script?

Das hier aufgeführte Python-Script wird bei mir regelmäßig durch einen Cronjob ausgeführt. Das Script verbindet sich zu meinem Mailserver und lädt sich alle Mails herunter. Hängt an einer Mail ein PDF-Anhang so wird dieser Anhang im Eingangsverzeichnis von ecoDMS gesichert. Bei der Speicherung der Datei prüft das Script ob hier bereits eine Datei mit gleichem Namen vorliegt. Ist dies der Fall so wird der Dateiname durch einen Zähler erweitert so dass keine bereits existierende Datei überschrieben wird.

Wer möchte kann das Script natürlich gerne verwenden und auf seine Bedürfnisse anpassen. Natürlich übernehme ich keine Garantie für die Funktion des Scriptes, die Verwendung erfolgt auf eigene Gefahr

Update – 11. Juni 2021

Ich habe gestern eine Mail erhalten welche mich auf ein Problem hinwies. Thomas erhielt beim Ausführen des Scriptes den folgenden Fehler:

python3 importDmsMails.py
Traceback (most recent call last):

  File "importDmsMails.py", line 61, in <module>

    main()

  File "importDmsMails.py", line 54, in main

    save_attachments('\n'.join(client.retr(message_number)[1]))

TypeError: sequence item 0: expected str instance, bytes found

Bei der Analyse der Meldung stellte sich heraus, dass ich eine andere Python-Version als Thomas verwende. Bei mir läuft Python in der Version 2.7.10, bei ihm auf Python 3.

Ich habe für dieses Problem eine neue Version des Scriptes bereit gestellt. Mehr dazu findet Ihr hier:
E-Mail Anhänge nach ecoDMS importieren – mit Python 3

Der Beitrag E-Mail PDF-Anhang speichern – Python-Script für ecoDMS Übergabe erschien zuerst auf Das ist die Welt von Thomas.

Warum ist das Backup so wichtig?

Wer sich selbst dazu entschließt zuhause auf ein papierloses Büro umzusteigen macht sich ein Stück weit von der Technik abhängig. Alle Dokumente welche archivierungswürdig sind werden, wenn man es konsequent macht, eingescannt und dann vernichtet. Die digitale Papierablage hat einige Vorteile, allerdings eben auch den gravierenden Nachteil dass ein Festplattencrash alle Daten vernichten kann.

Aus diesem Grund muss ein gutes Backupkonzept her welches dafür sorgt, dass die Daten auch im Fall eines Festplattencrashs oder eines Einbruchs mit dem Diebstahl eines Computers (auch wenn das eher unwahrscheinlich ist) noch vorliegen.

Empfehlung: Datensicherung extern sichern

Immer wieder, wenn ich mich mit Bekannten zum Thema der Datensicherung unterhalte stellen sich mir die Nackenhaare auf. Was bringt ein Backup wenn selbiges auf dem gleichen Computer oder sogar noch auf der gleichen Festplatte liegt? Da gibt es Selbstständige Unternehmer welche Ihre Datensicherung „ab und zu“ einmal erledigen und die USB-Festplatte dann angeschlossen am Rechner lassen.

Aus meiner Sicht muss eine Datensicherung nicht nur den zu sichernden Rechner sondern im Idealfall auch noch das Gebäude in welchem die zu sichernden Rechner sich befinden verlassen. Nur so lassen sich die Daten auch z.B. nach einem Einbruch oder einem Brand wieder herstellen.

In meinem Fall erzeuge ich im ersten Schritt das Backup auf einem im internen Netzwerk befindlichen NAS-System. Die Festplatten im NAS-System sind gespiegelt so dass, falls eine ausfällt, die Daten noch immer verfügbar sind.

Das NAS-System steht im gleichen Schrank wie auch der ecoDMS Server. Aus diesem Grund sichere ich das ecoDMS Backup noch auf einen extra angemieteten Cloudspeicher im Internet. Natürlich ist das Backup, welches auf den Cloudspeicher übertragen wird, verschlüsselt so dass der unberechtigte Zugriff erschwert wird. Diesen Teil der Datensicherung führe ich übrigens per rsync und curlftpfs aus – siehe Blogpost.

ecoDMS Backup – Datensicherung eigentlich ganz einfach

Bei mir selbst läuft das ecoDMS-System auf einem Server (welcher hier eh schon im 7×24 Betrieb läuft) mit. Dieser Server läuft mit Ubuntu, ich habe die Pfade bei der Installation von ecoDMS auf den Standard-Pfaden belassen.

ecoDMS liefert bereits von Hause aus ein gutes und lauffähiges Commandshell-Script für das Backup mit. Das Script ist recht einfach aufgebaut und muss nur über die Shell aufgerufen werden. Als Parameter übergeben wir das Verzeichnis in welches das Backup gesichert werden soll.

In meinem Fall habe ich unter /srv/datashare/serversicherung ein Verzeichnis auf meinem NAS-System gemountet. Das Backup selbst soll im Unterverzeichnis ecoDMS abgelegt werden. Um das Script nun auszuführen genügend die folgenden Schritte:

cd /opt/ecodms/ecodmsserver/tools
./ecoDMSBackupConsole /srv/datashare/serversicherung/ecodms

Das Script selbst läuft einen ganzen Moment und sichert alle notwendigen Daten. Dazu gehören nicht nur die indizierten PDF-Dokumente sondern natürlich auch die gesamte Datenbank sowie alle Dokumente welche bereits übergeben aber noch nicht indiziert werden konnten. Gut finde ich dass hier jedes mal ein vollständiges Backup gezogen wird und ich somit für jeden Lauf eine vollständige Datensicherung vorliegen habe.

Datensicherung auf externe Rechner spiegeln

Nun liegt also das ecoDMS Backup auf dem internen NAS herum. Das ist für den ersten Schritt schonmal schön, doch was passiert wenn es bei mir zuhause brennt oder jemand bricht ein und räumt den Serverschrank aus. Ich gebe zu, beides ist nicht zwingend wahrscheinlich aber ausschließen kann ich dieses Szenario nicht. Also sichere ich die Daten noch auf einen externen Datenspeicher im Internet.

Bei diesem Schritt ist darauf zu achten dass der genutzte Speicher möglichst vertrauenswürdig ist. Ich persönlich setze hier lieber auf einen der großen Player im Markt und habe mir hier einen Cloudspeicher angemietet. Natürlich verschlüssele ich meine Datensicherung vor der Übertragung in die Cloud noch … aber da sollte wohl jedem klar sein

Die Übertragung in die Cloud führe ich über rsync aus. Weitere Details hierzu sind in dem schon existierenden Blogbeitrag zu finden: Verzeichnis von Server per rsync spiegeln.

Der Beitrag ecoDMS Backup – automatische Datensicherung im Serverbetrieb erschien zuerst auf Das ist die Welt von Thomas.

Aus diesem Grund stellte ich mir die Frage wie ich noch etwas besser schlafen kann und wie ich mir eine eigene Datensicherung (als Fallback-Lösung) schaffen kann. Hierbei habe ich mir die folgende, für mich passende, Lösung gebaut.

inkrementelle Serversicherung auf lokalem NAS

In meinem Anwendungsfall betreibe ich 3 Server / vServer irgendwo im Internet (bei unterschiedlichen Providern). Alle diese Server haben unterschiedliche Datenbestände, teils wichtiger, teils unwichtiger. Zuhause, hinter meinem Router, habe ich eine Firewall laufen hinter welcher ein Ubuntu-Server seine Arbeit verrichtet. Innerhalb dieses Netzwerks liegt auch ein Raid-System welches ich für die Datensicherung nutze:

Auf diesem Server habe ich nun einen Cronjob eingerichtet welcher zu von mir festgelegten Zeiten läuft. Dieser Cronjob verbindet sich zu den 3 Servern im Internet und mountet ein FTP-Account per curlftpfs in das lokale Dateisystem. Weiterhin ist ein Freigabeordner des NAS-Systems gemountet. Der Cronjob selbst führt nun einen rsync zwischen den beiden Verzeichnissen durch und kopiert somit alle neuen Daten vom Server auf das NAS-System.

Remote-FTP per curlftpfs ins Filesystem mounten

Das von mir verwendete curlftpfs lässt sich am einfachsten über ein Zitat von der Webseite auf ubutnuusers.de beschreiben:

curlftpfs  ist ein FUSE-Modul, mit dem man entfernte Rechner über FTP in das eigene Dateisystem einbinden kann. Der Vorteil ist, dass man damit die Dateien und Verzeichnisse auf dem entfernten Rechner sehr komfortabel editieren, kopieren oder verschieben kann – genau wie die Dateien und Verzeichnisse auf den lokalen Festplatten. Dies erfordert auf dem Server einen FTP-Dienst. Die meisten Anbieter von Webspace ermöglichen den Zugriff über FTP.

https://wiki.ubuntuusers.de/Archiv/curlftpfs/

Ja ich weiß, curlftpfs wird seit Jahren nicht mehr weiter entwickelt. Allerdings funktioniert es eben einfach wunderbar, warum sollte man es ersetzen?

Das Mounten eines FTP-Verzeichnisses in das lokale Dateisystem ist hierbei denkbar einfach:

mkdir /tmp/mountpoint
curlftpfs ftp://<user>:<passwort>@<host>/<zuSichernderPfad>/ /tmp/mountpoint

Wenn wir hier Username, Passwort, Hostname und den zu sicherenden Pfad mit den Daten des Remoteservers ersetzen wird das Verzeichnis entsprechend ins lokale Dateisystem eingebunden.

Serversicherung per rsync durchführen

Nachdem wir nun das Remote-Verzeichnis ins lokale Dateisystem eingebunden haben können wir dieses Verzeichnis mittels rsync clonen. Rsync prüft hierbei ob eine Remote-Datei neu ist, geändert wurde oder gar gelöscht wurde und übernimmt die Änderungen je nach Parameter.

In meinem Beispiel möchte ich alle Remote-Änderungen übernehmen und somit immer die aktuelle Dateiversion in meiner lokalen Sicherung vorliegen haben. Im folgenden Beispiel werden die Daten aus dem Verzeichnis /tmp/mountpoint in das Verzeichnis /tmp/nasmountpoint übernommen:

rsync -a -u --delete /tmp/mountmoint /tmp/nasmountpoint

Das fertige Script – rsync und curlftpfs in Kombination

Das mit das folgende Script funktioniert müssen einige Parameter angepasst werden. Diese sind jeweils in <> eingeschlossen. Weiterhin ist zu beachten dass im zu sichernden Verzeichnis auf dem Server eine Datei mit dem Namen „online.id“ erwartet wird. Das Script prüft am Anfang ob diese Datei vorhanden ist, wenn nicht wird der curlftpfs mount hergestellt.

echo "starte download der remote datesicherung"
if [ ! -f /<lokalerPfadZumMountpoint>/online.id ];
then
    echo "nicht verbunden - stelle verbindung her"
    curlftpfs ftp://<user>:<passwort>@<host>/<zuSichernderPfad>/
fi
if [ -f /<lokalerPfadZumMountpoint>/online.id ];
then
    echo "verbindung existent - spiegle daten"
    rsync -a -u --delete /<lokalerPfadZumMountpoint> /<zielpfadFuerDatensicherung>
    fusermount -u /<lokalerPfadZumMountpoint>
else
    echo "verbindung konnte nicht hergestellt werden - sicherung abgebrochen"
fi

Der Beitrag Verzeichnis von Server per rsync spiegeln erschien zuerst auf Das ist die Welt von Thomas.

Viele werden sich jetzt Fragen ob ich noch alle Latten am Zaun habe. Ist dieser Aufwand überhaupt gerechtfertig und wie soll das funktionieren? Wie reagiert wohl die Frau auf sowas? Wie läuft das im täglichen Leben ab?
Auf genau diese Fragen möchte ich hier die Antworten geben.

papierloses Büro mit oder ohne DMS?

Wie ich bereits eingangs erwähnte bin ich faul, wenn es um das Thema Suchen von Unterlagen geht. Ich möchte es in erster Linie einfach haben. Aus diesem Grund war es für mich ganz logisch dass ich mir ein DMS-System ansehe um meine Dokumente später auch wieder finden zu können. Hierbei standen die folgenden Anforderungen für mich im Mittelpunkt:

• Indizierung von Dokumenten
• Volltextsuche über alle Dokumente
• Kategorisierung / Verschlagwortung
• Revisionssichere Archivierung
• Datensicherung

Nach ein wenig Internetrecherche bin ich auf einige Systeme gestoßen, welche meine Anforderungen erfüllten. Ich habe mich dann schließlich für ecoDMS entschieden.

nächste Frage: welche Hardware?

Nachdem klar war das mein papierloses Büro durch ein DMS-System unterstützt werden sollte stellte sich die Frage nach der Hardware. Benötigt wird:

• ein Rechner auf welchem das DMS-System läuft
• ein Scanner (im Idealfall Duplex) um die Dokumente zu scannen

Glücklicherweise läuft hier zuhause bereits ein Rechner als Server im 7×24 Betrieb so dass hierfür nichts neues angeschafft werden musste. Beim Scanner wurde das Ganze dann schon schwieriger.

Ich habe mich hierbei für den Brother ADS 1600 W* entschieden. Ein kleiner Duplexscanner welcher ohne Schnick-Schnack daherkommt. Stromverbindung herstellen, Wlan einrichten und los gehts.

Jetzt auf Amazon ansehen *

Wie funktioniert das mit dem papierlosen Büro nun?

Im Grund ist der Prozess recht einfach. Wenn ein Brief (oder eine Mail mit einem Dokument) rein kommt wird das Dokument gelesen. Hier wird entschieden ob es ein Dokument, ist welches aufgehoben werden muss oder nicht. Wenn ich der Meinung bin, dass ich das Dokument ggf. irgendwann nochmal benötigen kann wird es archiviert. Nun scanne ich es mit dem Scanner ein und übertrage es an das DMS. Hier wird das Dokument nun kategorisiert und verschlagwortet so dass ich es später wiederfinde, das Original Dokument wird gelöscht.

Wenn ich nun ein Dokument wieder suche logge ich mich einfach über den Browser in dem DMS-System ein. Nun kann ich entweder über Kategorien, Schlagworte oder auch einen Freitext die Dokumente durchsuchen. Das DMS-System durchsucht die gesamte Datenbank nach den Dokumenten und zeigt mir das an was dazu passt.

papierloses Büro nach 4 Jahren

Nach etwas mehr als 4 Jahren geht es mir mit dem System sehr gut. Das regelmäßige Einscannen und Verschlagworten der Dokumente kostet zwar ein wenig Zeit, spart aber im Endeffekt mächtig der selbigen, wenn man etwas sucht. Musste ich früher nachdenken in welchen Hängeregistern oder welchen Ordnern ein Dokument zu finden ist öffne ich heute die Anwendung und suche eben.

Inzwischen sind knapp 18.000 Dokumente im DMS-System hinterlegt, nicht auszumalen was hier an Ordnern im Schrank stehen würden um diese ganzen Papiere vorhalten zu können. Die Suche ist mega schnell und echt einfach. So einfach, dass sogar meine Frau das DMS hin und wieder mal nutzt um etwas zu suchen.

Inzwischen wurde das Büro um einen 2ten Duplexscanner erweitert. Der kleine steht oben im Schrank und kann direkt beim Posteingang genutzt werden. Zusätzlich habe ich mir im Büro einen HP Laserjet Pro MFP M426fdw* gegönnt welcher nicht nur in Duplex Scannen sondern auch drucken kann. Durch den grossen Papiereinzug ist dieser Scanner auch für grössere Papiermengen / Dokumente ideal.

Jetzt auf Amazon ansehen *

Ich würde jedem dazu raten sich das Thema des papierlosen Büros für zuhause mal anzusehen. In Verbindung mit einem DMS ist das ganze echt ein Kinderspiel und das von mir verwendete ecoDMS System nicht nur einfach zu bedienen, sondern auch kostengünstig.

unbedingt beachten: Datensicherung

Wer sich mit der Umstellung auf ein DMS-System beschäftigt sollte das Thema der Datensicherung direkt mit bedenken. Bei mir läuft das System im 7×24 Betrieb und hatte bisher keinen einzigen ungeplanten Ausfall. Ein Datenverlust ist mir bisher ebenso wenig aufgefallen. Dennoch ist das Thema der Datensicherung essenziell, wenn man sich vom Papier trennt. Nicht auszudenken was passiert, wenn alle Dokumente plötzlich weg sind.

Ich werde mein Datensicherungskonzept auch hier veröffentlichen, vielleicht hilft das ja dem ein oder anderen

Der Beitrag papierloses Büro für Zuhause – mit ecoDMS ein Kinderspiel erschien zuerst auf Das ist die Welt von Thomas.