Warum dieses Script?

Wie bereits aus anderen Beiträgen hier bekannt bin ich ein Freund des papierlosen Büros. Aus diesem Grund setze ich bei mir auf das DMS-System ecoDMS. Dies funktioniert auch wunderbar mit einer Ausnahme. EcoDMS bietet keinen Import von Mails an was für mich eine mittlere Katastrophe darstellt. Die meisten Rechnungen kommen inzwischen digital per PDF in meinen Posteingang. Diese möchte ich gerne an eine definierte E-Mail Adresse weiterleiten so dass der Import ins DMS automatisch erfolgen kann.

Wie funktioniert das Python 3 Script zum Downloaden von PDF-Anhängen?

Das Script selbst ist recht einfach. Es verbindet sich über die Python IMAP Library zu dem definierten Postfach. Dort wird in allen Mails geprüft, ob PDF-Anhänge vorliegen. Falls das der Fall ist wird der Anhang in das Zielverzeichnis von ecoDMS heruntergeladen. Anschliessend wird die Mail gelöscht.

In meinem Fall wird das Script mehrmals täglich über einen Cronjob ausgeführt. Die definierte Postfach-Adresse ist nur mir bekannt so kann ich Mails, welche einen Anhang beinhalten der ins DMS muss einfach dort hin weiterleiten.

E-Mail Anhänge nach ecoDMS importieren – das Script

Bevor das Script funktioniert muss noch die benötige Python-Library installiert werden. Dies erfolgt über den folgenden Befehl:

pip3 install imbox # alternativ auch pip install imbox

Anschliessen müssen noch die Parameter für den Hostname, Username und Passwort für das definierte Postfach hinterlegt werden. Schon kann das Script ausgeführt werden und tut was es soll (hoffentlich zumidnest).

#!/usr/bin/env python
"""
importDmsMailsPy3.py

Check emails at :const:`PROVIDER` for attachments and save them to
:const:`SAVEDIR`.
"""
import os
from imbox import Imbox #pip3 install imbox
import traceback

PROVIDER = 'XXXX'
USER = 'XXXX'
PASSWORD = 'XXXX'

SAVE_DIR = '/opt/ecodms/workdir/scaninput/'

def getNotExistingFileName(saveDir, srcFileName):
    counter = 1
    if (srcFileName.endswith("pdf?=")):
        srcFileName = "scanbymail.pdf"
    while (True):
        currentName = srcFileName
        if (counter > 1):
            currentName = str(counter) + "_" + srcFileName
        if (os.path.isfile(saveDir + currentName)):
            counter = counter + 1
        else:
            return currentName

def save_attachment(attachment):
    attachmentFileName = attachment.get('filename')
    print('Handle Attachment {0!r}.'.format(attachmentFileName))
    if attachmentFileName.endswith(("pdf", "PDF", "Pdf", "PDf", "pDF", "pdF", "PdF", "pdf?=")):
        targetName = attachmentFileName.replace("/", "_")
        targetName = getNotExistingFileName(SAVE_DIR, targetName)
        download_path = f"{SAVE_DIR}/{targetName}"
        with open(download_path, "wb") as download:
            download.write(attachment.get('content').read())
            print('Found and saved attachment {0!r}.'.format(targetName))

def main():
    try:
        mailBox = Imbox (PROVIDER, username=USER, password=PASSWORD, ssl=True, ssl_context=None, starttls=False)
        mailBoxContent = mailBox.messages()

        for (mailId, mail) in mailBoxContent:
            mailBox.mark_seen(mailId)

            for idx, attachment in enumerate(mail.attachments):
                try:
                    save_attachment(attachment)
                except:
                    print(traceback.print_exc())

            mailBox.delete(mailId)
    finally:
        mailBox.logout()

if __name__ == '__main__':
    main()

Anbei das Script noch als Download:

Vorsicht

Das Script löscht bei jedem Lauf ALLE Mails in dem Postfach. Bei der Verwendung bitte auf jeden Fall darauf achten, dass für den Import ein eigenes Postfach definiert ist in welchem nur die Mails vorliegen, welche ins DMS übergeben werden sollen.

Wer möchte kann das Script natürlich gerne verwenden und auf seine Bedürfnisse anpassen. Natürlich übernehme ich keine Garantie für die Funktion des Scriptes, die Verwendung erfolgt auf eigene Gefahr

Der Beitrag E-Mail Anhänge nach ecoDMS importieren – mit Python 3 erschien zuerst auf Das ist die Welt von Thomas.

Archivierung von Rechnungen aus E-Mails

Egal wo man heute etwas bestellt, meist kommen die Rechnungen in elektronischer Form. Doch wie kann ich diese Rechnungen nun am Einfachsten in meinem DMS-System archivieren? Eigentlich ging ich davon aus dass ein System wie z.B. ecoDMS ein solches E-Mail Gateway automatisiert mitliefert, leider war dies jedoch nicht der Fall.

Somit musste eine eigene Lösung her. Kein Problem, ein kleines Script sollte das Problem schnell Lösen. Die Grundidee: Ich erzeuge mir ein Mailpostfach an welches ich alle E-Mails, deren PDF-Anhänge archiviert werden sollen weiterleite. Dieses Postfach wird von einem Cronjob abgeholt, die PDF-Anhänge aus den Mails heruntergeladen und in den Übergabeordner von ecoDMS gelegt.

Nach einigen Versuchen ist das folgende Python-Script entstanden welches bei mir nun schon seit über 2 Jahren produktiv im Einsatz ist und stabil seinen Dienst verrichtet.

E-Mail PDF-Anhang speichern – Python-Script

#!/usr/bin/env python
"""
importDmsMails.py

Check emails at :const:`PROVIDER` for attachments and save them to
:const:`SAVEDIR`.
"""
from __future__ import absolute_import, division, print_function
import email
import os
import poplib

PROVIDER = 'XXXX'
USER = 'XXXX'
PASSWORD = 'XXXX'

SAVE_DIR = '/opt/ecodms/workdir/scaninput/'

def getNotExistingFileName(saveDir, srcFileName):
    counter = 1
    if (srcFileName.endswith("pdf?=")):
        srcFileName = "scanbymail.pdf"
    while (True):
        currentName = srcFileName
        if (counter > 1):
            currentName = str(counter) + "_" + srcFileName
        if (os.path.isfile(saveDir + currentName)):
            counter = counter + 1
        else:
            return currentName

def save_attachments(mail_string):
    attachments = list()
    for part in email.message_from_string(mail_string).walk():
        name = part.get_filename()
        if name:
            print('Handle Attachment {0!r}.'.format(name))
            if name.lower().endswith(("pdf", "pdf?=")):
                data = part.get_payload(decode=True)
                name = name.replace("/", "_")
                targetFileName = getNotExistingFileName(SAVE_DIR, name)
                f = file(os.path.join(SAVE_DIR, targetFileName), 'wb')
                f.write(data)
                f.close()
                print('Found and saved attachment {0!r}.'.format(targetFileName))

def main():
    try:
        client = poplib.POP3_SSL(PROVIDER)
        client.user(USER)
        client.pass_(PASSWORD)
        message_numbers = (int(s.split()[0]) for s in client.list()[1])
        for message_number in message_numbers:
            save_attachments('\n'.join(client.retr(message_number)[1]))
            client.dele(message_number)
    finally:
        client.quit()


if __name__ == '__main__':
    main()

Was genau tut das Script?

Das hier aufgeführte Python-Script wird bei mir regelmäßig durch einen Cronjob ausgeführt. Das Script verbindet sich zu meinem Mailserver und lädt sich alle Mails herunter. Hängt an einer Mail ein PDF-Anhang so wird dieser Anhang im Eingangsverzeichnis von ecoDMS gesichert. Bei der Speicherung der Datei prüft das Script ob hier bereits eine Datei mit gleichem Namen vorliegt. Ist dies der Fall so wird der Dateiname durch einen Zähler erweitert so dass keine bereits existierende Datei überschrieben wird.

Wer möchte kann das Script natürlich gerne verwenden und auf seine Bedürfnisse anpassen. Natürlich übernehme ich keine Garantie für die Funktion des Scriptes, die Verwendung erfolgt auf eigene Gefahr

Update – 11. Juni 2021

Ich habe gestern eine Mail erhalten welche mich auf ein Problem hinwies. Thomas erhielt beim Ausführen des Scriptes den folgenden Fehler:

python3 importDmsMails.py
Traceback (most recent call last):

  File "importDmsMails.py", line 61, in <module>

    main()

  File "importDmsMails.py", line 54, in main

    save_attachments('\n'.join(client.retr(message_number)[1]))

TypeError: sequence item 0: expected str instance, bytes found

Bei der Analyse der Meldung stellte sich heraus, dass ich eine andere Python-Version als Thomas verwende. Bei mir läuft Python in der Version 2.7.10, bei ihm auf Python 3.

Ich habe für dieses Problem eine neue Version des Scriptes bereit gestellt. Mehr dazu findet Ihr hier:
E-Mail Anhänge nach ecoDMS importieren – mit Python 3

Der Beitrag E-Mail PDF-Anhang speichern – Python-Script für ecoDMS Übergabe erschien zuerst auf Das ist die Welt von Thomas.

Warum ist das Backup so wichtig?

Wer sich selbst dazu entschließt zuhause auf ein papierloses Büro umzusteigen macht sich ein Stück weit von der Technik abhängig. Alle Dokumente welche archivierungswürdig sind werden, wenn man es konsequent macht, eingescannt und dann vernichtet. Die digitale Papierablage hat einige Vorteile, allerdings eben auch den gravierenden Nachteil dass ein Festplattencrash alle Daten vernichten kann.

Aus diesem Grund muss ein gutes Backupkonzept her welches dafür sorgt, dass die Daten auch im Fall eines Festplattencrashs oder eines Einbruchs mit dem Diebstahl eines Computers (auch wenn das eher unwahrscheinlich ist) noch vorliegen.

Empfehlung: Datensicherung extern sichern

Immer wieder, wenn ich mich mit Bekannten zum Thema der Datensicherung unterhalte stellen sich mir die Nackenhaare auf. Was bringt ein Backup wenn selbiges auf dem gleichen Computer oder sogar noch auf der gleichen Festplatte liegt? Da gibt es Selbstständige Unternehmer welche Ihre Datensicherung „ab und zu“ einmal erledigen und die USB-Festplatte dann angeschlossen am Rechner lassen.

Aus meiner Sicht muss eine Datensicherung nicht nur den zu sichernden Rechner sondern im Idealfall auch noch das Gebäude in welchem die zu sichernden Rechner sich befinden verlassen. Nur so lassen sich die Daten auch z.B. nach einem Einbruch oder einem Brand wieder herstellen.

In meinem Fall erzeuge ich im ersten Schritt das Backup auf einem im internen Netzwerk befindlichen NAS-System. Die Festplatten im NAS-System sind gespiegelt so dass, falls eine ausfällt, die Daten noch immer verfügbar sind.

Das NAS-System steht im gleichen Schrank wie auch der ecoDMS Server. Aus diesem Grund sichere ich das ecoDMS Backup noch auf einen extra angemieteten Cloudspeicher im Internet. Natürlich ist das Backup, welches auf den Cloudspeicher übertragen wird, verschlüsselt so dass der unberechtigte Zugriff erschwert wird. Diesen Teil der Datensicherung führe ich übrigens per rsync und curlftpfs aus – siehe Blogpost.

ecoDMS Backup – Datensicherung eigentlich ganz einfach

Bei mir selbst läuft das ecoDMS-System auf einem Server (welcher hier eh schon im 7×24 Betrieb läuft) mit. Dieser Server läuft mit Ubuntu, ich habe die Pfade bei der Installation von ecoDMS auf den Standard-Pfaden belassen.

ecoDMS liefert bereits von Hause aus ein gutes und lauffähiges Commandshell-Script für das Backup mit. Das Script ist recht einfach aufgebaut und muss nur über die Shell aufgerufen werden. Als Parameter übergeben wir das Verzeichnis in welches das Backup gesichert werden soll.

In meinem Fall habe ich unter /srv/datashare/serversicherung ein Verzeichnis auf meinem NAS-System gemountet. Das Backup selbst soll im Unterverzeichnis ecoDMS abgelegt werden. Um das Script nun auszuführen genügend die folgenden Schritte:

cd /opt/ecodms/ecodmsserver/tools
./ecoDMSBackupConsole /srv/datashare/serversicherung/ecodms

Das Script selbst läuft einen ganzen Moment und sichert alle notwendigen Daten. Dazu gehören nicht nur die indizierten PDF-Dokumente sondern natürlich auch die gesamte Datenbank sowie alle Dokumente welche bereits übergeben aber noch nicht indiziert werden konnten. Gut finde ich dass hier jedes mal ein vollständiges Backup gezogen wird und ich somit für jeden Lauf eine vollständige Datensicherung vorliegen habe.

Datensicherung auf externe Rechner spiegeln

Nun liegt also das ecoDMS Backup auf dem internen NAS herum. Das ist für den ersten Schritt schonmal schön, doch was passiert wenn es bei mir zuhause brennt oder jemand bricht ein und räumt den Serverschrank aus. Ich gebe zu, beides ist nicht zwingend wahrscheinlich aber ausschließen kann ich dieses Szenario nicht. Also sichere ich die Daten noch auf einen externen Datenspeicher im Internet.

Bei diesem Schritt ist darauf zu achten dass der genutzte Speicher möglichst vertrauenswürdig ist. Ich persönlich setze hier lieber auf einen der großen Player im Markt und habe mir hier einen Cloudspeicher angemietet. Natürlich verschlüssele ich meine Datensicherung vor der Übertragung in die Cloud noch … aber da sollte wohl jedem klar sein

Die Übertragung in die Cloud führe ich über rsync aus. Weitere Details hierzu sind in dem schon existierenden Blogbeitrag zu finden: Verzeichnis von Server per rsync spiegeln.

Der Beitrag ecoDMS Backup – automatische Datensicherung im Serverbetrieb erschien zuerst auf Das ist die Welt von Thomas.

Aus diesem Grund stellte ich mir die Frage wie ich noch etwas besser schlafen kann und wie ich mir eine eigene Datensicherung (als Fallback-Lösung) schaffen kann. Hierbei habe ich mir die folgende, für mich passende, Lösung gebaut.

inkrementelle Serversicherung auf lokalem NAS

In meinem Anwendungsfall betreibe ich 3 Server / vServer irgendwo im Internet (bei unterschiedlichen Providern). Alle diese Server haben unterschiedliche Datenbestände, teils wichtiger, teils unwichtiger. Zuhause, hinter meinem Router, habe ich eine Firewall laufen hinter welcher ein Ubuntu-Server seine Arbeit verrichtet. Innerhalb dieses Netzwerks liegt auch ein Raid-System welches ich für die Datensicherung nutze:

Auf diesem Server habe ich nun einen Cronjob eingerichtet welcher zu von mir festgelegten Zeiten läuft. Dieser Cronjob verbindet sich zu den 3 Servern im Internet und mountet ein FTP-Account per curlftpfs in das lokale Dateisystem. Weiterhin ist ein Freigabeordner des NAS-Systems gemountet. Der Cronjob selbst führt nun einen rsync zwischen den beiden Verzeichnissen durch und kopiert somit alle neuen Daten vom Server auf das NAS-System.

Remote-FTP per curlftpfs ins Filesystem mounten

Das von mir verwendete curlftpfs lässt sich am einfachsten über ein Zitat von der Webseite auf ubutnuusers.de beschreiben:

curlftpfs  ist ein FUSE-Modul, mit dem man entfernte Rechner über FTP in das eigene Dateisystem einbinden kann. Der Vorteil ist, dass man damit die Dateien und Verzeichnisse auf dem entfernten Rechner sehr komfortabel editieren, kopieren oder verschieben kann – genau wie die Dateien und Verzeichnisse auf den lokalen Festplatten. Dies erfordert auf dem Server einen FTP-Dienst. Die meisten Anbieter von Webspace ermöglichen den Zugriff über FTP.

https://wiki.ubuntuusers.de/Archiv/curlftpfs/

Ja ich weiß, curlftpfs wird seit Jahren nicht mehr weiter entwickelt. Allerdings funktioniert es eben einfach wunderbar, warum sollte man es ersetzen?

Das Mounten eines FTP-Verzeichnisses in das lokale Dateisystem ist hierbei denkbar einfach:

mkdir /tmp/mountpoint
curlftpfs ftp://<user>:<passwort>@<host>/<zuSichernderPfad>/ /tmp/mountpoint

Wenn wir hier Username, Passwort, Hostname und den zu sicherenden Pfad mit den Daten des Remoteservers ersetzen wird das Verzeichnis entsprechend ins lokale Dateisystem eingebunden.

Serversicherung per rsync durchführen

Nachdem wir nun das Remote-Verzeichnis ins lokale Dateisystem eingebunden haben können wir dieses Verzeichnis mittels rsync clonen. Rsync prüft hierbei ob eine Remote-Datei neu ist, geändert wurde oder gar gelöscht wurde und übernimmt die Änderungen je nach Parameter.

In meinem Beispiel möchte ich alle Remote-Änderungen übernehmen und somit immer die aktuelle Dateiversion in meiner lokalen Sicherung vorliegen haben. Im folgenden Beispiel werden die Daten aus dem Verzeichnis /tmp/mountpoint in das Verzeichnis /tmp/nasmountpoint übernommen:

rsync -a -u --delete /tmp/mountmoint /tmp/nasmountpoint

Das fertige Script – rsync und curlftpfs in Kombination

Das mit das folgende Script funktioniert müssen einige Parameter angepasst werden. Diese sind jeweils in <> eingeschlossen. Weiterhin ist zu beachten dass im zu sichernden Verzeichnis auf dem Server eine Datei mit dem Namen „online.id“ erwartet wird. Das Script prüft am Anfang ob diese Datei vorhanden ist, wenn nicht wird der curlftpfs mount hergestellt.

echo "starte download der remote datesicherung"
if [ ! -f /<lokalerPfadZumMountpoint>/online.id ];
then
    echo "nicht verbunden - stelle verbindung her"
    curlftpfs ftp://<user>:<passwort>@<host>/<zuSichernderPfad>/
fi
if [ -f /<lokalerPfadZumMountpoint>/online.id ];
then
    echo "verbindung existent - spiegle daten"
    rsync -a -u --delete /<lokalerPfadZumMountpoint> /<zielpfadFuerDatensicherung>
    fusermount -u /<lokalerPfadZumMountpoint>
else
    echo "verbindung konnte nicht hergestellt werden - sicherung abgebrochen"
fi

Der Beitrag Verzeichnis von Server per rsync spiegeln erschien zuerst auf Das ist die Welt von Thomas.