[Modul] Sync für Dropbox

Läuft es dann auch weiter mit dem Upload?

Alle 60 Minuten erfolgt ein „Resync“ und dann haben sich bei dir wahrscheinlich mittlerweile 43 Dateien geändert die hochgeladen werden müssen.

paresy

Ich kann das Problem nachstellen. Es scheint eine Abwandlung von diesem Problem zu sein: IP-Symcon Community Forum

paresy

Bei mir ist während des Kopierens irgendwann die DropBox voll geworden.

Er macht aber trotzdem unverdrossen und ohne Fehlermeldung weiter :slight_smile:


TXT: 15.07.2019, 14:52:31 |               Upload | Adding file... db/2016/03/49127.csv. Size 4,98 kB
TXT: 15.07.2019, 14:52:32 |               Upload | Remaining = Add: 16389, Update: 67, Remove: 0
TXT: 15.07.2019, 14:52:33 |               Upload | Adding file... db/2016/03/49457.csv. Size 1,18 MB
TXT: 15.07.2019, 14:52:35 |               Upload | Remaining = Add: 16388, Update: 67, Remove: 0
TXT: 15.07.2019, 14:52:36 |               Upload | Adding file... db/2016/03/49500.csv. Size 20,55 kB
TXT: 15.07.2019, 14:52:37 |               Upload | Remaining = Add: 16387, Update: 67, Remove: 0
TXT: 15.07.2019, 14:52:39 |               Upload | Adding file... db/2016/03/50131.csv. Size 560 B
TXT: 15.07.2019, 14:52:40 |               Upload | Remaining = Add: 16386, Update: 67, Remove: 0
TXT: 15.07.2019, 14:52:41 |               Upload | Adding file... db/2016/03/50167.csv. Size 87 B
TXT: 15.07.2019, 14:52:42 |               Upload | Remaining = Add: 16385, Update: 67, Remove: 0
TXT: 15.07.2019, 14:52:43 |               Upload | Adding file... db/2016/03/50324.csv. Size 40,1 kB
TXT: 15.07.2019, 14:52:44 |               Upload | Remaining = Add: 16384, Update: 67, Remove: 0
TXT: 15.07.2019, 14:52:45 |               Upload | Adding file... db/2016/03/50636.csv. Size 133,75 kB
TXT: 15.07.2019, 14:52:46 |               Upload | Remaining = Add: 16383, Update: 67, Remove: 0
TXT: 15.07.2019, 14:52:47 |               Upload | Adding file... db/2016/03/51191.csv. Size 0 B
TXT: 15.07.2019, 14:52:48 |               Upload | Remaining = Add: 16382, Update: 67, Remove: 0

Kann ich den Sync irgendwie anhalten/deaktivieren?

Leider nein. Das habe ich bisher irgendwie nicht vorgesehen :smiley:

paresy

Ich habe ihm jetzt mal den Token weggenommen. Das beeindruckt ihn aber auch nicht. Er macht unverdrossen weiter, in die volle DropBox zu übertragen. Da werde ich dann doch wohl den Service beenden müssen :o

Meine DropBox ist mit 4GB aber auch seeehr klein. Wenn man einzelne Verzeichnisse aussparen könnte (cams, logs) dann könnte es aber reichen :loveips:

Logs werden aktuell nicht mal gesichert. Und Module werden aktuell auch nicht gesichert (die willst du aber eigentlich ebenfalls sichern). Magst du mal schauen, wer bei dir so viel Platz verbraucht?

paresy

Genau.

Das ist mit 50% (3 GB) das Archive, welches von Jahr zu Jahr größer wird. Dann mit 500 MB Kamerabilder, die rollierend gelöscht werden und auch nicht gesichert werden müssten.

D.h. Zum Einspielen eines Backups bei fehlenden Modulen nicht geeignet?

Uli

Gesendet von iPhone mit Tapatalk

Das neuste IP-Symcon Update sollte die Problem unter Raspberry Pi und Ubuntu für dieses Modul lösen.

@ubittner: Es eignet sich schon, aktuell fehlen dann jedoch die Modul (die man manuell nachinstallieren kann). Ich erweitere das Modul zeitnah mit ein paar Optionen.

paresy

Confirm, Dateien werden hochgeladen (Ubuntu).

Uli

Update für das Modul ist verfügbar… Kann jedoch erst nach dem nächsten IP-Symcon Update installiert werden. (Kommt heute Abend)

  • Glitzer ist da
  • Filter können definiert werden
  • Module werden per Default mitgesichert
  • Zeit zwischen Backups kann eingestellt werden
  • Backup kann Aktiv/Inaktiv geschaltet werden
  • Alles ist jetzt übersetzt

paresy

Perfekt! Meinen herzlichen Dank.

Noch einige Fragen zu den Filtern:
ich nehme an, dass ich die nicht zu kopierenden Verzeichnisse aufzählen muss?
Muss ich das log-Verzeichnis auch auflisten?
Können auch Unterverzeichnisse genannt werden? Welcher Slash ist zu nehmen?

Wäre z.b. „db;cams“ richtig, wenn ich alles außer db, cams und logs kopieren möchte?

Korrekt. Logs werden unter Windows automatisch gefiltert. Bei Linux und co sind die gar nicht Teil vom relevanten Daten Ordner.

Es müsste das normale Slash sein. Falls es nicht geht würde ich noch mal gucken. db/2018 sollte also auch ein gültiger Filter sein.

paresy

Der Upload lief die Nacht mit Filter „db;cams“ durch.

Es gab allerdings ca. eine Stunde vor dem Ende eine Fehlermeldung:

17.07.2019 03:52:55 | 26392 | ERROR   | TimerPool            | Sync (Dropbox) (Upload): <br />
<b>Notice</b>:  Undefined index: error_summary in <b>C:\IP-Symcon\modules\SyncDropbox\libs\vendor\lukebaird\dropbox-v2-php-sdk\sdk\Dropbox\Files.php</b> on line <b>646</b><br />

Von daher bin ich nicht ganz sicher, ob wirklich alles kopiert wurde.

Wenn ich nun „Sync erzwingen“ anwähle, kommt es immer zu einer Zeitüberschreitung

17.07.2019 08:03:14 | 26392 | ERROR   | TimerPool            | Sync (Dropbox) (Sync): <br />
<b>Fatal error</b>:  Maximum execution time of 30 seconds exceeded in <b>C:\IP-Symcon\modules\SyncDropbox\SyncDropbox\module.php</b> on line <b>210</b><br />
Abort Processing during Fatal-Error: Maximum execution time of 30 seconds exceeded
   Error in Script C:\IP-Symcon\modules\SyncDropbox\SyncDropbox\module.php on Line 210

wobei „Sync wird ausgeführt …“ weiterhin angezeigt wird. Debugausgaben erfolgen keine.

Und noch eine letzte Frage: in der Übersicht steht Backupgröße: 315,92 MB. Worauf bezieht sich die Größe? Tatsächlich wurde ca. 2 GB kopiert.

Ergänzung:
Der Sync arbeitet dann doch. Im Debug steht jedoch z.B.:

17.07.2019, 10:17:09 |               Upload | Remaining = Add: 5717, Update: 1, Remove: 0
17.07.2019, 10:17:10 |               Upload | Adding file... modules/.store/fonzo.ipsymconifttt/docs/de/img/configflowa.png. Size 22,14 kB

Es sieht so aus, als ob er wieder von vorne anfängt.

Ich habe noch ein Update hochgeladen, welches dir erlaubt das Timeout direkt zu setzen. Damit sollte sich das 30 Sekunden Problem lösen lassen. Die Größe sollte eigentlich die tatsächliche Größe sein, die wir auch nachher in der Dropbox hochgeladen haben.

Die Fehlermeldung würde ich erstmal aus „Ausreißer“ ignorieren. Falls es öfters passiert, würde ich sonst noch einmal schauen.

paresy

Super, jetzt mit erhöhtem Zeitlimit läuft es durch.

Ein kleines Problem gibt es wohl noch mit Umlauten im Dateinamen: die Dateien tauchen immer wieder in der Add Liste auf. Sie werden immer wieder übertragen, obwohl sie bereits in der Dropbox liegen.

Hast du mal ein Beispiel? Bei mir geht es problemlos mit Umlauten.

paresy

Hier der dump vom Sync. Es sind 20 Dateien mit Umlauten.

Anhang entfernt wegen mailadresse

Hm. Ich kann das hier nicht nachstellen. Habe auch mal dein Modul in Module Control hinzugefügt. (Dort ist ja eine Datei drin…) Aber auch die lädt er nur einmal hoch.

Welches Windows? Hast du irgendeine Besonderheit? Dein Dateisystem ist NTFS?

paresy

PS: Ich habe noch ein Update für das Modul hochgeladen, sodass beim Delete die Mail-Adresse nicht mehr angezeigt wird

Schon seltsam.

Bei mir toggelt er bei jedem Sync Lauf zwischen

Sync = Add: 20, Update: 0, Remove: 20

und

Sync = Add: 20, Update: 0, Remove: 0

In der DropBox tauchen sie erst auf und werden dann wieder gelöscht.

Auffällig ist, dass die Dateinamen beim Löschen nicht case-sensitiv sind:

17.07.2019, 16:33:43 | Upload | Deleting file… /modules/blindcontrol/docs/rollladen_geöffnet.jpg

Aber das ist sicherlich nur ein Ausgabeproblem

Es ist ein normales Windows 10 mit NTFS.