[Modul] Sync für Dropbox

Mulumu · 27. März 2023 um 09:42

Hi Zusammen,

leider tritt das Problem nach wie vor auf - kann ich hier was machen?
LG Dennis.

gogo20012002 · 27. März 2023 um 10:59

Hallo @paresy
ich möchte gerne die aggregierten Dateien von der Synchronisierung ausklammern. Dazu habe ich den folgenden Filter eingetragen → db/*.csv
Leider werden die Dateien immer noch übertragen. Kannst du mir sagen, was ich da eintragen muss?
Gruß

paresy · 21. April 2023 um 13:48

@gogo20012002 Das geht leider nicht, da wir keine Wildcards unterstützen.

Ab sofort steht übrigens die Version 1.6 als Beta im Store bereit. Dort habe ich das Error Handling verbessert, sodass wir mal hoffentlich ordentliche Fehlermeldungen bekommen. Ich freue mich also auf eure Rückmeldung, falls ihr weiterhin Fehlermeldungen bekommt und welche dies dann sind.

paresy

demel42 · 21. April 2023 um 15:53

erster Start

21.04.2023, 16:05:38 |     FetchAccessToken | OK! Access Token is valid until 21.04.23 20:01:32
21.04.2023, 16:05:47 |                Index | Total Backup Size: 2,32 GB, Upload Size: 2,32 GB
21.04.2023, 16:05:47 |                 Sync | We have 0 files in your Dropbox (FileCache: 22 B)
21.04.2023, 16:05:47 |                 Sync | Sync = Add: 66704, Update: 0, Remove: 0 (FileQueue: 639,06 kB)

Meldung: „too many Files“ (oder so ähnlich, steht leider nur in der Maske, nicht im Debug) → keine Synchronisation

Dann per „Filter“ „modules“ herausgenommen (sind 24697 Dateien), neuer Start … synchronisiert …

21.04.2023, 16:06:39 |     FetchAccessToken | OK! Access Token is valid until 21.04.23 20:01:32
21.04.2023, 16:07:16 |                Index | Total Backup Size: 2,23 GB, Upload Size: 2,23 GB
21.04.2023, 16:07:16 |                 Sync | We have 0 files in your Dropbox (FileCache: 22 B)
21.04.2023, 16:07:16 |                 Sync | Sync = Add: 42007, Update: 0, Remove: 0 (FileQueue: 135,22 kB)
21.04.2023, 16:07:16 |                 Sync | Upload will start in 10 seconds...
21.04.2023, 16:07:26 |     FetchAccessToken | OK! Access Token is valid until 21.04.23 20:01:32
21.04.2023, 16:07:26 |               Upload | Adding file... backup/settings1679954700.json. Size 9,03 MB

ok, (erstmal) auch „db“ herausgenommen (37370 Dateien), Filter ist also „modules;db“, nun sind es noch 4637 Dateien … zum Test handlicher

21.04.2023, 16:16:20 |                Index | Total Backup Size: 286,94 MB, Upload Size: 52,89 MB
21.04.2023, 16:16:20 |                 Sync | We have 32 files in your Dropbox (FileCache: 374 B)
21.04.2023, 16:16:20 |                 Sync | Sync = Add: 4605, Update: 0, Remove: 0 (FileQueue: 19,44 kB)

Dann, nach längerer Zeit steht die Meldung drin

21.04.2023 16:37:14 | TXT | Upload | Adding file... scripts/deleted/28327.ips.php. Size 5,13 kB
21.04.2023 17:16:20 | TXT | ReSync | Skipping. Upload has not completed yet
21.04.2023 17:47:29 | TXT | FetchAccessToken | OK! Access Token is valid until 21.04.23 20:01:32
21.04.2023 17:47:29 | TXT | FetchAccessToken | OK! Access Token is valid until 21.04.23 20:01:32

scheint zur Ruhe gekommen zu sein, da tut sich erstmal nichts mehr, auch in Dropbox selber ist die o.g. Datei, die letzte, die hochgeladen wurde.

Das Modul meint, das Upload ist noch nicht fertig, auch die Variable Letztes abgeschlossenes Backup ist dazu passend nicht gesetzt

Nachtrag:

es kommt nun jede Stunde

21.04.2023 18:16:20 | TXT | ReSync | Skipping. Upload has not completed yet
21.04.2023 19:16:20 | TXT | ReSync | Skipping. Upload has not completed yet

Nachtrag #2:

22.04.2023 08:16:20 | TXT | ReSync | Skipping. Upload has not completed yet
22.04.2023 08:34:11 | TXT | FetchAccessToken | OK! Access Token is valid until 22.04.23 11:52:10
22.04.2023 08:34:11 | TXT | FetchAccessToken | OK! Access Token is valid until 22.04.23 11:52:10
22.04.2023 08:34:11 | TXT | FetchAccessToken | OK! Access Token is valid until 22.04.23 11:52:10
22.04.2023 08:34:11 | TXT | FetchAccessToken | OK! Access Token is valid until 22.04.23 11:52:10
22.04.2023 08:36:28 | Stopping debug session...

IPS-Reboot

22.04.2023 08:38:37 | Starting debug session...
22.04.2023 08:41:47 | TXT | FetchAccessToken | OK! Access Token is valid until 22.04.23 12:38:31
22.04.2023 08:41:47 | TXT | FetchAccessToken | OK! Access Token is valid until 22.04.23 12:38:31
22.04.2023 08:41:52 | TXT | Index | Total Backup Size: 287,57 MB, Upload Size: 56,72 MB
22.04.2023 08:41:52 | TXT | Sync | We have 598 files in your Dropbox (FileCache: 6,12 kB)
22.04.2023 08:41:52 | TXT | Sync | Sync = Add: 4040, Update: 11, Remove: 1 (FileQueue: 16,86 kB)
22.04.2023 08:41:52 | TXT | Sync | Upload will start in 10 seconds...
22.04.2023 08:42:02 | TXT | FetchAccessToken | OK! Access Token is valid until 22.04.23 12:38:31
22.04.2023 08:42:02 | TXT | Upload | Adding file... backup/settings1682114980.json. Size 9,64 MB
...
22.04.2023 08:50:52 | TXT | Upload | Remaining = Add: 3776, Update: 11, Remove: 1
22.04.2023 08:50:53 | TXT | FetchAccessToken | OK! Access Token is valid until 22.04.23 12:38:31
22.04.2023 08:50:53 | TXT | Upload | Adding file... scripts/deleted/54017.ips.php. Size 70,55 kB
22.04.2023 09:41:52 | TXT | ReSync | Skipping. Upload has not completed yet
22.04.2023 10:41:52 | TXT | ReSync | Skipping. Upload has not completed yet
...
22.04.2023 11:18:04 | Stopping debug session...

nach 1h wieder Ende der Übertragung, in der Imstanzmaske läuft aber weiter der „Balken“
Hinweis: Sync-Intervall ist 60m
IPS-Reboot, Sync-Intervall auf 360m gestellt

22.04.2023 11:18:45 | Starting debug session...
22.04.2023 11:23:07 | TXT | FetchAccessToken | OK! Access Token is valid until 22.04.23 15:18:36
22.04.2023 11:23:10 | TXT | Index | Total Backup Size: 287,59 MB, Upload Size: 46,78 MB
22.04.2023 11:23:10 | TXT | Sync | We have 862 files in your Dropbox (FileCache: 8,21 kB)
22.04.2023 11:23:10 | TXT | Sync | Sync = Add: 3776, Update: 12, Remove: 1 (FileQueue: 15,77 kB)
22.04.2023 11:23:10 | TXT | Sync | Upload will start in 10 seconds...
22.04.2023 11:23:20 | TXT | FetchAccessToken | OK! Access Token is valid until 22.04.23 15:18:36
22.04.2023 11:23:20 | TXT | Upload | Adding file... scripts/deleted/54017.ips.php. Size 70,55 kB
...
22.04.2023 11:36:03 | TXT | Upload | Adding file... webfront/skins/SkinDark/icons/Factory.png. Size 4,58 kB
22.04.2023 11:37:30 | TXT | FetchAccessToken | OK! Access Token is valid until 22.04.23 15:18:36
22.04.2023 11:37:30 | TXT | FetchAccessToken | OK! Access Token is valid until 22.04.23 15:18:36
22.04.2023 11:37:30 | TXT | FetchAccessToken | OK! Access Token is valid until 22.04.23 15:18:36
22.04.2023 11:37:30 | TXT | FetchAccessToken | OK! Access Token is valid until 22.04.23 15:18:36

Upload hängt wieder, Meldung in logfile.log:

22.04.2023 11:36:04 | 17597 | ERROR   | TimerPool            | Sync (Dropbox) (Upload): 
Fatal error: Uncaught Exception: too_many_write_operations/.. in /var/lib/symcon/modules/.store/de.paresy.sync.dropbox/libs/Dropbox.php:43
Stack trace:
#0 /var/lib/symcon/modules/.store/de.paresy.sync.dropbox/libs/Dropbox.php(133): Dropbox\Dropbox::postRequest('https://content...', Array, '\x89PNG\r\n\x1A\n\x00\x00\x00\rIHD...')
#1 /var/lib/symcon/modules/.store/de.paresy.sync.dropbox/SyncDropbox/module.php(743): Dropbox\Files->upload('/christian@dams...', '/var/lib/symcon...')
#2 /var/lib/symcon/scripts/__generated.inc.php(6491): SyncDropbox->Upload()
#3 /-(1): SDB_Upload(17597)
#4 {main}
  thrown in /var/lib/symcon/modules/.store/de.paresy.sync.dropbox/libs/Dropbox.php on line 43

Nachtrag 3
nach erneutem IPS-Reboot

22.04.2023 11:52:18 | Starting debug session...
22.04.2023 11:56:56 | TXT | FetchAccessToken | OK! Access Token is valid until 22.04.23 15:52:11
22.04.2023 11:56:56 | TXT | FetchAccessToken | OK! Access Token is valid until 22.04.23 15:52:11
22.04.2023 11:57:00 | TXT | Index | Total Backup Size: 287,6 MB, Upload Size: 34,22 MB
22.04.2023 11:57:00 | TXT | Sync | We have 1239 files in your Dropbox (FileCache: 11,1 kB)
22.04.2023 11:57:00 | TXT | Sync | Sync = Add: 3399, Update: 13, Remove: 1 (FileQueue: 13,71 kB)
22.04.2023 11:57:00 | TXT | Sync | Upload will start in 10 seconds...
...
22.04.2023 12:42:34 | TXT | Upload | Remaining = Add: 2067, Update: 13, Remove: 1
22.04.2023 12:42:35 | TXT | FetchAccessToken | OK! Access Token is valid until 22.04.23 15:52:11
22.04.2023 12:42:35 | TXT | Upload | Adding file... webfront/user/doc/2018-10-29/details/33913.md. Size 485 B

und

22.04.2023 12:42:46 | 17597 | ERROR   | TimerPool            | Sync (Dropbox) (Upload): 
Fatal error: Uncaught Exception: too_many_write_operations/ in /var/lib/symcon/modules/.store/de.paresy.sync.dropbox/libs/Dropbox.php:43
Fatal error: Uncaught Exception: too_many_write_operations/ in /var/lib/symcon/modules/.store/de.paresy.sync.dropbox/libs/Dropbox.php:43
Stack trace:
#0 /var/lib/symcon/modules/.store/de.paresy.sync.dropbox/libs/Dropbox.php(133): Dropbox\Dropbox::postRequest('https://content...', Array, '# Variable: WL
A...')
#1 /var/lib/symcon/modules/.store/de.paresy.sync.dropbox/SyncDropbox/module.php(743): Dropbox\Files->upload('/christian@dams...', '/var/lib/symcon...')
#2 /var/lib/symcon/scripts/__generated.inc.php(6491): SyncDropbox->Upload()
#3 /-(1): SDB_Upload(17597)
#4 {main}
  thrown in /var/lib/symcon/modules/.store/de.paresy.sync.dropbox/libs/Dropbox.php on line 43

Nachtrag 4

nach dem x’ten IPS-Neustart hat er es beenden können

22.04.2023 17:51:29 | TXT | Upload | Updating file... settings.json. Size 9,73 MB
22.04.2023 17:51:33 | TXT | Upload | Remaining = Add: 0, Update: 0, Remove: 1
22.04.2023 17:51:34 | TXT | FetchAccessToken | OK! Access Token is valid until 22.04.23 21:31:02
22.04.2023 17:51:34 | TXT | Upload | Deleting file... backup/settings1679954700.json
22.04.2023 17:51:36 | TXT | FetchAccessToken | OK! Access Token is valid until 22.04.23 21:31:02
22.04.2023 17:51:36 | TXT | Upload | Finished

Ich denke, es gibt zur Zeit 3 Probleme

viel zu viele Dateien → Instanz startet den Upload gar nicht
Dauer eines Sync länger als das ReSync-Intervall → Instanz bleibt irgendwie hängen (beendet den Sync nicht, startet aber auch nicht neu)
die o.g. System-Error-Meldung

marvus · 13. Mai 2023 um 11:31

Hallo,
leider ist mir gestern bei der Aktualisierung (update/upgrade) meine Raspberry Pi Bullseye, das komplette Betriebssystem zerschossen. Gut, ich habe es neu aufgesetzt und wollte das letzte Backup aus der Dropbox einspielen.

Gesagt, getan. Jetzt habe ich aber das Problem, dass mir bei jedem Ablaufplan folgende Nachricht entgegenspringt:

Meine riesen Befürchtung ist jetzt, dass alle Ablaufpläne neu erstellt werden müssen. Das ist natürlich der Horror, da ich teilweise gar nicht mehr genau weiß, was ich alles wo und wie eingestellt habe.

Sagt mir bitte, ob das noch irgendwie zu retten ist.
Viele Grüße
marvus

paresy · 13. Mai 2023 um 11:42

Sind die Dateien denn da im scripts Ordner? Fehlen die generell?

paresy

marvus · 13. Mai 2023 um 11:53

Hallo Paresy, laut Dropbox sind es 3218 Dateien.

Muss ich denn „nur“ den Backupordner in das Homeverzeichnis kopieren oder alle Dateien? In der Dropbox sind ja deutlich mehr. Ich habe zwar beide Varianten schon ausprobiert, welche zum gleichen Ergebnis führen, aber vielleicht versteckt sich hier irgendwo der Fehler.

paresy · 13. Mai 2023 um 11:57

Alle. Ansonsten ist klar dass etwas fehlt.

paresy

marvus · 13. Mai 2023 um 12:03

Alles klar, ich habe es hinbekommen. Danke.
Aber ich musste mit dem Befehl

sudo unzip backup.zip -d /var/lib/symcon/

Das Wort „backup“ immer gegen alle anderen ZIP-Dateinamen austauschen. Sprich alle Zip Ordner einzeln entpacken. Das ging mir aus der Dokumentation so nicht hervor. Obwohl alle ZIP Dateien im Homeordner waren, reichte es nicht aus nur die „Backup.zip“ Datei zu entpacken.
Egal, ich merke es mir und freue mich, dass nun alles wieder da ist

Danke für die schnelle Reaktion

bem · 18. Juli 2023 um 07:14

Moin in die Runde,

seit ich die 7er Testversion auf der Symbox habe, funktioniert der Dropbox-Sync nicht mehr.
Hat das Problem noch jemand? Liegt es an der V7 oder muss ich die Ursache wo anders suchen?

Gruß
BEM

paresy · 18. Juli 2023 um 11:48

Hast du Fehlermeldungen? Bei mir läuft es einwandfrei.

paresy

bem · 18. Juli 2023 um 13:49

Sonst wurde mir immer angezeigt, wann das letzte Update gelaufen hat, aber das ist durch die vielen Updates wahrscheinlich auch vorbei.
Eine Version von Ende Juni liegt in der Dropbox.

Stimmt an den Einstellungen vielleicht etwas nicht, aber kann ich sonst irgendwo etwas sehen?
Im Debug steht nix drin, das ist leer.

bem · 28. Juli 2023 um 10:33

Hallo,
hat noch jemand eine Idee, wie ich das Problem einkreisen könnte?

VG
Der BEM

micserver · 3. August 2023 um 09:27

Habe ein ähnliches Problem:
Der Upload will nicht starten (so sagt es zumindest die Anzeige:

Der Upload beginnt, man sieht erste Dateien hoch rauschen … dann hängt es …

… und da hängt er …

Frage mich was er auf „…C:\ProgramData…“ macht … Symcon läuft seit Ewigkeiten auf einem Syn NAS im Docker ???

paresy · 3. August 2023 um 09:35

Kannst du mal in deinem „scripts“ Ordner schauen, ob da nicht ggf. eine Datei drin ist die sich etwas doof nennt?

paresy

micserver · 3. August 2023 um 09:45

Ja, tatsächlich …fragt sich wie der Mist da reingekommen ist:

Hab’s gelöscht …scheint zu laufen
Hätt ich auch selbst drauf kommen können - Danke!

bem · 4. August 2023 um 04:28

Moin,
kann ich das auf der Symbox auch nachsehen?

paresy · 4. August 2023 um 05:04

Klar. Das kannst du mit WinSCP machen.

paresy

bem · 4. August 2023 um 06:04

Vom MAC wird das nix, habe ich auch gerade in einem anden Thread schon nachgelesen.

[FTP Zugriff auf die Symbox]

… dann muss mal wieder die alte Windoofmaschine aus der Ecke angemacht werden

alsk1 · 5. August 2023 um 07:19

Meine letzte erfolgreiche Synchronisierung war am 18.07.23 und seitdem bekomme ich immer diesen Fehler wenn ich einen Sync anstoßen möchte: