Zur 5.5 steht ein großer Umbau im Archiv an. Als erster Schritt haben wir einiges umstrukturiert und überarbeitet. Hiervon sollten für die Verwendung erst einmal nur Kleinigkeiten sichtbar sein. Wir waren aktuell insbesondere im Unterbau aktiv waren, werden aber zeitnah mit coolen neuen Features weitermachen.
Bevor ihr dies ausprobiert, hätten wir eine Bitte an euch:
Macht bitte VOR dem Update vom 10.09. mal eine vollständige Reaggregation und messt die Dauer.
Macht NACH dem Update eine weitere Reaggregation und messt die Dauer
Postet eure Ergebnisse
Ansonsten seid ihr ja wahrscheinlich trotzdem neugierig, was die „sichtbaren Kleinigkeiten“ sind:
Die Aggregationen werden nicht mehr im Arbeitsspeicher gehalten, sondern bei Bedarf aus der Datei gelesen. Dies sollte den Arbeitsspeicherverbrauch von IP-Symcon signifikant senken.
Wird das Logging einer Variablen erstmals aktiviert, wird auch direkt der aktuelle Wert geloggt. Dies ist beispielsweise toll, wenn ihr euren Zähler, der noch auf 0 steht anfangt zu loggen und dann auch tatsächlich diese 0 als Referenzwert für zukünftige Delta verwendet wird.
Die Aggregationsdaten einer Zählervariable beginnen direkt beim ersten geloggten Wert, auch wenn der aggregierte Wert bis zum zweiten Rohwert natürlich 0 ist, da es ja noch keine positiven Deltas gibt.
Das Archiv findet nun auch Aggregationsdaten ohne Rohdaten (also beispielsweise eine einzelne <VariablenID>.year.csv) und zeigt diese mit 0 Werten im Archiv an. Beim Aufräumen werden diese dann auch gelöscht.
Intern wird die Info über Datensätze und -größe pro Monat abgespeichert, ihr findet neue <VariablenID>.statistics.csv-Dateien im db-Ordner. Das lässt uns einige Operationen optimieren. Diese Dateien werden beim ersten Start generiert, wodurch dieser einmalig ein bisschen länger dauern kann.
Der erste Start mit der neuen Version kann übrigens ein wenig länger dauern, siehe oben
Daten seit knapp über 10 Jahren, knapp 63 Millionen Datensätze, ca. 1.05 GB
Vor Update 16 Minuten
Nach Update 15 Minuten
Vor dem Update und nach der Reaggregation war kurzzeitig ein großer Teil meines Swap frei, der wurde innerhalb von 30 Minuten, inkl. einem Stundenwechsel, wieder benutzt.
Nach dem Update verwendet symcon nach über einer Stunde Laufzeit und einem Stundenwechsel überhaupt keinen Swap mehr.
wenn Ihr am Archiv dran seit, darf man ein Wunsch äußern?
Und zwar wäre es schön bestimmte Variablen so einstellen zu können das diese 2 Wochen nur geloggt werden, was älter ist soll verfallen.
Dauer natürlich einstellbar, wäre das vielleicht möglich um zu setzen?
Der aktuelle Umbau ist nur ein Vortakt auf viele spannende neue Features des Archiv Auch Life Cycle Optionen sind geplant, auch wenn diese wohl nicht mehr zur 5.5 kommen. Damit soll man dann einstellen können, dass beispielsweise ältere Rohdaten ausgedünnt werden und so für Werte die älter als ein Jahr sind, nur noch ein Durchschnittswert pro Tag gespeichert wird anstatt alle Rohdaten von damals. Als letzte Stufe kann man dann sicherlich auch sagen, dass die Daten komplett gelöscht werden.
Das Problem der negativen Datensätze gibt es immer noch.
Meine Datenbank ist ca. 80% kleiner geworden.
Zeit zum reorganisieren ist fast gleich geblieben. (vorher / nachher)
@wibo050447: Kannst du mir mal die Daten von Variablen schicken, die bei dir eine negative Größe haben? Insbesondere die <ID>.statistics.csv dazu wäre spannend.