IP-Symcon Archiv ausdünnen ...

Liebes IP-Symcon Team

Mein IP-Symcon Archiv ist durch langer intensiver IP-Symcon Nutzung schon wirklich sehr groß geworden.
Ich hab jetzt schon mehrere Stunden investiert aus jetziger Sicht ‚unnötige‘ Daten zu löschen (mit AC_DeleteVariableData).
Aber trotzdem habe ich noch 248.887.474 geloggte Datensätze (also faste eine viertel Milliarde)

Eine neue Archiv Control Funktion welche im ersten Schritt geloggte ‚Zähler‘ Variablen ‚ausdünnen / reduzieren‘ könnte, wäre für mich und wahrscheinlich vielen anderen IP-Symcon User Super Cool!

Ich versuche das gleich mal so zu beschreiben:


array AC_ReduceLoggedValues ( integer $InstanzID, integer $VariablenID, integer $Aggregationsstufe, integer $Startzeit, integer $Endzeit, integer $Round )

Diese Funktion reduziert geloggte Rohdatensätze der Variable mit der ID VariablenID 
im Zeitraum von Startzeit bis inklusive Endzeit auf die angegebene Aggregationsstufe

InstanzID                    ID zum Archiv
VariablenID                ID der abzufragenden Variablen
Aggregationsstufe     wie in IP-Symcon üblich (0 = stündlich … 6)
Startzeit                     Datum/Zeit als Unix Zeitstempel
Endzeit                       Datum/Zeit als Unix Zeitstempel
Round                         Rundet den geloggten Variablen Wert auf die angegebenen Nachkommastellen (optional)

Was möchte ich damit erreichen:
Ich möchte meine jahrelang geloggten Daten (z.B. der Wirkarbeit [kW] meiner vielen Stromzähler nicht ganz verlieren/löschen.
Für Historie Daten wäre es aber total ausreichend diese auf einen ‚stündlichen‘ oder ‚täglichen‘ Archiv Eintrag zu reduzieren!
In meinen IP-Symcon Anfängen ist es mir leider passiert, das ich Foat Variablen mit zu höher Genauigkeit geloggt habe (z.B. 7889.549361586). Dies wirkt sich seit der Umstellung auf das CSV Archiv bei vielen geloggten Datensätzen relativ stark auf die CSV-File Größe aus. Darum wäre so ein ‚Round‘ Parameter nicht schlecht.
Vielleicht sollte man so eine ‚Archiv Round‘ Funktion auch als eigene Funktion andenken damit man diese auch auf ‚Standard geloggte Variablen‘ anwenden kann!!

Zusatz: Natürlich wäre ich auch für ganz andere Lösungswege offen.
Auch eine eigenständiges Programm welches direkt auf die CSV-Files los geht wäre denkbar.

F R A G E : Kann ich auf so eine Funktion vor 2020 hoffen, ich wäre echt dankbar dafür!

DANKE und lg.
Günter

So eine Funktion wäre auch für mich interessant.

Es wäre auch schön wenn man geloggte Daten von eine Start Datum bis zum End Datum löschen könnte. Da man diese nicht mehr braucht.

ich behalte meine Daten max. 3 Jahre, dann sichere ich den Jahrgang irgendwohin und reaggregiere die restlichen Daten neu. Sollte ich mal an irgendwelche Daten ranmüssen, kann ich das Verzeichnis zurückkopieren und neu aggregieren.
Meistens interessieren mich nur Jahres- und Vorjahresdaten

Hi
Sowas wünsch ich mir schon seit damals als vor etwa 10 Jahren der Support für die RRD Datenbank eingestellt wurde.:rolleyes:

  • schau ma mal, wird ja bald Weihnachten.

Eigentlich sollte es gar keine separat aufzurufende Funktion sein, sondern eine Eigenschaft jeder Variable, einstellbar dort wo man auch das logging der Variable einschaltet. - träum -

Aktuelle Abhilfe gegen eine überbordende Datenbank ist irgendwannmal im Jänner die Vorjahre zu zippen. Dadurch reduziert sich übrigens auch die Startzeit und der Speicherverbrauch enorm.-
Und mal ehrlich, ich hab den ganzen alten Datenmüll noch nie gebraucht…nix ist so langweilig wie die Daten von gestern.

schönes Wochenende wünscht
bb

ich hab den ganzen alten Datenmüll noch nie gebraucht

nice to have
evtl mal die Aussentemps

Ich würde so eine Funktion auch sehr begrüßen.
Besonders für Langzeitdaten wie Außentemperatur, Gasverbrauch, Strom, Solarertrag wäre es schon interessant.
Vor allem weil gerade diese Variablen eine sehr hohe Datendichte aufweisen.

Ich finde auch dass diese Funktion bei IPS noch fehlt.

Hätte das 2013 schon mal angefragt…
https://www.symcon.de/forum/threads/23273-Archive-Handler-Daten-l%C3%B6schen

Vielleicht wird es dieses mal was…

Hallo,

Ja, genau so etwas benötige ich auch dringend.:smiley:

Für alles was älter als 2 Jahre ist benötige ich nur noch die Agregierten Werte. Die Rohdaten könnten gelöscht werden.

viele Grüße
cervicor

Die Rohdaten könnten gelöscht werden

was hält dich davon ab ?

Verständnisfrage: Bleiben bereits aggregierte Daten bei zukünftigen Aggregationen erhalten, wenn die zu Grunde liegenden Rohdaten gelöscht werden?

müssten eigentlich, wenn… die Variable nicht mehr geloggt wird / nicht mehr existiert

mich interessiert besonders, wie ich Vari-Leichen in den Verzeichnissen entferne. Also das nur noch vorhandene Variablen auch wirklich als Files da sind. OK die Leichen stören jetzt nicht wirklich, habe aber immer gern ein sauberes System

Wenn die Rohdaten gelöscht werden und dann eine Reaggregation gestartet wird, dann werden die aggregierten Daten komplett neu auf Basis der aktuellen Rohdaten generiert. Die aggregierten Daten zu den gelöschten Rohdaten würden also auch wegfallen.

In der nächsten Iteration des Archive schauen wir mal, was wir da schönes einbauen können.

… hab das Ticket schon gesehen. :slight_smile: Würde ein ganz dickes :loveips: verdienen wenn da tatsächlich mal was kommt.
gruß
bb

Wurde daraus etwas?

Vor ein paar Jahren gab´s von Raketenschnecke diese geniale Aggregations- und Löschskripte, mit dem man einzelne Variablen entsprechend konfigurieren konnte (Behaltedauer usw.)

Wir haben dies weiterhin geplant. Noch etwas Geduld :slight_smile:

paresy

Wäre schön, wenn das käme. Könnte ich auch gebrauchen