Fragen zu Daten / Graphen / Charts

Die Kurven aus den Variablen sind einfach zu erstellen, die Funktionalität aber noch beschränkt.

chart2
Wenn ich z.B. wissen will wie hoch die maximum oder die Ausschläge waren muss ich das abschätzen.
Es wäre daher sinnvoll wenn die X+Y Position des Cursors angezeigt wurden wie in anderen Programmen:

bei der RAW oder HD Ansicht könnten dann auch die Zeitachse der Messwerte ermittelt werden.

Dann stellt sich mir die generelle Frage: Wo und wie werden die Daten in IPS gespeichert, in einer Datenbank ?

Aktuell gibt es noch keine Hover-Elemente für die Min/Max Graphen. Die neue Visualisierung wird dies aber unterstützen.

Wir speichern die Daten im DB Ordner als simple CSV Daten. Das Format ist hier erklärt: Datenformat — IP-Symcon :: Automatisierungssoftware

paresy

Danke für die Antwort.
Keine Datenbank ? Wie sollen denn die aufgenommenen Daten gespeichert werden, wenn diese mehrere Jahre aufgezeichnet werden ? Die CSV-Dateien können ja schnell recht gross werden.
Der Aufbau von Graphen bzw. die Indexierung und Abfrage von Daten aus CSVs erachte ich dann als problematisch weil recht langsam.
Ich arbeite seit über 20 Jahren mit datengetriebenen Applikationen ich wüsste nicht wie ich das ohne Datenbanken angehen sollte. Mann kann sich über die Datenbank auch Daten aufbereiten oder zusammenstellen lassen.
Hätte IP-Symcon eine Datenbank liesse sich diese auch sinnvoll backupen oder clustern für die Hochverfübarkeit. Es gibt genügend kostenfreie und skalierbare Datenbanken z.B. MySQL/Maria DB oder SQL-Server Express, Oracle DB oder Influxdb. Letztere optimal für Daten aus Zeitreihen
Für die Geräteintegration und Steuerung ist IPS sicher gut geeignet. Die Datenaufnahme, Auswertung und Visualisierung ist aber noch eingeschränkt.
Gibt es Pläne für IPS dies zu ändern und zu erweitern ?

Ich gebe dir vollkommen Recht!
Zumindest sollte IPS eine Möglichkeit bieten, die Daten alternativ in einer Datenbank zu speichern. Ich favorisiere da InfluxDB als Time-Series Database. Dann wäre auch das leidige Thema mit „Speichern von Daten in der Zukunft“ für z.B. Ertragsvorhersagen gelöst. Man kann sich da zwar was bauen, um die Daten in eine DB zu schreiben, das ist aber letztlich nur „Gefrickel“.
@paresy : denkt doch bitte mal darüber nach….

Keine Pläne. Wie schon an vielen Stellen erörtert, bieten die CSV Dateien für die Rohdaten und die zusätzlichen CSV Dateien für die fortlaufende Aggregation alles was wir für unsere Graphen und Auswertungen benötigen. Das Format ist simpel, schlank, komprimierbar, es lässt sich extrem simpel backupen, ausdünnen, korrigieren und Datenkorruption ist seit Jahren kein Thema. Und die Performance für unsere Use-Cases ist auch stimmig.

Wer dringend für andere Zwecke eine echte Datenbank braucht, der kann sich z.B. über das Modul von @Nall-chan direkt alles nach MySQL schieben. Ebenso gibt es Konnektoren für andere Datenbanken.

Ich kann verstehen, dass eingefleischte Datenbank-Fans Schwierigkeiten mit dem simplen Format haben, aber wenn sogar User unser Format für Home Assistant nachbauen wollen (Recorder type in CSV form like IP Symcon is using it - Feature Requests - Home Assistant Community), fühlen wir uns schon geehrt :slight_smile:

paresy

Dann werde ich mir mal das Modul von @Nall-chan und die Konnektoren anschauen.
Betreffend Datenkorruption in einer CSV Datei habe ich da andere Ansichten.

Nichts für ungut @paresy , ich nutze Symcon seit Jahren und möchte, dass es auch so bleibt :slight_smile: .
Aber, wenn man es genau betrachtet, ist der Feature Request, den du genannt hast, von einem langjährigen IP Symcon Nutzer gestellt worden und niemand hat darauf geantwortet oder dafür gevotet. Da stellt sich schon die Frage, ob das wirklich so eine gute Idee ist.
Ich würde das ganze Thema nicht thematisieren, wenn es eine Lösung für Zukunftsdaten im Archiv gäbe. Dann wäre ich schon zufrieden… so bin ich gezwungen, die Daten irgendwie nach InfluxDB zu bekommen, mit dem sehr unschönen Nebeneffekt, dass es das System sehr stark belastet, vor allen Dingen, wenn Daten im Sekundentakt kommen (z.B. Verbrauchsdaten). Oder andere Lösungen hier aus dem Forum nutzen, wo man wissen muss, welche Farbe nun die Zukunftsdaten darstellen, weil die Daten in die Vergangenheit geschrieben wurden… Das ist dann für mich „Gefrickel“… ich würde mir da für Symcon eine bessere Lsöung wünschen…

Dies ist definitiv nicht ausgeschlossen (und auch mit dem aktuellen Archiv-Format realisierbar) nur eben nicht auf unserer Prio Liste aktuell. Den Use-Case haben wir in dem anderen Thema definitiv verstanden - aktuell sind wir nur mit der Visualisierung und anderen Themen ausgelastet, sodass wir es nicht schnell zwischenschieben können. :slight_smile:

paresy

1 „Gefällt mir“