[Modul] ArchivdatenAnomalien

ArchivdatenAnomalien
Das Modul kann Anomalien im Archiv erkennen. Die Anomalien werden in einer Liste angezeigt und können direkt entfernt werden. Zusätzlich erstellt das Modul eine Bericht mit allen Werten welche gelöscht worden sind.

1. Voraussetzungen

  • IPS Version 6.0

2. Enthaltene Module

  • ArchivdatenAnomalien

3. Installation
Über den Modul Store!

4. Dokumentation

5. Spenden

Dieses Modul ist für die nicht kommerzielle Nutzung kostenlos, Schenkungen als Unterstützung für den Autor werden hier akzeptiert:


Amazon Wunschzettel

Grüße,
Kai

2 „Gefällt mir“

Changelog

07.07.2023 - Version 1.0 (Stable)
04.07.2023 - Version 1.0 (Beta)

Servus Kai

Könntest du bitte ein wenig dokumentieren wie du „Anomalie“ definierst ?
ich mein das ist ja ein ziemlich heikles Ding sowas automatisieren zu wollen. Eine sog. Anomalie kann bei bestimmten Datensätzen ja durchas normal sein, andererseits kann etwas das für einen Algorythmus normal aussieht evtl. doch nicht so normal sein.

Interessannt und hilfreich kann es in jedem Fall sein, wobei ich eigentlich der Ansicht bin das dies eine Core Aufgabe (Variablenprofil) von IPS sein sollte.

greez
Bernhard

Habe es gleich mal installiert und mir fehlen in den 2 oberen Spalten die Variablen ID´s zu jeder geloggten Variable. Damit ich diese mit der Überprüfungsliste darunter vergleichen kann.

Was mir außerdem fehlt,ist ein Fortschrittsbalken. Ich weiß nicht, ob aktuell noch durchsucht wird oder aber nichts gefunden wurde.

richimaint

Hi,
kleiner Hinweis es scheinen nur Zähler zu sein und auch nur da hat man Ansatzpunkte. Sollte vielleicht erwähnt werden.

p.s. erinnert mich an eine Frage :grin:

Ralf

Das mit dem Fortschritt muss ich mir mal anschauen.

Da gebe ich dir recht. Da sollte auch eine Meldung kommen, wenn man eine andere Varibale auswählt.
Das Module basiert auf deiner Funktion, die du mal irgendwo hier im Forum gepostet hast.

Das ist die Median Funktion die @HarmonyFan mal gepostet hatte: Wie funktionier AC_GetLoggedValues? - #2 von HarmonyFan

Grüße,
Kai

1 „Gefällt mir“

Hi Kai,
schön wäre ein Punkt „Seit letztem Aufruf“ oder „letzten X Tage“ dann bräuchte man nicht immer 2 Datümmer eingeben. Und vielleicht per Timer mit Mitteilungs-Mail.

Ralf

Ich bekomme folgenden Fehler, wenn die Zeitreihe recht viele Werte hat.

Fatal error: Allowed memory size of 33554432 bytes exhausted (tried to allocate 20480 bytes) in C:\ProgramData\Symcon\modules\ArchivdatenAnomalien\ArchivdatenAnomalien\module.php on line 123

Allerdings steigt im Taskmanager der Speicherbedarf nicht an. Ist IPS irgendwo speicherseitig limitiert und wenn ja kann ich diese Schwelle hoch setzen.

Ich schaue mir das mal an und mache mir mal Gedanken dazu.
Was für einen Zeitraum hast du denn angegeben?

Grüße,
Kai

waren 2 Jahre und die Zeitreihe in 5 Minutenintervall. Ich habe 16GB RAM, aber die Auslasting ist wie gesagt nicht hoch gegangen. Es scheint so, als ob IPS da ein Limit hat und gar nicht mehr nimmt, selbst wenn mehr im Rechner ist.

Das Limit wird durch IP-Symcon bzw. PHP gesetzt.

Grüße,
Kai

Das hab ich vermutet. Ich habe auch den Wert in den Spezialschaltern gefunden. Nennt sich ServerHardQueueBytesLimit. Hab es verdoppelt, neu gestartet, aber der Fehler bleibt der gleiche. Es scheintz IPS völlig egal zu sein, was in dem Spezialschalter steht.

Ich glaube das ist der falsche Spezialschalter.
Nimm erst mal kleinere Zeiträume als Workaround.

Das Modul ist nun als Stable Version im Store.

Grüße,
Kai

Hi Kai,

immer wieder spannend, was aus deiner Schmiede so alles kommt. LOB !!

Das Thema Anomalien ich auch immer wieder beim Wechselrichter Monitoring. Da kommt mir
dein Modul sehr recht ! Bei der ersten Nutzung sind mir 4 Dinge aufgefallen:

  • Bei Auswahl von mehr als (?) 13 Einträgen zum löschen bzgl. gleicher Variable krachts bei mir mit Fehlermeldung „Aggregation läuft bereits“.
  • Da scheint dann auch ein in der PHP Übersicht (leider ohne Namen) ein Script hängen zu bleiben, d.h. belegt einen Task
  • ID oben, oder Namen unten wäre dann noch praktisch (aber das wurde ja schon genannt)
  • Button ALLE Variablen übernehmen wäre auch gut. Ich konnte immer nur eins rüberziehen.

Aber trotzdem !!GOOD WORK!!

Sehr schönes Modul, darauf habe ich schon lange gewartet, da es einiges erleichtert.
Aber ein paar verbesserrungen hätte ich auch :wink:
Könnte man auch die Auswahl hinzufügen um alle Werte auf einmal anzuwählen, die gefunden wurden, zum löschen ?
Und die Automatische Neu Aggregierung nach löschen ( welche wohl momentan nach jeder Wert Löschung angestoßen wird) auch abwählen, um mehrere lösch Durchgänge zu machen, und am ende selber neu Aggregieren?
Das neu Aggregieren führt wohl momentan auch zu Problemen wenn mehrere Werte gelöscht werden.

Ansonsten erst einmal vielen Dank dafür

Ich würde es ungerne machen, da man die Werte tatsächlich vorher prüfen sollte. Es werden nämlich auch „Anomalien“ erkannt, die vielleicht gar keine sind, besonders dann, wenn vorher wirklich eine Anomalie erkannt wurde, kann es sein, dass der richtige Wert danach auch als „Anomalie“ erkannt wird.

Ich habe jetzt eingebaut, dass erst Reaggregiert wird, wenn alle Werte gelöscht wurden, die zum Löschen markiert worden sind.

Es gibt eine neue Beta Version.

Grüße,
Kai

Hallo,
ich hätte ein Vorschlag zur besseren Verwendung, bzw. mir würde es helfen :slight_smile:
Wenn ich hier das Archiv prüfen lasse, habe ich aktuell das Problem das ich sehr viele Fehler bzw. falsche Daten im Archiv habe.
Jetzt muss man jeden Eintrag einzeln anhaken, aber in meinem Fall wäre ein Hake alle an sehr hilfreich


Ich mache immer eine Sicht Kontrolle, aber dann können die Einträge alle automatisch entfernt werden.

Vielen Dank & Gruß
Dominik

Es gibt eine neue Beta Version:

  • Neu: Es können alle Einträge in der Liste zum Löschen markiert werden.
  • Fix: Reaggregieren der Variable

Viel Spaß damit. :slight_smile:

Grüße,
Kai

Super, vielen Dank.
Werde es aber erst morgen testen, aber habs gerade upgedated :slight_smile:

Schönes Wochenende
Dominik

Moin,
sieht super aus, der Test war erfolgreich und funktioniert sehr gut vielen Dank.
VG,
Dominik

1 „Gefällt mir“