MQTT verursacht extreme Last

[demel42]

Hallo,

ich habe ein auf meinem IPS (IP-Symcon 6.0, Ubuntu (amd64), 28.08.2021, 883beea87a99) eine wenige MQTT-Devices (1 Dyson, 10 MiFlora), die eigentlich recht wenig Traffic erzeugen (MiFlora schickt bei mir alle 5 Minuten und Dyson ist im Ruhezustand auch nur 1 / Minute dabei).

Folgende Situation hast ich gestern wieder (das war das 3. Mal innerhalb etlichen Monate): im Log sehe ich nur sehr viele Variablen-Update, so viele, das sonst kaum mehr etwas stattfinden kann. Beheben lässt sich das durch ein IPS-Reboot.
Dann ist sofort wieder Ruhe, sodaß ich schon sehr stark vermute, das es kein Problem der Devices ist.
Es ist aus nicht so, das das nur ein paar Minuten dauert - bei dem ersten Mal hatte es glaube ich 1h gedauert, bis ich das gemerkt hatte und natürlich nur, weil irgend eine Aktion nicht erwartungsgemäß lief.

Ist also selten und lässt sich auch so korrigieren, trotzdem ist das ein merkwürdiges Problem.
Leider kommt das gerne zur Unzeit, d.h. ich hatte bisher keine Möglichkeit, wirklich nähere Ursachenforschung zu betreiben.

@paresy: gibt es etwas, was ich machen soll/kann, um den Auslöser näher einzukriegen?

demel

[Nall-chan]

Schau mal im Nachbarthema

IP-Symcon reagiert extrem verzögert

Da ich gerade für diese Problemstellung ein kleines Tool entwickelt habe, wollte ich es allen anderen nicht vorenthalten: Damit kann man recht gut analysieren, was auf dem WebSocket Rückkanal so passiert und wer ggf. der Übeltäter ist. paresy

Nutzt du zufällig das hier? Bei der Beta könnte noch ein RC bei Variablen-Updates sein. Und die stable frisst den RAM auf:

[Modul] UniFi Toolbox (Anwesenheit, Blocken und Internet)

Sorry, hatte ich falsch verstanden. Von den Unifi Toolbox Modulen geht keins. Wie gesagt unter einem Raspberry, auch unter einem anderen VLAN funktionieren die Module auf Anhieb. UDM hat 192.168.1.1 und der Pi hat 192.168.20.37. Der PC worauf ich auf den Pi zugreife per SSH hat 192.168.10.10, auch auf die Konsole des Symcon Systems auf dem Pi kann ich vom PC aus aufrufen, das funktioniert soweit alles wunderbar. Das ist die Debug Ausgabe des Unifi Presence Moduls: [image] Device Blocker: …

Michael

[demel42]

Hall Michael,

vielen Dank für deinen Hinweis. Nein, ich habe weder Unifiziert im Einsatz noch hatte ich das Gefühl, das es ein Lastproblem des System gibt. Das läuft bei mir auf eine üppig ausgestattet Proxmox und hat viel RAM und CPU zur Verfügung.

Ich hatte auch nicht das Gefühl, das das System verzögert reagiert hat, aber es kamen so vielen Variablen-Updates, das im Log nix anderes mehr zu sehen war.

Das ist der Output von 1 Sec

21.12.2021 20:55:07 | 56744 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE2\RESULT\Value] = {"PowerOnState":1}
21.12.2021 20:55:07 | 14135 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE\RESULT\Value] = {"PowerOnState":3}
21.12.2021 20:55:07 | 56744 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE2\RESULT\Value] = {"PowerOnState":3}
21.12.2021 20:55:07 | 14135 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE\RESULT\Value] = {"PowerOnState":1}
21.12.2021 20:55:07 | 56744 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE2\RESULT\Value] = {"PowerOnState":1}
21.12.2021 20:55:07 | 14135 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE\RESULT\Value] = {"PowerOnState":3}
21.12.2021 20:55:07 | 56744 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE2\RESULT\Value] = {"PowerOnState":3}
21.12.2021 20:55:07 | 14135 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE\RESULT\Value] = {"PowerOnState":1}
21.12.2021 20:55:07 | 56744 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE2\RESULT\Value] = {"PowerOnState":1}
21.12.2021 20:55:07 | 14135 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE\RESULT\Value] = {"PowerOnState":3}
21.12.2021 20:55:07 | 56744 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE2\RESULT\Value] = {"PowerOnState":3}
21.12.2021 20:55:07 | 14135 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE\RESULT\Value] = {"PowerOnState":1}
21.12.2021 20:55:07 | 56744 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE2\RESULT\Value] = {"PowerOnState":1}
21.12.2021 20:55:07 | 14135 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE\RESULT\Value] = {"PowerOnState":3}
21.12.2021 20:55:07 | 56744 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE2\RESULT\Value] = {"PowerOnState":3}
21.12.2021 20:55:07 | 14135 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE\RESULT\Value] = {"PowerOnState":1}
21.12.2021 20:55:07 | 56744 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE2\RESULT\Value] = {"PowerOnState":1}
21.12.2021 20:55:07 | 14135 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE\RESULT\Value] = {"PowerOnState":3}
21.12.2021 20:55:07 | 56744 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE2\RESULT\Value] = {"PowerOnState":3}
21.12.2021 20:55:07 | 14135 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE\RESULT\Value] = {"PowerOnState":1}
21.12.2021 20:55:07 | 14135 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE\RESULT\Value] = {"PowerOnState":3}
21.12.2021 20:55:07 | 56744 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE2\RESULT\Value] = {"PowerOnState":1}
21.12.2021 20:55:07 | 14135 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE\RESULT\Value] = {"PowerOnState":1}
21.12.2021 20:55:07 | 56744 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE2\RESULT\Value] = {"PowerOnState":3}
21.12.2021 20:55:07 | 56744 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE2\RESULT\Value] = {"PowerOnState":1}
21.12.2021 20:55:07 | 56744 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE2\RESULT\Value] = {"PowerOnState":3}
21.12.2021 20:55:07 | 14135 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE\RESULT\Value] = {"PowerOnState":3}
21.12.2021 20:55:07 | 56744 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE2\RESULT\Value] = {"PowerOnState":1}
21.12.2021 20:55:07 | 14135 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE\RESULT\Value] = {"PowerOnState":1}
21.12.2021 20:55:07 | 56744 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE2\RESULT\Value] = {"PowerOnState":3}
21.12.2021 20:55:07 | 14135 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE\RESULT\Value] = {"PowerOnState":3}
21.12.2021 20:55:07 | 56744 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE2\RESULT\Value] = {"PowerOnState":1}
21.12.2021 20:55:07 | 14135 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE\RESULT\Value] = {"PowerOnState":1}
21.12.2021 20:55:07 | 56744 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE2\RESULT\Value] = {"PowerOnState":3}
21.12.2021 20:55:07 | 14135 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE\RESULT\Value] = {"PowerOnState":3}
21.12.2021 20:55:07 | 56744 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE2\RESULT\Value] = {"PowerOnState":1}
21.12.2021 20:55:07 | 56744 | MESSAGE | VariableManager      | [MQTT-Topics\tasmota\stat\Socket_PVE2\RESULT\Value] = {"PowerOnState":3}

Es scheint immer zwischen dieser Werten hin und her zu springen

demel

[paresy]

Könnte es sein, dass es irgendwie eine Art Endlosschleife ist? Es wirkt zumindest so.

paresy

[demel42]

nein, das glaube ich nicht, ich lesen die Daten der MQTT-devices nur aus.
Zudem müsste die beiden aktoren ja den realen schalterzstand ändern.
habe leider nicht mehr daten aus den „ausrastern“ davor, vonndager kann ich nicht mehr sagen, welche daten da im Log standen.
Ich jann mich nur erinnern, das es auch so ein dauerfeuer mit MQTT-Variablen war.
@KaiS : kannst du dir irgendwie vorstellen, das in deinem Tasmota-Modul irgendwas sein kann, was irgendwie zu meiner beobachtung passt?
demel

[paresy]

Wir hatten ein ähnliches Thema mit dem Retain, welches @KaiS dann ausgeschaltet hatte. Ich finde das Thema nur gerade nicht.

paresy

[KaiS]

Ich erinner mich daran. Ich weiß gar nicht mehrere was genau da war.

Ich glaube durch das retain wurde eine Dauerschleife ausgelöst. Leider weiß ich nicht mehr genau wo das war.

Grüße,
Kai

[demel42]

Retain ist bei mir in allen Tasmota-Instanzen nicht aktiv. Sollte es aktiv sein?