Vermehrte Abstürze seit der 5.2?

IP-Symcon
81

Gestern Abend um 20 Uhr ist es nach über 2 Wochen mal wieder passiert. Zwischendurch aber immer alle Updates mitgenommen und durchgestartet.

Als letztes steht diesmal im Log:


20.10.2019 19:58:03 | 50078 | ERROR   | TimerPool            | HomeMatic CCU2 (KeepAlive): Socket ist nicht verbunden

und das neu Log beginnt mit folgender Zeile


10/20/19 20:00:32 | 00000 | MESSAGE | Kernel               | Removing...
10/20/19 20:00:32 | 00000 | SUCCESS | Kernel               | *** IPS SHUTDOWN COMPLETE

Es hatte sich eigentlich angedeutet, weil mein viertelstündige Systemabfrage (exec()-Aufruf) nicht mehr wollte!

Gruß Heiko

82

Hallo,

ich leide ebenfalls unter den Absturz-Problemen. Im regelmäßigen Abständen (innerhalb von 4-6h) stürzt die IP SymBox ab! Ich muss dann immer wieder auf die IP-Adresse, mit Passwort anmelden und dann wird automatisch die IP Symcon neugestartet. Dann läuft es wieder für einige Stunden.

Interessant ist, das ich seit Anfang August keine Modul-Updates durchgeführt habe, da wir im Urlaub waren. Das ganze ging dann erst vor rund 1-2 Wochen los, ohne das wir irgendwas in der IP Symcon verwaltet/geändert hätten. Das Problem erschien also wie von selbst.

Das Einzige, das mir rot im Console-Log erscheint, ist diese Meldung:
23.10.2019, 09:17:49 | Kernel | Freier Speicherplatz zu gering! Deaktiviere Logdatei…

Allerdings sind noch knapp 2,7GB Speicherplatz frei auf /mnt/data.

Das VoIP-Modul nutzen wir nicht.

Wir sind auf IP-Symcon 5.1, SymBox, 17.06.2019, acace22ccc0b

Wed Oct 23 09:15:23 CEST 2019
09:15:23 up 50 days, 13:20, load average: 0.20, 0.18, 0.17
Linux SymBox 4.14.95-v7 #2 SMP Mon Mar 11 19:44:07 UTC 2019 armv7l GNU/Linux

         total       used       free     shared    buffers     cached

Mem: 996396 437876 558520 126736 20036 292188
-/+ buffers/cache: 125652 870744
Swap: 0 0 0

Filesystem Size Used Available Use% Mounted on
devtmpfs 471.0M 0 471.0M 0% /dev
tmpfs 64.0M 0 64.0M 0% /dev/shm
tmpfs 128.0M 123.8M 4.2M 97% /tmp
/dev/mmcblk0p2 379.4M 90.2M 265.1M 25% /mnt/system
/dev/mmcblk0p3 3.0G 187.0M 2.7G 6% /mnt/data
/dev/loop0 55.1M 55.1M 0 100% /mnt/symupd
/dev/loop1 32.9M 32.9M 0 100% /mnt/symcon

/dev/loop0: 0 /mnt/system/symupd/symupd_1.5-620.sqfs
/dev/loop1: 0 /mnt/system/symcon/symcon_5.1-3146.sqfs

Ich werde jetzt mal alles updaten, auch SymOS von 1.5 auf SymOS 1.6 #708 (9. August 2019 um 12:24:10) und dann nochmal berichten.

83

@Pommespanzer: Gerne auch die Anleitung für GDB ausprobieren. 4-6 Stunden sind ja ein Zeitraum in dem du das dann recht schnell nachstellen kannst. Aktuell waren wir immer auf der Suche nach einem 5.2 Problem. Falls dies mit der 5.1 bereits auftritt könnte die Ursache natürlich noch ganz woanders liegen.

paresy

84

Hab aktualisiert. Leider weiterhin die Abstürze. Zumindest bei mir liegt es nicht an der Version ob 5.1 oder 5.2. Scheint eher ein zeitliches Problem sein.


/dev/loop0: 0 /mnt/system/symupd/symupd_1.6-708.sqfs
/dev/loop1: 0 /mnt/system/symcon/symcon_5.2-4066.sqfs

Wie kommt man denn per ssh auf die SymBox drauf?


$ ssh -v root@symbox.local
root@symbox.local's password: 
debug1: Authentications that can continue: publickey,password
Permission denied, please try again.
root@symbox.local's password:

Mein Passwort, das ich initial unter symbox.local eingeben muss, nimmt er nicht. Hab auch Unter Einstellungen -> symOS -> Sicherheit -> SymOS mit Passwort schützen deaktiviert um es ohne PW zu probieren. Trotzdem fragt er nach einem Passwort.

85

Du kannst dann aber mit einem leeren Passwort dich einloggen. Einfach Enter drücken.

paresy

86

Ich hoffe das hilft und schaut soweit korrekt aus.

gdb.txt (28.5 KB)

87

Das sieht wirklich gut aus. Aber gab es überhaupt einen Absturz? Wenn du am Ende vom Prozess detachen kannst, dann lief der ja noch, oder?

paresy

88

Ich hab mich daran gehalten:

Sollte nun ein Absturz stattfinden, so wird gdb automatisch stoppen und euch wieder mit der (gdb) Zeile begrüßen.

Von der Beobachtung her kam ich via Browser nicht mehr auf die Visu noch auf die :3777/console-Seite drauf. Irgendwann war ich dann in der gdb-Zeile, in der ich dann die 3 Kommandos eingeben konnte.

Ich attach mich halt immer an einen laufenden IP Symcon Prozess.

89

Heute wieder Absturz um 14:54.
Letze Zeilen im Logfile:

10/30/19 14:54:09 | 33827 | ERROR | TimerPool | Schulferien (UpdateSchoolHolidays): <br />
<b>Notice</b>: Error load iCal Data. in <b>/mnt/data/symcon/modules/.store/de.nall.chan.schoolholidays/Schulferien/module.php</b> on line <b>68</b><br />

10/30/19 14:54:26 | 48752 | ERROR | TimerPool | Connect (ConnectionCheck): resolve: Host not found (authoritative)

Für die Symbox wünsche ich mir wirklich eine Art Watchdog welche den Dienst neustartet wenn er nicht mehr läuft.

Gruß,
Loerdy

90

Häng dich am Besten einmal hier ran was das Feature angeht: Neustart von Symcon nach Crash auf Symbox - Seite 2

paresy

91

Heute Morgen ist mein (IP-Symcon 5.2, Windows x64, 25.09.2019, beadf93761da) System selbstständig neu gestartet. Ein Minidump von 0KB wurde erstellt. Letzte Log Zeilen:

02.11.2019 08:33:27 | 11911 | DEBUG | VariableManager | [Kategorielos\Watchdog(W)LAN Watch Dog LOW\WLAN Oasis] = false
02.11.2019 08:33:27 | 36683 | DEBUG | VariableManager | [Kategorielos\Watchdog\ALARM] = true
02.11.2019 08:33:27 | 56000 | WARNING | ScriptEngine | Result for Event 27927
ALARM= 1

Kann man noch etwas schauen?
Sonst werde ich mein System nachher aktualisieren.

92

Bei mir ist IPS heute wieder abgestürzt, habe die aktuelle Version 5.3 (Testing) installiert. Hatte gdb vorher gestartet, leider ist nichts in die gdb.txt geschrieben worden.

Interessant ist, dass der Absturz nun viel schneller passierte. Ich hatte zusätzlich den OPCache aktiviert, vllt. gibt es hier einen Zusammenhang.

Habe jetzt nochmals IPS neu über gdb gestartet und hoffe, dass beim nächsten mal etwas in der gdb.txt landet.

IP-Symcon 5.3, Ubuntu, 01.11.2019, d51cce6d9ea0

Gruß,
Georg

93

Wenn du gdb startest landet nichts automatisch in der txt. Du musst die Befehle eintippen sobald der Absturz stattgefunden hat.

paresy

94

Hi paresy,

das habe ich gemacht, wie in deiner Doku beschrieben.
Leider wurde aber nichts geschrieben.

Gruß,
Georg

95

Hallo paresy,

heute ist mein IPS wieder abgestürzt. Ich habe wie beim letzten mal symcon über gdb direkt gestartet.
Nach ein- zwei Tagen war der virt. Memory schon zu ca. 70% in Nutzung.

Der Absturz heute hat wieder eine 0 Byte grosse gdb.txt erzeugt. Ich habe selbstverständlich nach dem Absturz die drei Befehle eingeben

-set logging on
-thread apply all bt
-set logging off

Interessanterweise stand gdb nach dem Absturz nicht auf seiner Kommandozeile (gdb), sondern ich konnte noch das fortlaufende Logging von IPS sehen. gdb ist aber stehengeblieben mit der Meldung „Virtual Memory exhausted“ und bot mir an eine core Datei zu erzeugen, die auch erstellen ließ. Nachdem ich dann auf die gdb Kommanozeile zurückgekommen bin gab es nach der Eingabe der oben genannten Befehle eine 0 Byte grosse gdb.txt

Was kann ich jetzt noch tun?

gdb erzeugt keine gdb.txt, vermutlich weil der Virt. Memory aufgebraucht ist. Kannst du etwas mit der erzeugten core Datei anfangen?

Sicher ist nur, dass IPS mit aktiviertem OPCache ziemlich sicher nach ein paar Tagen abstürzt.

Danke dir für Hinweise wie wir hier weiter kommen können.

Gruß,
Georg

IP-Symcon 5.3, Ubuntu, 01.11.2019, d51cce6d9ea0

96

Ich hätte noch eine Frage nachdem mir kronos eine Idee gegeben hat. Nutzt ihr evtl. RTSP Streams und laufen diese zeitlich nach? (Das würde einen langsam ansteigenden Speicherverbraucht erklären)

paresy

97

N’abend

jein, also ich habe einen im WebFront eingebunden, aber rufe die Seite ehr absolut selten auf.

Ja, es läuft zeitlich hinterher und ich beobachte das mal in diesem Zusammenhang!

Gruß Heiko

98

Ich nutze nur RTSP-Streams, die direkt eingebunden werden. Also wo der Client die Verbindung zur Kamera aufbaut und nicht zu IPS.

Ich habe testweise zwei Streams über IPS eingebunden und die hinken etwas hinterher.
Bevor das nicht auch unter iOS funktioniert, werde ich das produktiv aber eher nicht nutzen.

Gruß
Slummi

99

Gibst denn schon Neuigkeiten bzgl. des Problems? Und konntet ihr das in der Firma schon irgendwie auf einer Box reproduzieren?

Ich nutze übrigens keinen einzigen RTSP-Stream. Das Problem entstand auch eher plötzlich - ohne irgendein Update dazwischen getan zu haben (weder SymOS noch IP Symcon oder ein Modul). Bei mir liefs ja auch auf der 5.1 nicht mehr und stürzt seitdem alle paar Stunden ab.

Für mich ist die SymBox grad mehr oder weniger nutzlos, die eingerichteten Scripte laufen halt nicht mehr zuverlässig, außer das meine Subscription Time abläuft.

100

Bisher kann ich es leider nicht reproduzieren. Hast du die Möglichkeit mir einen VPN Zugang (oder Portweiterleitung zur Box) zu geben, sodass ich mit dem Debugger nach dem Problem suchen kann?

paresy