Timeouts beim Download vom DWD

[olwaldi]

Mitte Mai habe ich meinen Raspberry 4 aktualisiert. Seither(?) sehe ich immer wieder Fehlermeldungen beim Download von DWD, z.B.:

Mai 14 10:44:27 imurr9 weewxd[532]: ERROR user.DWD.base: timeout downloading https://www.dwd.de/DWD/warnungen/warnstatus/SchilderSU.jpg
Mai 14 10:54:47 imurr9 weewxd[532]: ERROR user.DWD.base: error downloading https://www.dwd.de/DWD/warnungen/warnstatus/SchilderSU.jpg: 404 Not Found
Mai 14 10:58:53 imurr9 weewxd[532]: ERROR user.DWD.base: error downloading https://www.dwd.de/DWD/warnungen/warnstatus/SchilderSU.jpg: 503 Service Unavailable
Mai 14 11:03:59 imurr9 weewxd[532]: ERROR user.DWD: thread 'WeatherServices-Download': download error SSLError HTTPSConnectionPool(host='www.dwd.de', port=443): Max retries exceeded with url: /DWD/warnungen/warnstatus/SchilderSU.jpg (Caused by SSLError(SSLError(1, '[SSL: BAD_RECORD_TYPE] bad record type (_ssl.c:2636)')))
Mai 14 11:08:52 imurr9 weewxd[532]: ERROR user.DWD.base: error downloading https://www.dwd.de/DWD/warnungen/warnstatus/SchilderSU.jpg: 404 Not Found
Mai 14 11:14:17 imurr9 weewxd[532]: ERROR user.DWD.base: error downloading https://www.dwd.de/DWD/warnungen/warnstatus/SchilderSU.jpg: 404 Not Found
Mai 14 11:19:38 imurr9 weewxd[532]: ERROR user.DWD.base: timeout downloading https://www.dwd.de/DWD/warnungen/warnstatus/SchilderSU.jpg
Mai 14 19:24:35 imurr9 weewxd[532]: ERROR user.DWD.base: timeout downloading https://www.dwd.de/DWD/warnungen/warnstatus/SchilderSU.jpg

SchilderSU.jpg wird allerdings immer(?) problemlos angezeigt.

Ich habe schon länger das weewx dwd Modul nicht mehr aktualisiert - fehlt mir da ggf. ein Update?

Oder fehlt meinem Raspi "irgendwas" aufgrund der Aktualisierung einiger debian-Pakete? Glaube ich eher weniger, da ja "alles andere" funktioniert.

Oder ist einfach der DWD-Server nur überlastet?

[roe-dl]

Bei mir ist die Karte in der Tat nicht aktuell. Möglicherweise hat der DWD die Pfade geändert. Ich werde es mir ansehen.

[roe-dl]

Wie ich feststellen konnte, hatte der Fehler bei meiner Installation nichts mit dem hier geschilderten Problem zu tun. Ich habe den Link aus den Logs im Browser eingegeben und konnte die Datei problemlos laden.

Bitte mal das Log über einen längeren Zeitraum, am besten mehrere Tage, nach "SchilderSU.jpg" filtern, z.B. mit

grep SchilderSU.jpg /var/log/syslog

[olwaldi]

Genau so hatte ich's ja schon gemacht - ich sehe rund 500 Fehlermeldungen in 20 Tagen. Aus meiner Sicht "verdächtig" ist diese SSL-Fehlermeldung, vielleicht verursacht durch ein Python-Update?

Jun 01 10:04:49 imurr9 weewxd[532]: ERROR user.DWD: thread 'WeatherServices-Download': download error SSLError HTTPSConnectionPool(host='www.dwd.de', port=443): Max retries exceeded with url: /DWD/warnungen/warnstatus/SchilderSU.jpg (Caused by SSLError(SSLError(1, '[SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:1137)')))

Das hier könnte die Lösung für mich sein https://stackoverflow.com/questions/77442172/ssl-certificate-verify-failed-certificate-verify-failed-unable-to-get-local-is
Da werde ich mal im OSMC-Forum nachfragen, bevor ich irgendwas mit certifiates verbiege ... Melde mich wieder, wenn ich mehr weiß.

[olwaldi]

Hmm, reproduzieren kann ich den Fehler nicht. Z.B. kann ich mit curl die Datei SchilderSU.jpg ohne Fehlermeldung (überwacht mittels journalctl -f) downloaden. Die Fehlerdichte scheint zeitabhängig zu sein - heute z.B. um 3:34 und 6:24. Da werde ich mal in den Logfiles suchen, ob da irgendwas in meinem Heimnetz passiert ist - bislang nix Auffälliges.

Mir ist allerdings unklar, WANN weatherservices.py den Download der Schilder auslöst. Scheint nicht Bestandteil des cronjobs zu sein.

[roe-dl]

Mir ist allerdings unklar, WANN weatherservices.py den Download der Schilder auslöst. Scheint nicht Bestandteil des cronjobs zu sein.

Um die Server des DWD nicht durch eine gleichzeitige Abfrage seitens aller WeeWX-Nutzer zu überlasten, schwankt der Zeitpunkt zufällig.

[olwaldi]

Danke für die Info - ist ja so sinnvoll gelöst.

Ich glaube allerdings immer mehr, daß die timeouts vom DWD stammen.

Ich nutze schon sehr lange noch einen anderen DWD-Link (gefunden auf der DWD-Seite - https://www.dwd.de/DWD/wetter/radar/rad_baw_akt.jpg), um ein hübsches Radarregenbild für meine weewx-Seite abzurufen. Das hängt seit einiger Zeit auch immer wieder mal, dann sogar minutenlang, bis daß das jpg verfügbar ist (Attribute wie async oder lazy haben nicht geholfen).

Ich habe auch mal mit Deiner Radar-Lösung experimentiert, bin aber bei dem direkten DWD-Link geblieben, da dort die Niederschlagsstärke bunter visualisiert wird.
Zu häufige Downloads sollte das eigentlich nicht verursachen, da das DWD-jpg nur dann geladen wird, wenn ich meine Wetterseite aufrufe (2..3x täglich).

[roe-dl]

Soweit ich mich erinnere, hat der DWD die direkte Verlinkung ausdrücklich verboten. Vielmehr soll man die Dateien auf eigenem Webspace bereithalten. Das erscheint mir auch sinnvoll, wenn man Websites betreibt, die von vielen Leuten angesehen werden sollen. Wenn man die Site nur für sich selber macht, kommt es natürlich nicht darauf an. Ich bin immer davon ausgegangen, daß sich die Leute mit ihrer Wetter-Website an ihr Umfeld richten. Die Farbgestaltung ist sicherlich Geschmackssache.

[olwaldi]

OT: Ich veröffentliche meine Wetterseite aus 3 Gründen nicht

1. kaum Interesse erwartet - wer mag, kann meine Daten problemlos auf wunderground sehen.
2. Sorge um Rechte an Bildern/Schriftarten u.Ä.
3. Sicherheitsrisiken- gerade aktuell wird ja "meine" Server-Software nginx-1.18 bedroht, und Updates dafür kriege ich für mein Basis-Raspberry OS OSMC unter bullseye nicht.

Die Hänger beim Rendern des DWD-Radarbilds könnten mich schon motivieren, hier auf Deine Lösung umzusteigen...
Erstmal versuche ich mal, den Timeout in Deinem weatherservicesutil.py von 5s auf 10s zu verdoppeln. Schließlich kriege ich im journal nur davon Fehlermeldungen.

[roe-dl]

Da bin ich auf das Ergebnis gespannt.

[olwaldi]

Leider keine Verbesserung - bin beim Timeout wieder zurück bei 5s. Ehrlich gesagt wäre ich auch überrascht gewesen, wenn's geholfen hätte - schließlich sind 5s schon "ziemlich" lang:-)

Bleibt aber komisch, warum die Timeouts (oder SSL-Fehler) so sporadisch auftreten, etwa nach meiner Änderung gegen 16:50 jeweils um
18:34 SSL
20:24
21:19
06:44

[roe-dl]

Um diese Uhrzeiten herum gab es bei mir keine besonderen Fehlermeldungen.

[olwaldi]

Danke für's Checken. Mir ist aber noch ein anderer weewx-Fehler bewußt geworden

Jun 03 15:45:47 imurr9 weewxd[530]: ERROR weewx.restx: StationRegistry: Failed to publish record 2026-06-03 15:45:00 CEST (1780494300): HTTP Error 429: TOO MANY REQUESTS

Laut google group weewx soll das schonmal passieren, und registriert ist meine Station schon länger. Am 2.6. hat eine erneute Registrierung wieder geklappt. Diesen Fehler sehe ich seit Mitte Mai nach meinem Installationsupdate (davor kann ich nicht mehr prüfen).

Irgendwie sehen alle Fehler so aus, als ob weewx HTTP Requests unnötig oft wiederholen würde. Daher habe ich die Netzwerk-Verbindungen gecheckt - ohne Befund. Auch die Performance ist top auf dem maximal technisch unterstützten Wert von 970MBits (getestet mit iperf3).

Standalone curl funktioniert problemlos. Offenbar tritt "mein" Fehler nur aus Python/weewx heraus auf.

[roe-dl]

Den StationRegistry-Fehler beobachte ich schon sehr lange.

[olwaldi]

Ich bin gerade auf die Idee gekommen, einfach mal nach "dwd timeout" zu googlen.... Ich scheine nicht allein zu sein:

DWD-Timeouts treten typischerweise auf, wenn Abfrageskripte (wie in Home Assistant oder ioBroker) die großen JSON-Datenmengen des Deutschen Wetterdienstes bei hohem Datenaufkommen (z. B. Unwetterlagen) nicht schnell genug abrufen können oder wenn SSL-Verbindungen Probleme bereiten.
...
Timeout erhöhen: Setzen Sie den Timeout-Parameter in Ihrer Konfiguration bzw. im Binding auf mindestens 10 bis 15 Sekunden, um langsame Abfragen abzufangen.

Sind natürlich KI-Antworten. [Übrigens - wie erwartet antwortet die KI bei gleicher Anfrage immer unterschiedlich:-]
D.h. vermutlich ist mein Timeout-Problem doch eins beim DWD.

[roe-dl]

Bei heftiger allgemeiner Unwetterlage habe ich schon beobachtet, daß nur noch die Daten von opendata.dwd.de und nicht mehr von www.dwd.de erhältlich sind. Das gilt dann auch für die Radarbilder, wo man die Rohdaten noch bekommt, die fertigen Karten aber nicht mehr.