Wenn du dein Smart Home mit Home Assistant betreibst, hast du vielleicht schon einmal darรผber nachgedacht, wie du aktuelle Informationen von Webseiten automatisch abrufen und in dein System integrieren kannst โ zum Beispiel Spritpreise, Wetterdaten oder Bรถrsenkurse. Die Lรถsung: Webscraping. In diesem Beitrag zeige ich dir Schritt fรผr Schritt, wie du Webscraping nutzen kannst, um…
@olli Hallo Olli, ich konnte das Beispiel von CleverTanken nachvollziehen. Wenn ich jedoch auf der Webseite Aktuelle Klimawerte in Oldenburg (Haarentor) // Universitรคt Oldenburg die aktuellen Werte scrapen mรถchte, werden mir keine Werte angezeigt. Mein Vergehen war genauso wie du es fรผr CleverTanken gezeigt hast. Was mache ich hier falsch?
@matthiasl Ja, das klappt anscheinend in dem Fall nicht so einfach. Was willst du denn haben? Man muss in diesem Fall wohl "td" als Selector nehmen und dann mit dem Index hochzรคhlen, bis zum gewรผnschten Wert. td und Index 5 bspw. liefert die "Gefรผhlte Temperatur" in ยฐC.
@matthiasl Super, das freut mich zu hรถren!
Ich habe zunรคchst geschaut, ob man etwas einfacheres, wie eine รberschrift scrapen kann. Da das ging, wusste ich, dass die Seite technisch nichts gegen Scraper unternimmt. Und dann war es letztlich auf meiner Erfahrung mit Scraping basierend, wie man an Daten kommen kann. Es gibt (wie bei Home Assistant) nie nur eine Lรถsung. Und die mit dem "td" und dem Index schien die einfachste zu sein.
Das Scraping รผber/mit HA kommt schneller an Grenzen, als dies mit anderen (professionelleren) Tools der Fall ist. Letztlich war der Selector vermutlich fรผr das HA-Scraping zu komplex. Hauptsache, wir haben nun die Daten. Und solltest du mal Hilfe bei noch anderen Daten brauchen, weiรt du ja, wo du dich melden kannst ๐
Hi Olli,
ich habe durch Zufall dein Video auf Youtube gefunden und mich (trotz fortgeschrittener Uhrzeit)ย an die Arbeit gemacht, doch:
Ich versuche auf meine Enpal-Seite zu zugreifen, doch das Problem ist, das die Seite wo es eigentlich immer wieder aktuelle Daten geben sollte, die Information vom Web-Server sofort die Meldung kommt, die Daten kรถnnten veraltet sein.
Die bieten aber auch einen "Datacollector an:
Hier kommen die Daten (nach dem man open einen Button gedrรผckt hat) in das Fenster als XML-Datei
Hast du hier zu eine Idee?
Ich kรถnnte die Seite auch mal ins Netz stellen, aber natรผrlich nur รผber PN.
Dankeย
Dirk
@dho1925 Hi Dirk! Wenn du Enpal-Seite sagst, meinst du dann eine lokale von/รผber Enpal bereitgestellt Seite oder www.irgendwas-mit-enpal.de?
Das XML ist generell auch eine Mรถglichkeit die Daten auszulesen, das geht mit HA sicherlich in dem Fall auch. Kannst du die eigentliche XML auch direkt aufrufen รผber eine URL und bekommst dann die Daten aus dem letzten Screenshot angezeigt?
@dho1925 Generell scheint es aber fรผr Enpal auch "fertige" HACS-Integrationen zu geben - hast du dich damit schon beschรคftigt?
1. Bein ich muss erst den Button drรผcken. Dann wird das Fenster gefรผllt.
2. Fรผr Enpal Integration benรถtigst du eine Freigabe von Enpal. Die bekommt man nur dann wenn man die Anlage gekauft hat. Man kรถnnte ja bei lesenden Zugriff auf die Datenbank die Einstellungen verstellen. Kopf schรผtteln meinerseits.
Also suche ich nach einer anderen Lรถsung...
@dho1925 Also den Button-Klick mรผsste man eigentlich auch "fingieren" kรถnnen. Letztlich werden da ja nur Requests an die lokale Seite geschickt woraufhin diese mit dem XML reagiert. Kennst du dich ein klein wenig mit dem Chrome-Webmastertools bspw. aus, um die Requests zu ermitteln?
Produktempfehlungen
