Benachrichtigungen
Alles lรถschen

Mit Webscraping Daten von Webseiten auslesen und in Home Assistant nutzen

11 Beitrรคge
3 Benutzer
0 Reactions
153 Ansichten
Beitrรคge: 736
 Olli
Admin
Themenstarter
(@olli)
Mitglied
Beigetreten: Vor 10ย Jahren
wpf-cross-image

Wenn du dein Smart Home mit Home Assistant betreibst, hast du vielleicht schon einmal darรผber nachgedacht, wie du aktuelle Informationen von Webseiten automatisch abrufen und in dein System integrieren kannst โ€“ zum Beispiel Spritpreise, Wetterdaten oder Bรถrsenkurse. Die Lรถsung: Webscraping. In diesem Beitrag zeige ich dir Schritt fรผr Schritt, wie du Webscraping nutzen kannst, um…

Antwort
10 Antworten
4 Antworten
(@matthiasl)
Beigetreten: Vor 3ย Wochen

New Member
Beitrรคge: 2

@olli Hallo Olli, ich konnte das Beispiel von CleverTanken nachvollziehen. Wenn ich jedoch auf der Webseite Aktuelle Klimawerte in Oldenburg (Haarentor) // Universitรคt Oldenburg die aktuellen Werte scrapen mรถchte, werden mir keine Werte angezeigt. Mein Vergehen war genauso wie du es fรผr CleverTanken gezeigt hast. Was mache ich hier falsch?

Antwort
 Olli
Admin
(@olli)
Beigetreten: Vor 10ย Jahren

Mitglied
Beitrรคge: 736

@matthiasl Ja, das klappt anscheinend in dem Fall nicht so einfach. Was willst du denn haben? Man muss in diesem Fall wohl "td" als Selector nehmen und dann mit dem Index hochzรคhlen, bis zum gewรผnschten Wert. td und Index 5 bspw. liefert die "Gefรผhlte Temperatur" in ยฐC.

Antwort
(@matthiasl)
Beigetreten: Vor 3ย Wochen

New Member
Beitrรคge: 2

@olli Hallo Olli, vielen Dank fรผr deine Hilfe. Durch deinen Tip kann ich alle meine gewรผnschten Daten auslesen. Hast du eine Erklรคrung warum es hier nicht so funktioniert, wie du es im Youtube-Video vorgestellt hast. Und wie bist du dann vorgegangen, um den Selektor zu bestimmen?

Antwort
 Olli
Admin
(@olli)
Beigetreten: Vor 10ย Jahren

Mitglied
Beitrรคge: 736

@matthiasl Super, das freut mich zu hรถren!

Ich habe zunรคchst geschaut, ob man etwas einfacheres, wie eine รœberschrift scrapen kann. Da das ging, wusste ich, dass die Seite technisch nichts gegen Scraper unternimmt. Und dann war es letztlich auf meiner Erfahrung mit Scraping basierend, wie man an Daten kommen kann. Es gibt (wie bei Home Assistant) nie nur eine Lรถsung. Und die mit dem "td" und dem Index schien die einfachste zu sein.

Das Scraping รผber/mit HA kommt schneller an Grenzen, als dies mit anderen (professionelleren) Tools der Fall ist. Letztlich war der Selector vermutlich fรผr das HA-Scraping zu komplex. Hauptsache, wir haben nun die Daten. Und solltest du mal Hilfe bei noch anderen Daten brauchen, weiรŸt du ja, wo du dich melden kannst ๐Ÿ˜‰

Antwort
Beitrรคge: 3
(@dho1925)
New Member
Beigetreten: Vor 3ย Wochen

Hi Olli,

ich habe durch Zufall dein Video auf Youtube gefunden und mich (trotz fortgeschrittener Uhrzeit)ย  an die Arbeit gemacht, doch:

Ich versuche auf meine Enpal-Seite zu zugreifen, doch das Problem ist, das die Seite wo es eigentlich immer wieder aktuelle Daten geben sollte, die Information vom Web-Server sofort die Meldung kommt, die Daten kรถnnten veraltet sein.

image

Die bieten aber auch einen "Datacollector an:

Hier kommen die Daten (nach dem man open einen Button gedrรผckt hat) in das Fenster als XML-Datei

image

Hast du hier zu eine Idee?

Ich kรถnnte die Seite auch mal ins Netz stellen, aber natรผrlich nur รผber PN.

Dankeย 

Dirk

Antwort
5 Antworten
 Olli
Admin
(@olli)
Beigetreten: Vor 10ย Jahren

Mitglied
Beitrรคge: 736

@dho1925 Hi Dirk! Wenn du Enpal-Seite sagst, meinst du dann eine lokale von/รผber Enpal bereitgestellt Seite oder www.irgendwas-mit-enpal.de?

Das XML ist generell auch eine Mรถglichkeit die Daten auszulesen, das geht mit HA sicherlich in dem Fall auch. Kannst du die eigentliche XML auch direkt aufrufen รผber eine URL und bekommst dann die Daten aus dem letzten Screenshot angezeigt?

Antwort
 Olli
Admin
(@olli)
Beigetreten: Vor 10ย Jahren

Mitglied
Beitrรคge: 736

@dho1925 Generell scheint es aber fรผr Enpal auch "fertige" HACS-Integrationen zu geben - hast du dich damit schon beschรคftigt?

Antwort
(@dho1925)
Beigetreten: Vor 3ย Wochen

New Member
Beitrรคge: 3

@olliย 

1. Bein ich muss erst den Button drรผcken. Dann wird das Fenster gefรผllt.

2. Fรผr Enpal Integration benรถtigst du eine Freigabe von Enpal. Die bekommt man nur dann wenn man die Anlage gekauft hat. Man kรถnnte ja bei lesenden Zugriff auf die Datenbank die Einstellungen verstellen. Kopf schรผtteln meinerseits.

Also suche ich nach einer anderen Lรถsung...

Antwort
(@dho1925)
Beigetreten: Vor 3ย Wochen

New Member
Beitrรคge: 3

Achso, der Webseite ist bei mir lokal.ย 

Antwort
 Olli
Admin
(@olli)
Beigetreten: Vor 10ย Jahren

Mitglied
Beitrรคge: 736

@dho1925 Also den Button-Klick mรผsste man eigentlich auch "fingieren" kรถnnen. Letztlich werden da ja nur Requests an die lokale Seite geschickt woraufhin diese mit dem XML reagiert. Kennst du dich ein klein wenig mit dem Chrome-Webmastertools bspw. aus, um die Requests zu ermitteln?

Antwort

Produktempfehlungen