{"id":7791,"date":"2023-03-27T20:45:08","date_gmt":"2023-03-27T19:45:08","guid":{"rendered":"https:\/\/blog.fh-kaernten.at\/ingmarsretro\/?p=7791"},"modified":"2023-03-27T20:42:48","modified_gmt":"2023-03-27T19:42:48","slug":"evu-smartmeter-mit-esp32-auslesen-und-daten-per-mqtt-senden","status":"publish","type":"post","link":"https:\/\/blog.fh-kaernten.at\/ingmarsretro\/2023\/03\/27\/evu-smartmeter-mit-esp32-auslesen-und-daten-per-mqtt-senden\/","title":{"rendered":"EVU Smartmeter mit ESP32 auslesen und Daten per MQTT senden"},"content":{"rendered":"
<\/div>\n

<\/path><\/svg><\/i> \"Loading\"<\/p>\n

<\/div>\n

So nach und nach bringe ich viele meiner Smarthome Komponenten auf einen gemeinsamen Standard. Dabei habe ich mich entschieden, s\u00e4mtliche Ger\u00e4te \u00fcber einen NodeRed Server zusammen zu f\u00fchren. Auch das HomeMatic System kommuniziert mit NodeRed. Hier \u00fcbergebe ich unter anderen auch die Messwerte des EVU-Z\u00e4hlers (bei mir ist ein Siemens IM350 Smartmeter verbaut) an die HomeMatic CCU. Dies geschieht wie schon einem fr\u00fcheren Beitrag erw\u00e4hnt, \u00fcber die LED-Impulsschnittstelle (1000 Impulse\/kWh). Hierzu wird einfach ein Fototransistor \u00fcber der LED am Z\u00e4hler angebracht, der die Blinkimpulse der LED erkennt und in der Z\u00e4hlersensor-Sendeeinheit HM-ES-TX-WM in die Momentanleistung umrechnet und \u00fcber die Zeit integriert und die Daten dann an die CCU weitersendet. Das funktioniert an sich ganz gut. Nur die Aktualisierungsrate (im Minutenbereich) ist mir zu lange. Auch scheint der Fototransistor immer wieder auf das Streulicht der benachbarten LED (diese zeigt die Blindleistung in 1000 Impulse\/kvarh an) zu reagieren. So entstehen Abweichungen zwischen der Z\u00e4hlung \u00fcber den HomeMatic Sensor und den direkt am Z\u00e4hler abgelesenen Werten.<\/p>\n

\"\"<\/a>Das geht auf jeden Fall genauer. Wenn man sich den IM350 Smartmeter Z\u00e4hler im Detail ansieht, bzw. das Manual durchliest, so stellt man schnell fest, dass er eine sog. „Kundenschnittstelle“ besitzt. Diese Kundenschnittstelle stellt einige Messdaten \u00fcber eine galvanisch getrennte Datenleitung im Sekundentakt zur Verf\u00fcgung. Dazu geh\u00f6ren unter anderen die momentane Wirkleistung in beiden Richtungen, sowie die Z\u00e4hlerst\u00e4nde von Wirk- und Blindleistung in Bezugs- und Einspeiserichtung. Also perfekte Ausgangbedingungen, um den HomeMatic Z\u00e4hlersensor durch eine eigene Konstruktion zu ersetzen. Nach ein wenig Internetrecherche habe ich schnell erkannt, dass ich nicht der Einzige bin, der sich mit genau dieser Thematik besch\u00e4ftigt. Die Daten der Kundenschnittstelle purzeln nach Anforderung \u00fcber eine Daten-Request Leitung mit einer Geschwindigkeit von 115kbaud heraus. Sie sind allerdings verschl\u00fcsselt, und nicht direkt lesbar. Um den 16 Byte langen Entschl\u00fcsselung Key zu erhalten, muss der Energieversorger konsultiert werden. Der Schl\u00fcssel ist an die Seriennummer des Smartmeters gebunden und f\u00fcr jedes Smartmeter individuell. Nach einigem Telefonieren mit meinen K\u00e4rntner Energieversorger wurde mir der Key-Code per Mail zugesandt. Im n\u00e4chsten Schritt testete ich mit einem USB-UART Adapter an einem PC, ob bei korrekter Beschaltung der Schnittstelle auch wirklich Daten aus dem Z\u00e4hler herauskommen. Dazu habe ich einen RJ11 Stecker auf ein geeignetes 6pol. Kabel gekrimpt und das offene Ende des Kabels entsprechend des Datenblattes des Z\u00e4hlers beschaltet. Dazu ist nicht besonders viel notwendig. Eine 5V Versorgung muss die Schnittstelle aktivieren, ebenso muss auch die Data Request Leitung an 5V geschaltet werden und schon stehen an der Data Out Leitung die Datenpakete an. Es funktioniert \u00fcbrigens auch mit einer 3V3 Versorgung. Mit einem Terminalprogramm am PC (ich verwende meist putty oder hterm) kann man die verschl\u00fcsselten Daten visualisieren.<\/p>\n

Jetzt ging es daran, sich zu \u00fcberlegen, wie die Daten entschl\u00fcsselt und aufbereitet werden. Hierzu findet man mit Netz zwei Ans\u00e4tze:<\/p>\n

* \u00fcber einen RaspberryPi, mit einer Python-Umgebung und einem Python Skript. Die Skripten \u00fcbernehmen hier den Empfang und die Entschl\u00fcsselung der Daten und stellen sie dann auf unterschiedliche Weise zur weiteren Verarbeitung zur Verf\u00fcgung<\/p>\n

* \u00fcber einen ESP32. Der ESP ist ebenfalls in der Lage eine 128Bit AES Verschl\u00fcsselung zu dekodieren und hat noch reichlich Ressourcen um die Daten aufzubereiten und \u00fcber WiFi zu versenden. Au\u00dferdem ist ein ESP f\u00fcr wenig Geld in ausreichender St\u00fcckzahl verf\u00fcgbar. Also habe ich mich f\u00fcr diese L\u00f6sung entschieden. Dazu gibt es auf GitHub ein open source Projekt vom User https:\/\/github.com\/Andre-Schuiki\/esphome_im350<\/a>  in dem er einen ESP32 IM350 Decoder als Basis f\u00fcr eigene Projekte zur Verf\u00fcgung stellt. Mit seinen Sourcen erh\u00e4lt man einen Decoder der die Z\u00e4hlerdaten im Sekundentakt ausliest und \u00fcber die USB UART Programmierschnittstelle und auch via Telnet \u00fcber WiFi ausgibt. Dieses Sourcen habe ich als Basis verwendet. <\/p>\n

Mein Ziel ist es, die aus dem Smartmeter gewonnenen Daten in MQTT Messages zu verpacken und an meinen MQTT Broker zu senden. Ab da ist es dann ein Einfaches, sie in NodeRed und die HomeMatic CCU zu bekommen und dort zu speichern. Also habe ich den Code angepasst.  Dazu wurde die Wifi Verbindung zum Router auf eine statische IP gesetzt. (sind in settings.h zu definieren). Die ausgelesenen Messwerte, sowie die RSSI der WiFi Verbindung, werden jetzt \u00fcber MQTT Topics zur Verf\u00fcgung gestellt. (die IP-Adresse zum Broker ist auch in settings.h zu definieren). Wenn man den Code jetzt kompiliert und auf den ESP jagt, dann sollte er sich in das jeweilige Netzwerk einbuchen. Solange der ESP noch auf einem PC-h\u00e4ngt, kann man \u00fcber die Programmierschnittstelle und ein Terminal auch gleich \u00fcberpr\u00fcfen was er tut. Verbindet man jetzt den RJ11 Stecker mit der Kundenschnittstelle des Z\u00e4hlers, dann solle im Display des Z\u00e4hlers im Sekundentakt das Dreieck \u00fcber der Beschriftung „KU“ blinken. Passiert das, dann sollten auch schon im Terminal die Messwerte stehen (vorausgesetzt man hat den KEY vom EVU nicht vergessen in secrets.h einzugeben). Klappt auch das, dann stellt ein Blick auf den MQTT-Broker (mit z. Bsp.: MQTT-Explorer) sicher, dass die Messages auch ankommen. Jetzt kann der ESP vom PC entfernt werden.<\/p>\n

\"\"<\/a>

Anschlussbelegung<\/p><\/div>\n

\"\"<\/a>

ESP32 im „freifliegenden“ Testaufbau<\/p><\/div>\n

\"\"<\/a>Ich habe eine sehr einfache L\u00f6sung gew\u00e4hlt und des ESP auf einer Lochrasterplatine befestigt. Das 6polige Kabel zum Smartmeter dort angel\u00f6tet. Auf der Lochrasterplatte finden dann noch die Pull-Up Widerst\u00e4nde und ein NPN Transistor (BC547 etc.) zum Invertieren der Datenpulse Platz. Die Platine habe ich in einem kleinen Kunststoffk\u00e4stchen untergebracht, dass jetzt lediglich mit einem Kabel an der Kundenschnittstelle und mit einem USB Kabel an einem USB Steckernetzteil angeschlossen ist.<\/p>\n

\"\"<\/a><\/p>\n

Der fertige Aufbau sieht dann (bzw. zurzeit) so aus. Die Daten landen im MQTT Broker und NodeRed visualisiert sie und schickt sie auch zur HomeMatic CCU.<\/p>\n

\"\"<\/a>

so kommen die Daten im MQTT Broker an<\/p><\/div>\n

\"\"<\/a>

und k\u00f6nnen zum Beispiel so in NodeRed verarbeitet werden<\/p><\/div>\n

wenn jemand an den angepassten Skripten interessiert ist, kann ich die gerne zusenden. Betreffend einer Ver\u00f6ffentlichung auf  GitHub muss ich mich erst informieren welche Lizenzbedingungen betreffend des urspr\u00fcnglichen Repositorys zu erf\u00fcllen sind. Es wird dann hier (public) verf\u00fcgbar sein:<\/p>\n

https:\/\/github.com\/ingmarsretro\/esphome_im350\/tree\/main\/standalone_version_mqtt<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

<\/div>\n

<\/path><\/svg><\/i> \"Loading\"<\/p>\n

<\/div>\n

So nach und nach bringe ich viele meiner Smarthome Komponenten auf einen gemeinsamen Standard. Dabei habe ich mich entschieden, s\u00e4mtliche Ger\u00e4te \u00fcber einen NodeRed Server zusammen zu f\u00fchren. Auch das HomeMatic System kommuniziert mit NodeRed. Hier \u00fcbergebe ich unter anderen auch die Messwerte des EVU-Z\u00e4hlers (bei mir ist ein Siemens IM350 Smartmeter verbaut) an die…
Weiterlesen<\/a><\/p>\n","protected":false},"author":86,"featured_media":7807,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"inline_featured_image":false,"ngg_post_thumbnail":0,"footnotes":""},"categories":[57],"tags":[2443,2439,2446,2442,2444,2441,2440,2445],"class_list":["post-7791","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-elektronikbastler","tag-esp32","tag-im350","tag-im350-kelag-mqtt","tag-kelag","tag-nodemcu","tag-smartmeter","tag-volkszaehler","tag-wroom32"],"a3_pvc":{"activated":true,"total_views":4481,"today_views":0},"_links":{"self":[{"href":"https:\/\/blog.fh-kaernten.at\/ingmarsretro\/wp-json\/wp\/v2\/posts\/7791","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blog.fh-kaernten.at\/ingmarsretro\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.fh-kaernten.at\/ingmarsretro\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.fh-kaernten.at\/ingmarsretro\/wp-json\/wp\/v2\/users\/86"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.fh-kaernten.at\/ingmarsretro\/wp-json\/wp\/v2\/comments?post=7791"}],"version-history":[{"count":0,"href":"https:\/\/blog.fh-kaernten.at\/ingmarsretro\/wp-json\/wp\/v2\/posts\/7791\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blog.fh-kaernten.at\/ingmarsretro\/wp-json\/wp\/v2\/media\/7807"}],"wp:attachment":[{"href":"https:\/\/blog.fh-kaernten.at\/ingmarsretro\/wp-json\/wp\/v2\/media?parent=7791"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.fh-kaernten.at\/ingmarsretro\/wp-json\/wp\/v2\/categories?post=7791"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.fh-kaernten.at\/ingmarsretro\/wp-json\/wp\/v2\/tags?post=7791"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}