DSMR integratie - grafieken?

Gebruikersavatar
devilkin
Elite Poster
Elite Poster
Berichten: 3031
Lid geworden op: 17 Mei 2006
Twitter: jdeluyck
Locatie: Gent
Bedankt: 154 keer
Recent bedankt: 11 keer
Uitgedeelde bedankjes: 313 keer
Contact:

DSMR integratie - grafieken?

Berichtdoor devilkin » 28 Feb 2020, 19:31

Hoi,

Dankzij de overheid heb ik sinds kort ook een slimme meter in huis. Dus die data poorten maar laten openzetten, kabeltje gekocht, en geintegreerd in Home Assistant. Werkt wel OK.

Ik zit me nu wel af te vragen wat de beste manier zijn om die data over langere tijd te capteren... de HA database is daar absoluut niet voor geschikt.

Ik denk aan iets zoals grafana, maar misschien zijn er nog betere/andere opties?
Orange Love Trio -- using Ubiquiti USG-3
Orange Dolphin & Proximus (corporate) -- Using OnePlus 8 Pro (ROM: Stock)

DenDries
Plus Member
Plus Member
Berichten: 114
Lid geworden op: 21 Mei 2006
Bedankt: 4 keer
Uitgedeelde bedankjes: 5 keer

Re: DSMR integratie - grafieken?

Berichtdoor DenDries » 28 Feb 2020, 20:14

Kan je kort uitleggen hoe je dat hebt geïntegreerd? Zelf ben ik van de default HA database overgestapt naar MariaDB (docker), werkt perfect en veel performanter.

Gebruikersavatar
bitbite
Premium Member
Premium Member
Berichten: 540
Lid geworden op: 18 Dec 2012
Bedankt: 42 keer
Recent bedankt: 2 keer
Uitgedeelde bedankjes: 39 keer

Re: DSMR integratie - grafieken?

Berichtdoor bitbite » 28 Feb 2020, 20:27

devilkin schreef:grafana

Ik dacht dat prometheus ook zeer geschikt was, maar tussen die twee weet ik het niet.

Welk model meter heb je?

Gebruikersavatar
devilkin
Elite Poster
Elite Poster
Berichten: 3031
Lid geworden op: 17 Mei 2006
Twitter: jdeluyck
Locatie: Gent
Bedankt: 154 keer
Recent bedankt: 11 keer
Uitgedeelde bedankjes: 313 keer
Contact:

Re: DSMR integratie - grafieken?

Berichtdoor devilkin » 28 Feb 2020, 20:48

bitbite schreef:Welk model meter heb je?


Een Sagemcom T211-D

DenDries schreef:Kan je kort uitleggen hoe je dat hebt geïntegreerd? Zelf ben ik van de default HA database overgestapt naar MariaDB (docker), werkt
perfect en veel performanter.


Ja, die stap heb ik een paar jaar geleden (toen ik begon met HA) direct genomen. Desondanks is die database niet geschikt om voor lange tijd gegevens in bij te houden - zelf purge ik die elke 10 dagen om de performance van HA hoog genoeg te houden (zodat je zonder issues kan gaan graven in 't logboek voor rare dingen).

Mijn integratie is vrij eenvoudig:

Code: Selecteer alles

recorder:
  purge_keep_days: 10
  db_url: !secret mariadb_url
  exclude:
    entities:
      - sensor.power_consumption

sensors:
  - platform: dsmr
    port: /dev/serial/by-id/usb-FTDI_FT232R_USB_UART_AK47F0V6-if00-port0
    dsmr_version: 5B

  - platform: filter
    name: power_consumption_10s
    entity_id: sensor.power_consumption
    filters:
      - filter: throttle
        window_size: 10


Op deze manier hou ik de per-second data niet bij, want dan gaat je db echt ontploffen. Ik filter op 10 seconden.
Orange Love Trio -- using Ubiquiti USG-3
Orange Dolphin & Proximus (corporate) -- Using OnePlus 8 Pro (ROM: Stock)

dupondje
Pro Member
Pro Member
Berichten: 375
Lid geworden op: 14 Sep 2006
Bedankt: 11 keer

Re: DSMR integratie - grafieken?

Berichtdoor dupondje » 29 Feb 2020, 08:49

Je hebt geluk, de Belgische slimme meter is pas vanaf HA 0.106.0 supported :)

Wat ik doe is HA -> InfluxDB (is een plugin/integration) en dan kan je gewoon grafana dashboard maken.

Gebruikersavatar
devilkin
Elite Poster
Elite Poster
Berichten: 3031
Lid geworden op: 17 Mei 2006
Twitter: jdeluyck
Locatie: Gent
Bedankt: 154 keer
Recent bedankt: 11 keer
Uitgedeelde bedankjes: 313 keer
Contact:

Re: DSMR integratie - grafieken?

Berichtdoor devilkin » 02 Mar 2020, 19:59

Ondertussen gesettled op influxdb en grafana ;)
Orange Love Trio -- using Ubiquiti USG-3
Orange Dolphin & Proximus (corporate) -- Using OnePlus 8 Pro (ROM: Stock)

devastator
Elite Poster
Elite Poster
Berichten: 878
Lid geworden op: 01 Nov 2005
Locatie: Pelt
Bedankt: 37 keer
Recent bedankt: 1 keer
Uitgedeelde bedankjes: 11 keer

Re: DSMR integratie - grafieken?

Berichtdoor devastator » 02 Mar 2020, 20:25

EnergieID ?

Wat kan je allemaal uitlezen eigenlijk ?
Bijvoorbeeld ook het huidig verbruik (positief/negatief) ? Hoe vaak is dat dan geupdate ?

Gebruikersavatar
devilkin
Elite Poster
Elite Poster
Berichten: 3031
Lid geworden op: 17 Mei 2006
Twitter: jdeluyck
Locatie: Gent
Bedankt: 154 keer
Recent bedankt: 11 keer
Uitgedeelde bedankjes: 313 keer
Contact:

Re: DSMR integratie - grafieken?

Berichtdoor devilkin » 02 Mar 2020, 20:34

Misschien nog een idee om dat daarin op te laden, als zie ik de meerwaarde niet momenteel. Plus, ik zou het moeten kunnen integreren met HA (op een of andere manier)
Orange Love Trio -- using Ubiquiti USG-3
Orange Dolphin & Proximus (corporate) -- Using OnePlus 8 Pro (ROM: Stock)

devastator
Elite Poster
Elite Poster
Berichten: 878
Lid geworden op: 01 Nov 2005
Locatie: Pelt
Bedankt: 37 keer
Recent bedankt: 1 keer
Uitgedeelde bedankjes: 11 keer

Re: DSMR integratie - grafieken?

Berichtdoor devastator » 02 Mar 2020, 20:40

Trendanalyze. Geeft een indicatie van het verwachte verbruik op basis van het geleerde verbruik. Ik steek der hier water/gas/elek in. Best wel tevreden van.
Redelijk makkelijk te intereren in HA

Code: Selecteer alles

rest_command:
  energieid:
    url: https://hooks.energyid.eu/services/WebhookIn/yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy
    method: POST
    content_type: 'application/json'
    payload: '{"meterId": "{{ meterid }}", "data": [["{{ tijdstip }}", {{ waarde }} ]]}'


Code: Selecteer alles

- alias: EnergieId upload
  trigger:
    platform: time_pattern
    minutes: 59
  action:
    - service: rest_command.energieid
      data_template:
        meterid: 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'
        tijdstip: "{{ now() }}"
        waarde: "{{ states.input_number.verbruik_water.state }}"
    - service: rest_command.energieid
      data_template:
        meterid: 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'
        tijdstip: "{{ now() }}"
        waarde: "{{ states.input_number.verbruik_gas.state }}"
...

Gebruikersavatar
devilkin
Elite Poster
Elite Poster
Berichten: 3031
Lid geworden op: 17 Mei 2006
Twitter: jdeluyck
Locatie: Gent
Bedankt: 154 keer
Recent bedankt: 11 keer
Uitgedeelde bedankjes: 313 keer
Contact:

Re: DSMR integratie - grafieken?

Berichtdoor devilkin » 02 Mar 2020, 21:47

Nice! Ga ik een dezer eens bekijken ;)
Orange Love Trio -- using Ubiquiti USG-3
Orange Dolphin & Proximus (corporate) -- Using OnePlus 8 Pro (ROM: Stock)

Gebruikersavatar
devilkin
Elite Poster
Elite Poster
Berichten: 3031
Lid geworden op: 17 Mei 2006
Twitter: jdeluyck
Locatie: Gent
Bedankt: 154 keer
Recent bedankt: 11 keer
Uitgedeelde bedankjes: 313 keer
Contact:

Re: DSMR integratie - grafieken?

Berichtdoor devilkin » 03 Mar 2020, 22:00

devastator schreef:Wat kan je allemaal uitlezen eigenlijk ?
Bijvoorbeeld ook het huidig verbruik (positief/negatief) ? Hoe vaak is dat dan geupdate ?


Afhankelijk van welke poort je gebruikt... de P1 is 1 update per seconde, de S1 is nog veel meer maar daar heb je hopen manueel werk mee.

Handleiding
Orange Love Trio -- using Ubiquiti USG-3
Orange Dolphin & Proximus (corporate) -- Using OnePlus 8 Pro (ROM: Stock)

bruma
Elite Poster
Elite Poster
Berichten: 1374
Lid geworden op: 06 Jan 2014
Bedankt: 71 keer
Recent bedankt: 1 keer
Uitgedeelde bedankjes: 38 keer

Re: DSMR integratie - grafieken?

Berichtdoor bruma » 03 Mar 2020, 22:23

Voor dit soort logging heb je geen relationele maar een historische database nodig (soms time series database genoemd).
Vroeger bestond er een open source versie maar ik ben de naam kwijt.
Je definieert bij elke te registreren waarde een hysteris in absolute waarde of in %
Eenmaal een waarde gestockeerd met zijn timestamp en je blijft binnen de hysteresiswaarde dan registreer je niets meer. Eenmaal buiten de hysteresiswaarde registreer je opnieuw met de timestamp en werk je met de volgende hysteresiswaarde.
Werkt perfect voor tellerstand én ogenblikkelijke waarden niet niet al te frequent wijzigen. Wijzigen de ogenblikkelijke waarden snel dan kan je daar een filter opzetten (beperkt aantal meetpunten ifv tijd) meestal registreren ze dan op dit soort meetwaarden dan binnen die filterperiode supplementair de min/max waarden
dB wordt kleiner, makkelijker doorzoekbaar maar veel sneller én je blijft detail houden.

tien
Premium Member
Premium Member
Berichten: 742
Lid geworden op: 17 Apr 2019
Locatie: Attenhoven (Landen)
Bedankt: 30 keer
Recent bedankt: 3 keer
Uitgedeelde bedankjes: 51 keer

Re: DSMR integratie - grafieken?

Berichtdoor tien » 04 Mar 2020, 07:23

bruma schreef:Vroeger bestond er een open source versie maar ik ben de naam kwijt.

mrtg / rrd?

dupondje
Pro Member
Pro Member
Berichten: 375
Lid geworden op: 14 Sep 2006
Bedankt: 11 keer

Re: DSMR integratie - grafieken?

Berichtdoor dupondje » 04 Mar 2020, 11:27

tien schreef:
bruma schreef:Vroeger bestond er een open source versie maar ik ben de naam kwijt.

mrtg / rrd?


Prometheus / InfluxDB / etc zijn allemaal open source ook :)

Gebruikersavatar
devilkin
Elite Poster
Elite Poster
Berichten: 3031
Lid geworden op: 17 Mei 2006
Twitter: jdeluyck
Locatie: Gent
Bedankt: 154 keer
Recent bedankt: 11 keer
Uitgedeelde bedankjes: 313 keer
Contact:

Re: DSMR integratie - grafieken?

Berichtdoor devilkin » 04 Mar 2020, 18:17

devastator schreef:Trendanalyze. Geeft een indicatie van het verwachte verbruik op basis van het geleerde verbruik. Ik steek der hier water/gas/elek in. Best wel tevreden van.
Redelijk makkelijk te intereren in HA


Waar vond je de webhookin ID?

EDIT: gevonden - https://www.energyid.eu/integrations/webhookin
Orange Love Trio -- using Ubiquiti USG-3
Orange Dolphin & Proximus (corporate) -- Using OnePlus 8 Pro (ROM: Stock)

devastator
Elite Poster
Elite Poster
Berichten: 878
Lid geworden op: 01 Nov 2005
Locatie: Pelt
Bedankt: 37 keer
Recent bedankt: 1 keer
Uitgedeelde bedankjes: 11 keer

Re: DSMR integratie - grafieken?

Berichtdoor devastator » 1 week 6 dagen 14 uur geleden (29 Jun 2020, 09:54)

Welke kabel heb je nodig eigenlijk voor die meter uit te lezen? De mijne wordt morgen geinstalleerd.

Gebruikersavatar
MClaeys
Elite Poster
Elite Poster
Berichten: 5473
Lid geworden op: 16 Feb 2011
Bedankt: 315 keer
Uitgedeelde bedankjes: 338 keer

Re: DSMR integratie - grafieken?

Berichtdoor MClaeys » 1 week 6 dagen 14 uur geleden (29 Jun 2020, 10:13)

Er zijn er die ze zelf maken, ik ben voor gemak gegaan en heb deze gekocht.
Xbox Live: MClaeys

Bababa
Pro Member
Pro Member
Berichten: 429
Lid geworden op: 28 Jul 2014
Bedankt: 23 keer
Uitgedeelde bedankjes: 24 keer

Re: DSMR integratie - grafieken?

Berichtdoor Bababa » 1 week 6 dagen 14 uur geleden (29 Jun 2020, 10:19)

Met dsmr-reader worden de gegevens op je kaartje geschreven van de RPI. Dit heeft als risico dat het kaartje snel kan stuk gaan, zijn er bepaalde types kaartjes die hier beter tegen kunnen?
Telenet Basic Internet + Telenet Digicorder + Telenet CI+-module
Mobile Vikings prepaid sinds 6 jaar
Netflix via Chromecast - Eweka nieuwsgroepen

devastator
Elite Poster
Elite Poster
Berichten: 878
Lid geworden op: 01 Nov 2005
Locatie: Pelt
Bedankt: 37 keer
Recent bedankt: 1 keer
Uitgedeelde bedankjes: 11 keer

Re: DSMR integratie - grafieken?

Berichtdoor devastator » 1 week 6 dagen 14 uur geleden (29 Jun 2020, 10:26)

De raspberry pi's die ik in gebruik heb, hebben allemaal een read only filesystem met writeable overlay. Dus geen slijtage van de SD, en ook geen corruptie van de data als de stroom er opeens af gaat.

ygeffens
Elite Poster
Elite Poster
Berichten: 845
Lid geworden op: 08 Sep 2011
Locatie: Arendonk
Bedankt: 47 keer
Recent bedankt: 2 keer
Uitgedeelde bedankjes: 50 keer

Re: DSMR integratie - grafieken?

Berichtdoor ygeffens » 1 week 6 dagen 14 uur geleden (29 Jun 2020, 10:27)

Ik gebruik nu P1 Monitor (https://www.ztatz.nl/).
Die schrijft slechts 1x/kwartier naar de SD kaart. ipv elke 10 seconden.

Mijn kabel heb ik hier gekocht:
https://webshop.cedel.nl/Slimme-meter-kabel-P1-naar-USB

devastator
Elite Poster
Elite Poster
Berichten: 878
Lid geworden op: 01 Nov 2005
Locatie: Pelt
Bedankt: 37 keer
Recent bedankt: 1 keer
Uitgedeelde bedankjes: 11 keer

Re: DSMR integratie - grafieken?

Berichtdoor devastator » 1 week 6 dagen 11 uur geleden (29 Jun 2020, 12:54)

ygeffens schreef:Ik gebruik nu P1 Monitor (https://www.ztatz.nl/).
Die schrijft slechts 1x/kwartier naar de SD kaart. ipv elke 10 seconden.

Mijn kabel heb ik hier gekocht:
https://webshop.cedel.nl/Slimme-meter-kabel-P1-naar-USB

Die monitor ziet er niet slecht uit, maar de broncode is blijkbaar niet te downloaden. Enkel een heel image. Beetje overkill om iedere keer de code uit dat image te peuteren :-)

ygeffens
Elite Poster
Elite Poster
Berichten: 845
Lid geworden op: 08 Sep 2011
Locatie: Arendonk
Bedankt: 47 keer
Recent bedankt: 2 keer
Uitgedeelde bedankjes: 50 keer

Re: DSMR integratie - grafieken?

Berichtdoor ygeffens » 1 week 6 dagen 11 uur geleden (29 Jun 2020, 13:12)

Dat is inderdaad een nadeel. Het 'eist' een volledige rPI op, je kan het niet bij iets anders installeren.
Updaten valt nog mee.
Lege USB stick plaatsen.
Migratie aanvinken
Op 2de SD kaartje de nieuwe versie plaatsen.
Shutdown
Kaartje wisselen
Bij opstart ziet het systeem de backup van de database en haalt die binnen.
Maar je bent wel tss de 5 à 10 minuten statistiek kwijt.

Gebruikersavatar
MClaeys
Elite Poster
Elite Poster
Berichten: 5473
Lid geworden op: 16 Feb 2011
Bedankt: 315 keer
Uitgedeelde bedankjes: 338 keer

Re: DSMR integratie - grafieken?

Berichtdoor MClaeys » 1 week 6 dagen 9 uur geleden (29 Jun 2020, 15:28)

Bababa schreef:Met dsmr-reader worden de gegevens op je kaartje geschreven van de RPI. Dit heeft als risico dat het kaartje snel kan stuk gaan, zijn er bepaalde types kaartjes die hier beter tegen kunnen?

Ik had de database naar USB gezet, maar nu heb ik het in een VM draaien op ESX dat is wat stabieler.
Xbox Live: MClaeys

sky
Elite Poster
Elite Poster
Berichten: 781
Lid geworden op: 22 Mei 2003
Locatie: Gent
Bedankt: 83 keer
Recent bedankt: 1 keer
Uitgedeelde bedankjes: 16 keer

Re: DSMR integratie - grafieken?

Berichtdoor sky » 1 week 3 dagen 14 uur geleden (02 Jul 2020, 09:54)

devastator schreef:De raspberry pi's die ik in gebruik heb, hebben allemaal een read only filesystem met writeable overlay. Dus geen slijtage van de SD, en ook geen corruptie van de data als de stroom er opeens af gaat.

Waar schrijf je data dan naartoe? En hoe maak je zoiets aan?

Kan je je RPI met HA rechtstreeks met zo een kabel een de P1 poort hangen of heb je 2 RPi's nodig?
En hoe zit dan dan als je HA in een docker op je nas of in een vm op een nuc draait. Heb je dan ook RPi nodig of kan je deze gegevens dan rechtstreeks uitlezen?

devastator
Elite Poster
Elite Poster
Berichten: 878
Lid geworden op: 01 Nov 2005
Locatie: Pelt
Bedankt: 37 keer
Recent bedankt: 1 keer
Uitgedeelde bedankjes: 11 keer

Re: DSMR integratie - grafieken?

Berichtdoor devastator » 1 week 3 dagen 14 uur geleden (02 Jul 2020, 10:11)

Ik heb een aantal RPI's die geen data moeten wegschrijven, bijv de controller van m'n poort en alarmsysteem. HA draait bij mij niet op een PI (dat zou ook niet goed werken op een read-only filesystem :-)). Omdat het read-only is, kan ik gewoon de stroom uittrekken zonder dat de SD kaart corrupt wordt. Ook is er geen slijtage van de SD, dus in principe zou deze kaart 'oneindig lang' moeten meegan.

Met die dsm-reader kan je wegschrijven naar een server die op een andere machine draait. Dat moet ik nog opzetten, hoop het kabeltje vandaag te ontvangen.

devastator
Elite Poster
Elite Poster
Berichten: 878
Lid geworden op: 01 Nov 2005
Locatie: Pelt
Bedankt: 37 keer
Recent bedankt: 1 keer
Uitgedeelde bedankjes: 11 keer

Re: DSMR integratie - grafieken?

Berichtdoor devastator » 3 dagen 11 uur 40 minuten geleden (09 Jul 2020, 12:52)

Krijgen jullie ook gegevens over het gasverbruik? Dit lijkt bij mij onbeschikbaar.

dupondje
Pro Member
Pro Member
Berichten: 375
Lid geworden op: 14 Sep 2006
Bedankt: 11 keer

Re: DSMR integratie - grafieken?

Berichtdoor dupondje » 3 dagen 10 uur 53 minuten geleden (09 Jul 2020, 13:39)

Ja ik krijg die data gewoon door :)
Gebruik DSMR component in HA

sky
Elite Poster
Elite Poster
Berichten: 781
Lid geworden op: 22 Mei 2003
Locatie: Gent
Bedankt: 83 keer
Recent bedankt: 1 keer
Uitgedeelde bedankjes: 16 keer

Re: DSMR integratie - grafieken?

Berichtdoor sky » 3 dagen 10 uur 11 minuten geleden (09 Jul 2020, 14:22)

dupondje schreef:Ja ik krijg die data gewoon door :)
Gebruik DSMR component in HA

Gaat je kabel dan rechtstreeks van je P1 poort naar je HA toestel?

devastator
Elite Poster
Elite Poster
Berichten: 878
Lid geworden op: 01 Nov 2005
Locatie: Pelt
Bedankt: 37 keer
Recent bedankt: 1 keer
Uitgedeelde bedankjes: 11 keer

Re: DSMR integratie - grafieken?

Berichtdoor devastator » 3 dagen 9 uur 57 minuten geleden (09 Jul 2020, 14:36)

ik gebruik dsmr-reader, maar niks van gas data ...

Gebruikersavatar
honda4life
Elite Poster
Elite Poster
Berichten: 4835
Lid geworden op: 03 Jan 2010
Locatie: 127.0.0.1
Bedankt: 269 keer
Uitgedeelde bedankjes: 155 keer

Re: DSMR integratie - grafieken?

Berichtdoor honda4life » 3 dagen 8 uur 18 minuten geleden (09 Jul 2020, 16:15)

Krijg eerst je waarden op het portaal van je DNB te zien.

Ook de optie voor gas moest ik aanzetten, werkte vervolgens nog niet... Tot ik had gezegd "vergeet maar dat ik me nog ga bezig houden met meterstanden door te geven". Het was spoedig van op afstand in orde gebracht hoor.
✂ – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – –

dupondje
Pro Member
Pro Member
Berichten: 375
Lid geworden op: 14 Sep 2006
Bedankt: 11 keer

Re: DSMR integratie - grafieken?

Berichtdoor dupondje » 2 dagen 13 uur 11 minuten geleden (10 Jul 2020, 11:22)

sky schreef:Gaat je kabel dan rechtstreeks van je P1 poort naar je HA toestel?


Nee, de P1 poort gaat naar een RPi bij de meter.
Mijn HA draait op een home-server die de data uitleest van de RPi (via ser2net)


Terug naar “Home automation en domotica”

Wie is er online

Gebruikers op dit forum: Google [Bot] en 1 gast