data elke seconde opslaan (24/24)

Gebruikersavatar
broke23
Pro Member
Pro Member
Berichten: 271
Lid geworden op: 01 Aug 2014
Bedankt: 7 keer
Uitgedeelde bedankjes: 34 keer

data elke seconde opslaan (24/24)

Berichtdoor broke23 » 6 dagen 11 uur 54 minuten geleden (14 Nov 2017, 15:31)

here goes :lol:

ik heb een sma energy meter die ik ga installeren en die leest blijkbaar elke seconde je verbruik uit.

Deze wordt via multicast uitgezonden en zou ik dus willen opslaan om dan in een databank te steken om deze later te kunnen bekijken via grafieken of whatever.

Kan iemand me iet of wat in de juiste richting sturen om dit te bewerkstelligen?

ik dacht zelf om niet direct in DB te gieten, maar 1x per uur die 3600 entries in bulk up to loaden ...

:beerchug:

info (duits) http://www.eb-systeme.de/?page_id=1240 het visualiseren steekt in een applicatie alleszins (google play voor 4,78 euro)

icekiller2k6
Premium Member
Premium Member
Berichten: 742
Lid geworden op: 08 Mei 2008
Bedankt: 8 keer
Recent bedankt: 3 keer
Uitgedeelde bedankjes: 1 keer

Re: data elke seconde opslaan (24/24)

Berichtdoor icekiller2k6 » 6 dagen 11 uur 23 minuten geleden (14 Nov 2017, 16:02)

Je kunt bv mbv wireshark de multicasts opvangen.. dat zou mijn eerste stap zijn

deze vond ik op 1 min
https://github.com/kettenbach-it/FHEM-SMA-Speedwire
https://github.com/datenschuft/SMA-EM
domoticz:
https://www.domoticz.com/forum/viewtopic.php?t=16226
Laatst gewijzigd door icekiller2k6 op 14 Nov 2017, 16:04, 1 keer totaal gewijzigd.

Gebruikersavatar
r2504
Deel van't meubilair
Deel van't meubilair
Berichten: 27088
Lid geworden op: 28 Okt 2003
Bedankt: 1808 keer
Recent bedankt: 17 keer
Uitgedeelde bedankjes: 311 keer

Re: data elke seconde opslaan (24/24)

Berichtdoor r2504 » 6 dagen 11 uur 22 minuten geleden (14 Nov 2017, 16:04)

Multi threaded programma... één thread die de multicast data inleest en deze in een "array" stopt, de andere thread die om de x-entries het geheel naar je database schrijft.

Gebruikersavatar
broke23
Pro Member
Pro Member
Berichten: 271
Lid geworden op: 01 Aug 2014
Bedankt: 7 keer
Uitgedeelde bedankjes: 34 keer

Re: data elke seconde opslaan (24/24)

Berichtdoor broke23 » 6 dagen 11 uur 15 minuten geleden (14 Nov 2017, 16:10)

icekiller2k6 schreef:Je kunt bv mbv wireshark de multicasts opvangen.. dat zou mijn eerste stap zijn

deze vond ik op 1 min
https://github.com/kettenbach-it/FHEM-SMA-Speedwire
https://github.com/datenschuft/SMA-EM
domoticz:
https://www.domoticz.com/forum/viewtopic.php?t=16226


de 2e github en domoticz heb ik idd ook teruggevonden, maar om de data in een DB te pompen is me een raadsel

icekiller2k6
Premium Member
Premium Member
Berichten: 742
Lid geworden op: 08 Mei 2008
Bedankt: 8 keer
Recent bedankt: 3 keer
Uitgedeelde bedankjes: 1 keer

Re: data elke seconde opslaan (24/24)

Berichtdoor icekiller2k6 » 6 dagen 11 uur 12 minuten geleden (14 Nov 2017, 16:13)

bv door influxdb te gebruiken met grafana
opslaan in db mbv python
http://influxdb-python.readthedocs.io/e ... mples.html

en grafana voor weer te geven
https://www.youtube.com/watch?v=OUvJamH ... e=youtu.be


volledig voorbeeld uitgewerkt
https://www.youtube.com/watch?v=w4CNBqGoYRA

moest het dan nog niet lukken.. :) mss een student onder de arm nemen en wat geld geven ;)

Gebruikersavatar
broke23
Pro Member
Pro Member
Berichten: 271
Lid geworden op: 01 Aug 2014
Bedankt: 7 keer
Uitgedeelde bedankjes: 34 keer

Re: data elke seconde opslaan (24/24)

Berichtdoor broke23 » 6 dagen 10 uur 33 minuten geleden (14 Nov 2017, 16:53)

Thanks icekiller! Heb men vraag wat verkeerd verwoord, met een voorbeeld kom ik mogelijk al een pak verder, thx man :beerchug:

verder ook nog gevonden:

https://engineer.john-whittington.co.uk ... b-grafana/

Gebruikersavatar
Tim.Bracquez
Elite Poster
Elite Poster
Berichten: 2513
Lid geworden op: 05 Dec 2010
Twitter: fusabe
Locatie: ::1
Bedankt: 312 keer
Recent bedankt: 7 keer
Uitgedeelde bedankjes: 120 keer
Contact:

Re: data elke seconde opslaan (24/24)

Berichtdoor Tim.Bracquez » 6 dagen 8 uur 19 minuten geleden (14 Nov 2017, 19:06)

Ik zou alles gewoon in redis steken (db in memory) en dan gewoon om de x tijd er uit halen. Heeft zelfs expire optie om automatisch je keys te laten vervallen.

Werkt dan ook nog eens performant!
Tim Bracquez, tim@fusa.be, https://www.fusa.is
Dedicated Servers - https://fusa.is/offer

Gebruikersavatar
honda4life
Elite Poster
Elite Poster
Berichten: 4275
Lid geworden op: 03 Jan 2010
Locatie: 127.0.0.1
Bedankt: 228 keer
Recent bedankt: 1 keer
Uitgedeelde bedankjes: 129 keer

Re: data elke seconde opslaan (24/24)

Berichtdoor honda4life » 6 dagen 8 uur 7 minuten geleden (14 Nov 2017, 19:18)

icekiller2k6 schreef:bv door influxdb te gebruiken met grafana
opslaan in db mbv python
http://influxdb-python.readthedocs.io/e ... mples.html

en grafana voor weer te geven
https://www.youtube.com/watch?v=OUvJamH ... e=youtu.be


volledig voorbeeld uitgewerkt
https://www.youtube.com/watch?v=w4CNBqGoYRA

moest het dan nog niet lukken.. :) mss een student onder de arm nemen en wat geld geven ;)


Grafana ziet er wel leuk uit, al moet ik toegeven dat bij mij alle "datalogging" projectjes na verloop van tijd toch niet meer nuttig gebruikt worden.
Vele data is leuk, maar om daadwerkelijk er iets nuttigs mee te doen... wat kan je optimaliseren voor thuisgebruik?
✂ – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – –

Crazy2
Starter
Starter
Berichten: 18
Lid geworden op: 09 Mar 2008
Locatie: Heusden-Zolder, België
Uitgedeelde bedankjes: 1 keer
Contact:

Re: data elke seconde opslaan (24/24)

Berichtdoor Crazy2 » 6 dagen 4 uur 5 seconden geleden (14 Nov 2017, 23:26)

Hier log ik elke 5 minuten mijn verbruik en opbrengst van de zonnepanelen.
Eigenlijk doe ik heel weinig met al deze data buiten mijn madame naar haar voeten geven dat ze te veel elektriciteit verbruikt. :-D
Ik ben al 2 jaar mooie grafieken aant maken hiervoor maar staat op de allerlaagste prioriteit.
Less is more

Gebruikersavatar
broke23
Pro Member
Pro Member
Berichten: 271
Lid geworden op: 01 Aug 2014
Bedankt: 7 keer
Uitgedeelde bedankjes: 34 keer

Re: data elke seconde opslaan (24/24)

Berichtdoor broke23 » 5 dagen 20 uur 42 minuten geleden (15 Nov 2017, 06:43)

Crazy2 schreef:Hier log ik elke 5 minuten mijn verbruik en opbrengst van de zonnepanelen.
Eigenlijk doe ik heel weinig met al deze data buiten mijn madame naar haar voeten geven dat ze te veel elektriciteit verbruikt. :-D
Ik ben al 2 jaar mooie grafieken aant maken hiervoor maar staat op de allerlaagste prioriteit.


Komt hier op hetzelfde neer eigenlijk! :lol:

Crazy2
Starter
Starter
Berichten: 18
Lid geworden op: 09 Mar 2008
Locatie: Heusden-Zolder, België
Uitgedeelde bedankjes: 1 keer
Contact:

Re: data elke seconde opslaan (24/24)

Berichtdoor Crazy2 » 5 dagen 20 uur 10 minuten geleden (15 Nov 2017, 07:15)

Dit is het enigste waar ik naar kijk :-)
Afbeelding
Less is more

Doktor Avalanche
Premium Member
Premium Member
Berichten: 595
Lid geworden op: 21 Dec 2010
Locatie: Oostmalle
Bedankt: 69 keer
Uitgedeelde bedankjes: 92 keer
Contact:

Re: data elke seconde opslaan (24/24)

Berichtdoor Doktor Avalanche » 5 dagen 19 uur 7 minuten geleden (15 Nov 2017, 08:19)

SMA stuurt dat toch ook naar hun 'eigen' db, sunnyportal. Dat werkt voor mij perfect. In de interface van sunnyportal kan je volgens mij nog ergens instellen dat dat naar een ander platform gestuurd kan worden.
"The Internet is allergic to truth, reason and humour."

Gebruikersavatar
broke23
Pro Member
Pro Member
Berichten: 271
Lid geworden op: 01 Aug 2014
Bedankt: 7 keer
Uitgedeelde bedankjes: 34 keer

Re: data elke seconde opslaan (24/24)

Berichtdoor broke23 » 5 dagen 15 uur 19 minuten geleden (15 Nov 2017, 12:06)

Doktor Avalanche schreef:SMA stuurt dat toch ook naar hun 'eigen' db, sunnyportal. Dat werkt voor mij perfect. In de interface van sunnyportal kan je volgens mij nog ergens instellen dat dat naar een ander platform gestuurd kan worden.


dat ie het naar de sunny portal stuurt weet ik, maar dat je het van daar kan doorsturen ? Niemand heeft hier tot nu toe over gesproken tegen mij, en vind er ook niets van terug, of is goed verborgen...

probleem is, ik wil niet gebonden zijn aan iets dat online gehost word, als sma er mee kapt, sta ik daar mooi, vandaar dat ik het liever in eigen beheer heb

Gebruikersavatar
honda4life
Elite Poster
Elite Poster
Berichten: 4275
Lid geworden op: 03 Jan 2010
Locatie: 127.0.0.1
Bedankt: 228 keer
Recent bedankt: 1 keer
Uitgedeelde bedankjes: 129 keer

Re: data elke seconde opslaan (24/24)

Berichtdoor honda4life » 5 dagen 15 uur 3 minuten geleden (15 Nov 2017, 12:22)

Kan je niet heel wat dingen doen via Bluetooth (class 1), of is dat van de vorige generatie SMA?
CSV-files was kinderspel, beetje prutsen in Excel en dat deed z'n ding voor mij.
Bekijk ook even SMAspot in dat geval.
✂ – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – –

Gebruikersavatar
broke23
Pro Member
Pro Member
Berichten: 271
Lid geworden op: 01 Aug 2014
Bedankt: 7 keer
Uitgedeelde bedankjes: 34 keer

Re: data elke seconde opslaan (24/24)

Berichtdoor broke23 » 5 dagen 14 uur 59 minuten geleden (15 Nov 2017, 12:26)

honda4life schreef:Kan je niet heel wat dingen doen via Bluetooth (class 1), of is dat van de vorige generatie SMA?
CSV-files was kinderspel, beetje prutsen in Excel en dat deed z'n ding voor mij.
Bekijk ook even SMAspot in dat geval.


ik heb sbfspot (opvolger smaspot) lopen op men RPI 3, voor men zonnepannelen alles al in orde dus, maar wil dus men electriciteitsverbruik hiermee monitoren (die leest idd via bluetooth de omvormer uit)

Gebruikersavatar
honda4life
Elite Poster
Elite Poster
Berichten: 4275
Lid geworden op: 03 Jan 2010
Locatie: 127.0.0.1
Bedankt: 228 keer
Recent bedankt: 1 keer
Uitgedeelde bedankjes: 129 keer

Re: data elke seconde opslaan (24/24)

Berichtdoor honda4life » 5 dagen 13 uur 49 minuten geleden (15 Nov 2017, 13:36)

Dat detail was me even ontgaan, leuk speelgoed.
Zelf heb ik een simpele kWh-meter met RS485 uitgang, daar haal je veel meer data uit voor een fractie van de prijs :wink:
Wel een gemis dat er geen pulsuitgang meer is om eenvoudig pulsen te tellen in jouw geval.

Ook hier weer... tegen je deze investering terugverdiend hebt door te besparen...
Laat staan zonder comfort te verliezen, dat is pas de uitdaging.
✂ – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – –

Gebruikersavatar
Sinna
Elite Poster
Elite Poster
Berichten: 1137
Lid geworden op: 14 Nov 2008
Locatie: Brugge
Bedankt: 64 keer
Uitgedeelde bedankjes: 47 keer

Re: data elke seconde opslaan (24/24)

Berichtdoor Sinna » 5 dagen 13 uur 44 minuten geleden (15 Nov 2017, 13:41)

honda4life schreef:Zelf heb ik een simpele kWh-meter met RS485 uitgang, daar haal je veel meer data uit voor een fractie van de prijs :wink:

Kan je een voorbeeld geven? Zit dat tussen het stopcontact en je toestel? Lijkt me interessant.
Computer(k)nul

devastator
Premium Member
Premium Member
Berichten: 501
Lid geworden op: 01 Nov 2005
Locatie: /dev/tty1
Bedankt: 5 keer
Uitgedeelde bedankjes: 8 keer

Re: data elke seconde opslaan (24/24)

Berichtdoor devastator » 5 dagen 13 uur 22 minuten geleden (15 Nov 2017, 14:03)

Crazy2 schreef:Hier log ik elke 5 minuten mijn verbruik en opbrengst van de zonnepanelen.
Eigenlijk doe ik heel weinig met al deze data buiten mijn madame naar haar voeten geven dat ze te veel elektriciteit verbruikt. :-D
Ik ben al 2 jaar mooie grafieken aant maken hiervoor maar staat op de allerlaagste prioriteit.


Hoet meet je je verbruik bij een terugdraaiende teller ?
Afbeelding

Gebruikersavatar
honda4life
Elite Poster
Elite Poster
Berichten: 4275
Lid geworden op: 03 Jan 2010
Locatie: 127.0.0.1
Bedankt: 228 keer
Recent bedankt: 1 keer
Uitgedeelde bedankjes: 129 keer

Re: data elke seconde opslaan (24/24)

Berichtdoor honda4life » 5 dagen 12 uur 50 minuten geleden (15 Nov 2017, 14:35)

Sinna schreef:
honda4life schreef:Zelf heb ik een simpele kWh-meter met RS485 uitgang, daar haal je veel meer data uit voor een fractie van de prijs :wink:

Kan je een voorbeeld geven? Zit dat tussen het stopcontact en je toestel? Lijkt me interessant.


Zit in m'n meterkast en is algemeen.
Maar inderdaad, aan bepaalde patronen kan je verbruikers herkenne.
Wil je per stopcontact, bestaan er genoeg alternatieven.
Ik weet nu hoe veel m'n diepvries verbruikt, dat ontdooien eigenlijk amper een verschil maakt;
Dat de CV-installatie best wel een grote sluipverbruiker blijkt te zijn en dat warm water/CV best wel wat bijkomende elektriciteit vraagt voor circulatiepomp en verbrandingsluchtventilatie;
Dat m'n niet zo efficiënte jetpomp voor regenwater toch ook met meer energie gaat lopen dan gedacht.
...
Ga ik hierdoor investeren om dit nadien terug ooit terug te kunnen besparen, nee!

Sorry, dat ik afwijk. Maar bezint eer ge begint aan zulke projectjes tenzij het een hobby is :wink:
✂ – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – –

Doktor Avalanche
Premium Member
Premium Member
Berichten: 595
Lid geworden op: 21 Dec 2010
Locatie: Oostmalle
Bedankt: 69 keer
Uitgedeelde bedankjes: 92 keer
Contact:

Re: data elke seconde opslaan (24/24)

Berichtdoor Doktor Avalanche » 5 dagen 12 uur 33 minuten geleden (15 Nov 2017, 14:53)

devastator schreef:Dat de CV-installatie best wel een grote sluipverbruiker blijkt te zijn en dat warm water/CV best wel wat bijkomende elektriciteit vraagt voor circulatiepomp en verbrandingsluchtventilatie;

yep, dat heb ik bij mij ook al moeten ondervinden, 2 vloerverwarming circulatiepompen + pomp in brander zelf vragen best wel wat energie, vooral die in de brander zelf zit. Ik zet deze pompen in de zomer nu af...
"The Internet is allergic to truth, reason and humour."

bruma
Elite Poster
Elite Poster
Berichten: 896
Lid geworden op: 06 Jan 2014
Bedankt: 46 keer
Recent bedankt: 2 keer
Uitgedeelde bedankjes: 34 keer

Re: data elke seconde opslaan (24/24)

Berichtdoor bruma » 5 dagen 8 uur 55 minuten geleden (15 Nov 2017, 18:30)

ik ben een oplossing laatst tegen gekomen net omdat er niet continue op een SDcard zou geschreven worden.
Ik kan me niet meteen herinneren waar, mogelijks had het te maken met domoticz of volkszaehler

wel heb ontertussen de oplossing van erikm terug gevonden maar niet in detail bekeken, misschien zet je dat op weg:
https://community.home-assistant.io/t/raspberry-pi-filesystem-stability/21302/16
https://www.sqlite.org/inmemorydb.html

je kan ook zoeken op RPI want daar heeft men ook last van veel schrijfinstructie

Crazy2
Starter
Starter
Berichten: 18
Lid geworden op: 09 Mar 2008
Locatie: Heusden-Zolder, België
Uitgedeelde bedankjes: 1 keer
Contact:

Re: data elke seconde opslaan (24/24)

Berichtdoor Crazy2 » 5 dagen 7 uur 22 minuten geleden (15 Nov 2017, 20:03)

devastator schreef:Hoet meet je je verbruik bij een terugdraaiende teller ?


Eigenlijk heel simpel en gebruik mijn boerenverstand :-)

Elke 5 minuten voeg ik mijn verbruik en opbrengst toe in een database en bereken door een simpele
if ( verbruik > opbrengst ) {
import = verbruik - opbrengst
} else if ( verbruik < opbrengst ) {
export = opbrengst - verbruik
}

Gegevens van het laatste jaar zijn te vinden op https://huis.robbysmets.be
Om de bedragen en terug verdien tijd te berekenen gebruikt ik verschillende variabelen.
- Bandingsfactor voor gsc
- prosumententarief
- prijs per kWh die te vinden is op vreg site.
Less is more

icekiller2k6
Premium Member
Premium Member
Berichten: 742
Lid geworden op: 08 Mei 2008
Bedankt: 8 keer
Recent bedankt: 3 keer
Uitgedeelde bedankjes: 1 keer

Re: data elke seconde opslaan (24/24)

Berichtdoor icekiller2k6 » 4 dagen 17 uur 48 minuten geleden (16 Nov 2017, 09:37)

bruma schreef:ik ben een oplossing laatst tegen gekomen net omdat er niet continue op een SDcard zou geschreven worden.
Ik kan me niet meteen herinneren waar, mogelijks had het te maken met domoticz of volkszaehler

wel heb ontertussen de oplossing van erikm terug gevonden maar niet in detail bekeken, misschien zet je dat op weg:
https://community.home-assistant.io/t/raspberry-pi-filesystem-stability/21302/16
https://www.sqlite.org/inmemorydb.html

je kan ook zoeken op RPI want daar heeft men ook last van veel schrijfinstructie


kunt inderdaad best een USB stikje toevoegen en daar op weg schrijven easy peasy..

devastator
Premium Member
Premium Member
Berichten: 501
Lid geworden op: 01 Nov 2005
Locatie: /dev/tty1
Bedankt: 5 keer
Uitgedeelde bedankjes: 8 keer

Re: data elke seconde opslaan (24/24)

Berichtdoor devastator » 4 dagen 17 uur 40 minuten geleden (16 Nov 2017, 09:45)

Crazy2 schreef:
devastator schreef:Hoet meet je je verbruik bij een terugdraaiende teller ?


Eigenlijk heel simpel en gebruik mijn boerenverstand :-)

Elke 5 minuten voeg ik mijn verbruik en opbrengst toe in een database en bereken door een simpele
if ( verbruik > opbrengst ) {
import = verbruik - opbrengst
} else if ( verbruik < opbrengst ) {
export = opbrengst - verbruik
}


Snap ik, maar hoe meet je je verbruik ?
Ik had bijvoorbeel een YouLess plakken op de meter, maar die ziet het verschil niet tussen vooruit draaien en achteruit draaien van de schijf, waardoor ie dus ook niet meer kan zien wat mijn verbruik is (hij meet gewoon de pulsen).
Afbeelding

Crazy2
Starter
Starter
Berichten: 18
Lid geworden op: 09 Mar 2008
Locatie: Heusden-Zolder, België
Uitgedeelde bedankjes: 1 keer
Contact:

Re: data elke seconde opslaan (24/24)

Berichtdoor Crazy2 » 4 dagen 17 uur 5 minuten geleden (16 Nov 2017, 10:20)

Momenteel gebruik ik hier een Smappee voor.
1 klem tussen meterkast (inkomend) en zekeringskast en de 2de klem is na omvormer.
Less is more

Gebruikersavatar
broke23
Pro Member
Pro Member
Berichten: 271
Lid geworden op: 01 Aug 2014
Bedankt: 7 keer
Uitgedeelde bedankjes: 34 keer

Re: data elke seconde opslaan (24/24)

Berichtdoor broke23 » 1 dag 5 uur 33 minuten geleden (19 Nov 2017, 21:52)

Iemand hier kennis van Android applicaties? Heb er 1 die de energie meter kan uitlezen maar wil dat dus in een db pompen. Maar dat lukt me hoegenaamd nooit (nul kennis programmeren)

Iemand die hierbij kan en wil helpen eventueel?

brubbel
Premium Member
Premium Member
Berichten: 647
Lid geworden op: 04 Jul 2012
Bedankt: 146 keer
Recent bedankt: 2 keer
Uitgedeelde bedankjes: 39 keer

Re: data elke seconde opslaan (24/24)

Berichtdoor brubbel » 1 dag 5 uur 18 minuten geleden (19 Nov 2017, 22:07)

Vanwaar komen al die vreemde termen toch? :-D Binnentrekken, dichttrekken, opentrekken, dichttimmeren, pompen. Precies een workout schema in de fitness. Wat is Nederlands toch een sublieme taal...
Om mijn windows 10 dicht te timmeren moest ik internet opentrekken om een antivirus binnen te trekken. Tijdens het in de database pompen van de laatste updates werd heel mijn lijn dichtgetrokken!


Terug naar “Allerlei”

Wie is er online

Gebruikers op dit forum: Geen geregistreerde gebruikers en 2 gasten