Userbase traag

Vragen of opmerking aan het adres van de Userbase.be crew kan je hier posten. Ook nieuws ivm Userbase.be wordt hier gepost.
Plaats reactie
Gebruikersavatar
petrol242
Elite Poster
Elite Poster
Berichten: 4368
Lid geworden op: 17 sep 2012, 12:07
Uitgedeelde bedankjes: 85 keer
Bedankt: 260 keer

Als er hardware moet vervangen worden kunnen we misschien een crowd funding organiseren onder de leden?
boonpwnz
Elite Poster
Elite Poster
Berichten: 5071
Lid geworden op: 05 jul 2017, 09:50
Uitgedeelde bedankjes: 84 keer
Bedankt: 151 keer
Recent bedankt: 3 keer

Wat ik ook jammer vind maar dat zal wel veel resources kosten is niet zoals op tweakers een up to date nieuwsoverzicht. Ok het is een forum maar ik bedoel dus dezelfde methodiek.
Gebruikersavatar
Goztow
Administrator
Administrator
Berichten: 14441
Lid geworden op: 14 nov 2006, 16:21
Locatie: Brussel
Uitgedeelde bedankjes: 1600 keer
Bedankt: 1194 keer
Recent bedankt: 6 keer

Op tweakers 2ijn er betaalde journalisten die dat doen. Bij ons is het nieuwsoverzicht een link naar de posts in het breedband forum.
Gebruikersavatar
cadsite
Elite Poster
Elite Poster
Berichten: 6111
Lid geworden op: 20 jan 2015, 16:10
Locatie: Kortrijk
Uitgedeelde bedankjes: 244 keer
Bedankt: 582 keer
Recent bedankt: 8 keer

petrol242 schreef:Als er hardware moet vervangen worden kunnen we misschien een crowd funding organiseren onder de leden?
Kom kom...
Voor nog geen €70/jaar heb ik 5 hosting pakketten die elk apart meer aankunnen dan wat UB nodig heeft. Als het hier niet kostendekkend lukt zonder crowdfunding is er ergens iets goed fout.
Gebruikersavatar
petrol242
Elite Poster
Elite Poster
Berichten: 4368
Lid geworden op: 17 sep 2012, 12:07
Uitgedeelde bedankjes: 85 keer
Bedankt: 260 keer

Als ik me niet vergis is den "Duvel" een eigen server ter beschikking gesteld door Edpnet? Natuurlijk kan je dat laten hosten op één of ander virtueel platform, maar waar is dan de fun nog aan? Als Duveltje een upgrade nodig heeft, kunnen we daar met z'n allen toch aan helpen?.
boonpwnz
Elite Poster
Elite Poster
Berichten: 5071
Lid geworden op: 05 jul 2017, 09:50
Uitgedeelde bedankjes: 84 keer
Bedankt: 151 keer
Recent bedankt: 3 keer

Met hoeveel actieve leden zijn we?

En hoeveel zou die upgrade kosten van zo'n server?
En zou het kunnen gehost worden op een 20 naar 200 Mbps?(met 2 VDSL lijnen) ipv van nu 10 naar 100?
Gebruikersavatar
krisken
userbase crew
userbase crew
Berichten: 19763
Lid geworden op: 07 nov 2006, 12:11
Twitter: kriskenbe
Locatie: Massemen - 91WET0
Uitgedeelde bedankjes: 1857 keer
Bedankt: 1035 keer

Wil gerust hier wel eens over praten. Maar ik dacht dat we een vrij deftige server draaiende hadden? Ikzelf draai een forum met 4000+ leden op een simpele core I7 950 processor, 24GB ram en 4x 3TB in raid 10. Een vrij actief forum gewoon op shared hosting (directadmin ding). Dus met UB zou dat zeker moeten kunnen?

Internet = Orange 150/15Mbps + WirelessBelgië
Telefonie = EDPnet + OVH
GSM = Orange Go Extreme SE + Scarlet Red
TV = TVV App + Netflix + Disney+ + Streamz
Netwerk = Mikrotik + Ubiquiti
Gebruikersavatar
Goztow
Administrator
Administrator
Berichten: 14441
Lid geworden op: 14 nov 2006, 16:21
Locatie: Brussel
Uitgedeelde bedankjes: 1600 keer
Bedankt: 1194 keer
Recent bedankt: 6 keer

Gaat nu weer snel.

Ik weet niet of het aan de hardware ligt. Meon? Subke?
Gebruikersavatar
meon
Administrator
Administrator
Berichten: 16726
Lid geworden op: 18 feb 2003, 22:02
Twitter: meon
Locatie: Bree
Uitgedeelde bedankjes: 573 keer
Bedankt: 770 keer

Ik denk dat traagheid een combinatie is van factoren; we hebben bij momenten een burst aan 'valse' gebruikers (zoekmachines, spiders, indexers, ...) waarbij het gebrek aan goeie caching maakt dat er veel requests richting MySQL gaan. Wegens migratie-naar-migratie-naar-migratie zijn de MySQL-tabellen nooit van MyISAM naar InnoDB geconverteerd en heb je dus table locks op bepaalde acties en komt alles in een queue terecht. De grootste tabellen zijn die met de search te maken hebben: deze zijn miljoenen records groot en wellicht is de search engine van phpBB minder geoptimaliseerd dan bijvoorbeeld Lucene of Elasticsearch.
We draaien bovendien alle services (web/dns/database) allemaal binnen dezelfde virtuele instance, waar dat je wellicht winst kunt halen door een dedicated database-server te hebben, een caching proxy, ... Maar dat kost allemaal meer infrastructuur, ook al kan dat tegenwoordig allemaal virtueel of in containers.
Onze Xenhost is ondertussen inderdaad al redelijk oud, maar we hebben zelfs ook nog altijd onze vorige server ook draaien.

Ik weet niet of/hoe we onze huidige infra zouden kunnen optimaliseren met de hardware die we hebben. Als ik niet naar de kosten zou moeten kijken zou ik alles in PaaS in Azure steken, maar dat tov deze hardware die we ter onze beschikking hebben...

Eerlijk: er is een flinke backlog aan systeembeheerderstaken, en ik ben zelf Linux niet machtig genoeg om de issues te herkennen of de oplossingen te weten.
Gebruikersavatar
Sasuke
userbase crew
userbase crew
Berichten: 5526
Lid geworden op: 13 aug 2003, 20:25
Locatie: Vlaanderen
Uitgedeelde bedankjes: 238 keer
Bedankt: 467 keer
Recent bedankt: 6 keer

Heren, ik ben altijd bereid om userbase.be te draaien op mijn Hetzner omgeving (net vernieuwd nog eens). Daar heb ik nog capaciteit over, eventueel stel ik gerust een dedicated machine beschikbaar. (maar het sysadmin stuk kan ik eventueel ook wel meepakken).
Who the fxxk is General Failure and why is he reading my hard disk ?
Afbeelding
Gebruikersavatar
JamesEarlGray
Elite Poster
Elite Poster
Berichten: 1322
Lid geworden op: 24 aug 2017, 13:04
Uitgedeelde bedankjes: 77 keer
Bedankt: 135 keer

meon schreef:Eerlijk: er is een flinke backlog aan systeembeheerderstaken, en ik ben zelf Linux niet machtig genoeg om de issues te herkennen of de oplossingen te weten.
Afbeelding

Nee, al het gelol terzijde, zelf heb ik helaas te weinig tijd om de backlog aan beheerstaken hier binnenshuis af te handelen, laat staan op een ander. Een gezin is (soms té) druk, ni waar.

Maar anderen die zich geroepen voelen... ga ervoor! :banana:

Edit: of misschien kunnen alle taken eens worden uitgestald en via crowd-sourcing op dit eigenste forum worden opgelost?
boonpwnz
Elite Poster
Elite Poster
Berichten: 5071
Lid geworden op: 05 jul 2017, 09:50
Uitgedeelde bedankjes: 84 keer
Bedankt: 151 keer
Recent bedankt: 3 keer

@ Meon

Is het geen optie om een linux expert voor een paar uur in te huren om even te kijken naar die dingen?
Gebruikersavatar
krisken
userbase crew
userbase crew
Berichten: 19763
Lid geworden op: 07 nov 2006, 12:11
Twitter: kriskenbe
Locatie: Massemen - 91WET0
Uitgedeelde bedankjes: 1857 keer
Bedankt: 1035 keer

Ik ken wel een paar goede Linuxkippen, maar probleem is bij allemaal hetzelfde : te weinig tijd :)

Internet = Orange 150/15Mbps + WirelessBelgië
Telefonie = EDPnet + OVH
GSM = Orange Go Extreme SE + Scarlet Red
TV = TVV App + Netflix + Disney+ + Streamz
Netwerk = Mikrotik + Ubiquiti
tb0ne
Elite Poster
Elite Poster
Berichten: 1020
Lid geworden op: 24 aug 2012, 11:49
Uitgedeelde bedankjes: 27 keer
Bedankt: 85 keer

Laatste 20 minuten.......... hier moet toch een linux server guru zitten die wat kan optimaliseren hier en daar? :wink:
Laatst gewijzigd door tb0ne 17 jan 2018, 10:35, in totaal 1 gewijzigd.
ITnetadmin
userbase crew
userbase crew
Berichten: 8965
Lid geworden op: 28 jan 2012, 18:22
Uitgedeelde bedankjes: 199 keer
Bedankt: 689 keer
Recent bedankt: 2 keer

Userbase rond 9u50 onbereikbaar.
Intussen is het al 10u30 en de responstijd is oertraag.
Robert Ford
Elite Poster
Elite Poster
Berichten: 1515
Lid geworden op: 12 nov 2005, 18:54
Uitgedeelde bedankjes: 102 keer
Bedankt: 101 keer

Ik bezoek het forum meermaals per dag en heb dus nog nooit problemen gehad...

Telenet lijntje hier.
Gebruikersavatar
svermassen
Elite Poster
Elite Poster
Berichten: 2302
Lid geworden op: 21 nov 2004, 20:05
Uitgedeelde bedankjes: 356 keer
Bedankt: 60 keer
Recent bedankt: 1 keer

Ben al blij dat ik mijne linux-bak (virtuele server) aan de praat kan houden.
Je moet er inderdaad wel al wat kennis van hebben, heb daar ook niet genoeg kaas van gegeten, anders had ik zeker willen helpen.
tb0ne
Elite Poster
Elite Poster
Berichten: 1020
Lid geworden op: 24 aug 2012, 11:49
Uitgedeelde bedankjes: 27 keer
Bedankt: 85 keer

Ook Telenet lijn hier, alvorens we weer een rondje Telenet/Proximus krijgen, provider heeft er niks mee te maken.
datakiller
Elite Poster
Elite Poster
Berichten: 769
Lid geworden op: 01 jan 2018, 18:00
Locatie: Aalter
Uitgedeelde bedankjes: 48 keer
Bedankt: 37 keer

tb0ne schreef:alvorens we weer een rondje Telenet/Proximus krijgen, provider heeft er niks mee te maken.
Dit is niet altijd zo, heb 250ms in de avond niets mee temaken noem ik da niet ma het internet werkt wel nog, tis een wonder.
Een vriend heeft gekeken en mensen in Oost en West vlaanderen hebben hier ook last van, dus 'k ben niet den enigste. (Provider: Telenet)

Maar dit is offtopic laten we er hier niet verder op in gaan.
Telenet ONE: https://www.speedtest.net/my-result/d/7 ... 3afbda.png
Telenet ONE for one (mobiel): 300kbps in Gent-Sint-Pieters :-D maar de upload is wel gewoon 20Mbps
tb0ne
Elite Poster
Elite Poster
Berichten: 1020
Lid geworden op: 24 aug 2012, 11:49
Uitgedeelde bedankjes: 27 keer
Bedankt: 85 keer

Dit gaat over de userbase site, meon heeft al beschreven waar het probleem zit.
Uw persoonlijk verbindingsprobleem heeft daar niks mee te maken.
datakiller
Elite Poster
Elite Poster
Berichten: 769
Lid geworden op: 01 jan 2018, 18:00
Locatie: Aalter
Uitgedeelde bedankjes: 48 keer
Bedankt: 37 keer

tb0ne schreef:persoonlijk verbindingsprobleem
Dat is het juist niet:
Telenet gebruikers naar edpnet om ~9uur.

(Maar laten we on topic blijven)
Telenet ONE: https://www.speedtest.net/my-result/d/7 ... 3afbda.png
Telenet ONE for one (mobiel): 300kbps in Gent-Sint-Pieters :-D maar de upload is wel gewoon 20Mbps
tb0ne
Elite Poster
Elite Poster
Berichten: 1020
Lid geworden op: 24 aug 2012, 11:49
Uitgedeelde bedankjes: 27 keer
Bedankt: 85 keer

Nogmaals, niet gerelateerd aan dit probleem.
Gebruikersavatar
Geert-Jan
Pro Member
Pro Member
Berichten: 326
Lid geworden op: 14 okt 2016, 17:31
Uitgedeelde bedankjes: 40 keer
Bedankt: 27 keer

Meestal is het trager worden van een forum te wijten aan verkeerde/standaard/lage instellingen van de MySQL.
Je kan met weinig hardware een enorm forum draaien, maar als je keybuffer nog standaard staat dan ben je gezien.
Je kan gewoon in "/var/log/messages" beginnen lezen of er iets niet goed loopt.
Ook kan je veel in "top" zien, kijk gewoon hoe zwaar de processen de boel belasten.

Er is veel dan je kan doen met een paar kleine ingrepen op voorwaarde dat de hardware geen mankementen heeft.
Linux servers is een eitje, ze geven bijna alles zelf aan wat er mis loopt :lol:
meon schreef:Ik denk dat traagheid een combinatie is van factoren; we hebben bij momenten een burst aan 'valse' gebruikers (zoekmachines, spiders, indexers, ...) waarbij het gebrek aan goeie caching maakt dat er veel requests richting MySQL gaan. Wegens migratie-naar-migratie-naar-migratie zijn de MySQL-tabellen nooit van MyISAM naar InnoDB geconverteerd en heb je dus table locks op bepaalde acties en komt alles in een queue terecht. De grootste tabellen zijn die met de search te maken hebben: deze zijn miljoenen records groot en wellicht is de search engine van phpBB minder geoptimaliseerd dan bijvoorbeeld Lucene of Elasticsearch.
We draaien bovendien alle services (web/dns/database) allemaal binnen dezelfde virtuele instance, waar dat je wellicht winst kunt halen door een dedicated database-server te hebben, een caching proxy, ... Maar dat kost allemaal meer infrastructuur, ook al kan dat tegenwoordig allemaal virtueel of in containers.
Onze Xenhost is ondertussen inderdaad al redelijk oud, maar we hebben zelfs ook nog altijd onze vorige server ook draaien.
weten.
InnoDB is geen goede oplossing want dat is een transactie-based database, waardoor je tabellen nog langere verwerkingstijd nodig hebben omdat die ook logging bijhoud en per wijziging een commit doet.
Caching proxy heeft voor een forum geen nut, dit omdat elke user andere informatie krijgt, dit is enkel zinvol bij een webshop of een semi-statische website.
Een forum is veel te dynamisch om met een proxy te werken.

Je mag me altijd je my.conf doorsturen, die veranderen is het simpelste wat je kan doen en kan enorme winst opleveren.
Verder kan je je tabellen eens laten opschonen met phpmyadmin als je die geïnstalleerd hebt, dat kan soms iets opleveren.
En als laatste kan je (in SMF kan dit) je search-index wijzigen in een full-index waardoor die minder moet zoeken door de andere tabellen, nadeel is wel dat je database gemakkelijk 2x zo groot wordt, maar het weegt op tegen de verwerkings-snelheid van de queries die posts moeten opzoeken.

Noem maar een paar zaken die me zo te binnen schieten.
Afbeelding

Groeten,

Geert-Jan.
ITnetadmin
userbase crew
userbase crew
Berichten: 8965
Lid geworden op: 28 jan 2012, 18:22
Uitgedeelde bedankjes: 199 keer
Bedankt: 689 keer
Recent bedankt: 2 keer

Ik meen me te herinneren dat het forum de passage van een search bot nooit goed overleeft.
ubremoved_539
Deel van't meubilair
Deel van't meubilair
Berichten: 29849
Lid geworden op: 28 okt 2003, 09:17
Uitgedeelde bedankjes: 434 keer
Bedankt: 1972 keer

ITnetadmin schreef:Ik meen me te herinneren dat het forum de passage van een search bot nooit goed overleeft.
Ik heb ook de indruk dat dat één van de grote oorzaken is... misschien deze (tijdelijk) blokken ?
Gebruikersavatar
Goztow
Administrator
Administrator
Berichten: 14441
Lid geworden op: 14 nov 2006, 16:21
Locatie: Brussel
Uitgedeelde bedankjes: 1600 keer
Bedankt: 1194 keer
Recent bedankt: 6 keer

We gaan echt google bot niet blokkeren :P.
Gebruikersavatar
selder
Moderator
Moderator
Berichten: 6437
Lid geworden op: 29 jun 2005, 20:25
Locatie: Tienen
Uitgedeelde bedankjes: 106 keer
Bedankt: 736 keer

Wat is de reden daarvoor? Is het een prioriteit van ub.be om bovenaan in zoekresultaten te staan? Zijn daar gegevens over? Hoeveel nieuwe gebruikers krijgen we door Google resultaten?

Punt is dat ub.be met momenten echt onbruikbaar is omdat het zo traag is. Het is één van de weinige fora waar ik dat zeer regelmatig zie, en ja dan heb ik het alleen over “vrijwilligers-fora”, geen GoT ofzo.

Als er aanwijzigingen zijn dat het aan de DB ligt, waarom niet eens een “specialist” ernaar laten kijken?
Fractal Design North • 13900KS • Asus ROG Ryuo III 240mm • Asus Z790-E • Z5 7800 c34 64GB RGB • nVidia RTX4090FE • Samsung 990 PRO 2TB • Asus ROG Swift PG42UQ 42” OLED 138Hz
Gebruikersavatar
Goztow
Administrator
Administrator
Berichten: 14441
Lid geworden op: 14 nov 2006, 16:21
Locatie: Brussel
Uitgedeelde bedankjes: 1600 keer
Bedankt: 1194 keer
Recent bedankt: 6 keer

Het beste lijkt me om alle bots behalve die van google eens via robots.txt te blokken om te checken of dat al helpt. De meest actieve zijn:
Bing [Bot]
Google [Bot]
Google Feedfetcher
Yahoo [Bot]
Baidu [Spider]
Alexa [Bot]
Exabot [Bot]
W3C [Validator]

Meon, kan jij mss eens kijken daarvoor?
payphoneuser
Pro Member
Pro Member
Berichten: 260
Lid geworden op: 26 jun 2015, 19:39
Uitgedeelde bedankjes: 46 keer
Bedankt: 29 keer
Recent bedankt: 2 keer

Je kan in robots.txt ook een crawl-delay aangeven. Geen garantie dat het gerespecteerd wordt uiteraard, maar misschien te proberen.
In de Google Webmaster tools is er ook blijkbaar een en ander te configureren.
ITnetadmin
userbase crew
userbase crew
Berichten: 8965
Lid geworden op: 28 jan 2012, 18:22
Uitgedeelde bedankjes: 199 keer
Bedankt: 689 keer
Recent bedankt: 2 keer

selder schreef:Wat is de reden daarvoor? Is het een prioriteit van ub.be om bovenaan in zoekresultaten te staan? Zijn daar gegevens over? Hoeveel nieuwe gebruikers krijgen we door Google resultaten?
Wel, ik kan alleen maar anekdotisch antwoorden, maar...
Als ik iets opzoek, zeker over de Belgische ISPs, krijg ik gegarandeerd een userbase antwoord in de top-3 van google.
Erger nog, ik heb ooit een raar probleempje opgezocht dat niet direct google resultaten had, tot ik ineens iemand vond die hetzelfde probleem had... bleek het om mijn eigen post op userbase te gaan :-)
Gebruikersavatar
Geert-Jan
Pro Member
Pro Member
Berichten: 326
Lid geworden op: 14 okt 2016, 17:31
Uitgedeelde bedankjes: 40 keer
Bedankt: 27 keer

Mijn ervaring is dat Microsoft met hun bing-bot gruwelijk hard loopt te hakken op websites.
Google komt in het begin met veel tegelijk maar later neemt dat af.

Maak gewoon een robots.txt in de root van je website en zet dit erin:

Code: Selecteer alles

User-agent: *
Crawl-delay: 10
De meeste bots leven dit na en het zorgt ervoor dat ze maar 1x per 10 seconden mogen komen.
Bots die dit niet naleven kan je het beste gewoon buitengooien, maar dan wel op IP-ranges want dan reageren ze ook niet op robots.txt.
Afbeelding

Groeten,

Geert-Jan.
boonpwnz
Elite Poster
Elite Poster
Berichten: 5071
Lid geworden op: 05 jul 2017, 09:50
Uitgedeelde bedankjes: 84 keer
Bedankt: 151 keer
Recent bedankt: 3 keer

Niet dat UB traag is maar ik merk sinds gisteren dat ik bij iedere opstart van men pc uitgelogd ben bij UB. Vandaag al 2x.

Vind het wel raar dat zoveel dingen mis zijn aan die site terwijl andere forums makkelijk zijn en me geen frustraties geven :bang:
ubremoved_539
Deel van't meubilair
Deel van't meubilair
Berichten: 29849
Lid geworden op: 28 okt 2003, 09:17
Uitgedeelde bedankjes: 434 keer
Bedankt: 1972 keer

Ik heb ook iets dergelijks... bij een bepaalde klant werk ik op Citrix en daar is UB steeds uitgelogged ?

Andere sites zoals Tweakers onthouden echter wel netjes hun login ?
boonpwnz
Elite Poster
Elite Poster
Berichten: 5071
Lid geworden op: 05 jul 2017, 09:50
Uitgedeelde bedankjes: 84 keer
Bedankt: 151 keer
Recent bedankt: 3 keer

Ik heb zelfs nu gewoon browser gesloten en had het opnieuw.

Nee bij tweakers, spaargids, be.hardware.info geen problemen met uitlog of inlog daar blijf ik gewoon.
Gebruikersavatar
Goztow
Administrator
Administrator
Berichten: 14441
Lid geworden op: 14 nov 2006, 16:21
Locatie: Brussel
Uitgedeelde bedankjes: 1600 keer
Bedankt: 1194 keer
Recent bedankt: 6 keer

Userbase.be login en sessie handling is gewoon die van phpbb...
boonpwnz
Elite Poster
Elite Poster
Berichten: 5071
Lid geworden op: 05 jul 2017, 09:50
Uitgedeelde bedankjes: 84 keer
Bedankt: 151 keer
Recent bedankt: 3 keer

Wel ik heb toch iedere keer als ik sluit dat ik et probleem heb ;)

Eigenlijk pas sinds gisteren en er is niets veranderd qua netwerk of dergelijke.
Gebruikersavatar
petrol242
Elite Poster
Elite Poster
Berichten: 4368
Lid geworden op: 17 sep 2012, 12:07
Uitgedeelde bedankjes: 85 keer
Bedankt: 260 keer

Is dat zo een probleem dat je uitgelogd geraakt? Ik vind het eerder een goeie zaak, zeker als je op meerdere systemen online komt. Trouwens ik dacht dat dat een setting was in phhpb om gebruikers al dan niet automatisch uit te loggen bij afsluiten.
boonpwnz
Elite Poster
Elite Poster
Berichten: 5071
Lid geworden op: 05 jul 2017, 09:50
Uitgedeelde bedankjes: 84 keer
Bedankt: 151 keer
Recent bedankt: 3 keer

petrol242 schreef:Is dat zo een probleem dat je uitgelogd geraakt?
Ja ik vind dat een probleem. Waarom moet UB hier speciaal in doen?

Trouwens het is totaal willekeurig en is nooit vast te stellen bij welke actie dit gebeurd. Want er zijn tijden dat ik constant blijf ingelogd. Zelfs als ik dan ergens andere plek inlog.
Gebruikersavatar
petrol242
Elite Poster
Elite Poster
Berichten: 4368
Lid geworden op: 17 sep 2012, 12:07
Uitgedeelde bedankjes: 85 keer
Bedankt: 260 keer

Constant ingelogd zijn, ook als je slaapt? Ik vind dat raar. Wat is daar het nut van, apart van het feit dat je niet terug moet inloggen?
boonpwnz
Elite Poster
Elite Poster
Berichten: 5071
Lid geworden op: 05 jul 2017, 09:50
Uitgedeelde bedankjes: 84 keer
Bedankt: 151 keer
Recent bedankt: 3 keer

Petrol ik zou het niet weten maar ik vind aan en uitloggen enkel belangrijk bij mijn bank en overheidsdingen ma voor mail etc blijf ik liever aangelogd :)
Plaats reactie

Terug naar “Userbase: Aankondigingen, vragen en suggesties”