Nieuwe extensie actief: AI-assistent bij forumberichten

Vragen of opmerking aan het adres van de Userbase.be crew kan je hier posten. Ook nieuws ivm Userbase.be wordt hier gepost.
Plaats reactie
Gebruikersavatar
Goztow
Administrator
Administrator
Berichten: 15095
Lid geworden op: 14 nov 2006, 16:21
Locatie: Brussel
Uitgedeelde bedankjes: 1674 keer
Bedankt: 1466 keer
Recent bedankt: 16 keer
Provider
Te Koop forum

Nieuwe extensie actief: AI-assistent bij forumberichten
Vanaf vandaag is er een nieuwe extensie actief op het forum die AI-functionaliteit toevoegt bij forumberichten. Bovenaan elk bericht verschijnt een extra knop waarmee je een samenvatting kunt opvragen van het bericht zelf, of van een deel van het onderwerp. Moderatoren krijgen bovendien extra tools waarmee ze de reacties op een onderwerp kunnen toetsen aan de gedragsregels. Dit moet hun werk eenvoudiger en efficiënter maken.

Over de ontwikkeling
De extensie werd ontwikkeld door @NuKeM (hoofddeveloper), @EotT (styling) en Goztow (extensie integratie), met ondersteuning van AI-codingtools. Na een testfase van enkele weken besloten we om AI-hulp op Userbase te integreren — op een manier die de kwaliteit van de menselijke interactie niet schaadt, maar net bijstaat waar nuttig.

We geloven dat Userbase hiermee een bijzonder innovatieve stap zet. Het is mogelijk dat we de functionaliteit verder uitbreiden in functie van constructieve ideeën en communityfeedback.

Hoe werkt het?
Klik op het lijst-icoontje naast het duimpje rechts boven een bericht. Er opent dan een pop-upvenster met de AI-uitvoer. Deze werkt volledig in de browser zonder dat je de pagina hoeft te herladen.

De tool maakt gebruik van een taalmodel dat automatisch gegenereerde inhoud toont. Resultaten zijn indicatief en kunnen fouten bevatten.

Momenteel gebruiken we een gratis large language model (LLM), namelijk microsoft/mai-ds-r1. Dit betekent dat beschikbaarheid niet altijd gegarandeerd is en dat de verzonden data mogelijk gebruikt wordt voor de verdere training van deze LLM of andere modellen.
Wij nemen privacy bij Userbase serieus en hebben deze afweging zorgvuldig gemaakt. Uit eerdere tests blijkt dat een aantal LLMs al data van Userbase bevatten en dat publieke websitedata dus sowieso al wordt gebruikt voor training. Vanuit dat perspectief verandert deze tool dus niet veel.

Waarom?
De belangrijkste drijfveer achter deze extensie is het ondersteunen van het moderatiewerk op het forum. Userbase draait op gemotiveerde vrijwilligers, maar zelfs zij kunnen onmogelijk alle topics systematisch doorlezen of complexe discussies helemaal doornemen, om te filteren wat tegen de regels ingaat en vervolgens een genuanceerd antwoord te formuleren.
Onze ervaring met huidige LLMs is dat ze niet perfect zijn, maar zeker goed genoeg om deze taak te ondersteunen! De eindbeslissing om een reactie of maatregel te plaatsen (al dan niet ondersteund door een duidelijke analyse van de tool met referenties) blijft altijd bij de moderatoren, maar zij kunnen nu eenvoudiger en sneller handelen dankzij deze ondersteuning.

Tegelijkertijd was het een kleine stap om ook geregistreerde gebruikers meer functionaliteit te bieden in de vorm van een ‘samenvatten’-knop. Niet-moderatoren kunnen maximaal de laatste 20 posts laten samenvatten. We hebben er ook voor gekozen de moderator-hulp niet beschikbaar te stellen voor gebruikers om te voorkomen dat dit in bepaalde discussies misbruikt zou kunnen worden. Wil je een melding maken van een post die moderator aandacht nodig heeft, dan kan je boven de betrokken post, niet ver van de 'samenvat'-knop, ook de 'meld'-knop vinden.

Wat brengt de toekomst?
We hebben er veel vertrouwen in dat de al goede resultaten alleen maar zullen verbeteren naarmate de LLMs verfijnder worden.
Daarnaast overwegen we de functionaliteit uit te breiden met periodieke rapporteringen. Hierbij worden alle posts en onderwerpen van een bepaalde periode geanalyseerd, met als doel uitschieters, gebruikers die extra aandacht nodig hebben, of terugkerende conflicten tussen dezelfde deelnemers in kaart te brengen.
Door meerdere van deze rapporten te combineren, kunnen we op langere termijn waardevolle inzichten verkrijgen en bestaande vermoedens beter onderbouwen. Dat stelt ons in staat om adequater te reageren wanneer dat nodig is.

Een andere optie die we nog kunnen implementeren is het anonimiseren van de posts naar de LLM toe en achteraf het antwoord terug de-anonimiseren zodat het bruikbaar is voor ons. Maar, de vraag is of dit alles wel nodig is.

Ervaringen en feedback welkom
Deze extensie is een interne ontwikkeling van het Userbase-team. We zitten nog in een testfase: feedback, bugmeldingen of suggesties zijn zeer welkom in dit topic. Laat het ons weten — dan verbeteren we stap voor stap.

Ook suggesties voor andere type output is welkom.

Voorbeelden samenvattingen:
Screenshot 2025-06-09 at 06.26.11.png
Screenshot 2025-06-09 at 06.53.48.png
Screenshot 2025-06-09 at 07.03.38.png
Screenshot 2025-06-09 at 06.50.49.png
Screenshot 2025-06-09 at 06.41.55.png


Voorbeelden moderatie hulp:
Screenshot 2025-06-09 at 06.59.33.png
Screenshot 2025-06-09 at 06.36.03.png
Screenshot 2025-06-08 at 21.27.15.png
Screenshot 2025-06-08 at 21.31.43.png
Screenshot 2025-06-08 at 21.43.31.png
Gebruikersavatar
NuKeM
Administrator
Administrator
Berichten: 5676
Lid geworden op: 10 nov 2002, 00:55
Uitgedeelde bedankjes: 126 keer
Bedankt: 267 keer
Recent bedankt: 6 keer

Als we zeker zijn dat alles goed werkt zullen we dit na enkele weken ook op GitHub plaatsen :)
liegebeestig
Elite Poster
Elite Poster
Berichten: 2385
Lid geworden op: 01 jun 2006, 15:16
Uitgedeelde bedankjes: 42 keer
Bedankt: 79 keer
Recent bedankt: 1 keer

Nog een idee. Misschien kun je op basis van schrijfstijl bepaalde usernames aan elkaar knopen :)

Wel heel knap, die samenvattingen. Proficiat.

Waarom ai een beslissing van een moderator zou onderbouwen, snap ik niet. Jullie werken toch autonoom en Ai voegt niks toe.

Hij staat wel scherp afgesteld. Ik heb persoonlijk al serieuzere aanvallen meegemaakt, maar op zich kan iedereen dit wel relativeren.
Gebruikersavatar
Data technicus
Elite Poster
Elite Poster
Berichten: 895
Lid geworden op: 21 mei 2020, 14:39
Locatie: Spalbeek (Hasselt)
Uitgedeelde bedankjes: 2 keer
Bedankt: 114 keer
Recent bedankt: 4 keer

Nog een opmerking mss, hoeveel mensen kunnen er tegelijk een AI-assistent inroepen want dat eist toch ook veel rekenkracht van de server dan of staat dit los van jullie server zodat deze niet kan crashen. Niet dat er misbruik van gemaakt kan worden dat mensen met slechte bedoelingen jullie willen saboteren hier door.
Gebruikersavatar
NuKeM
Administrator
Administrator
Berichten: 5676
Lid geworden op: 10 nov 2002, 00:55
Uitgedeelde bedankjes: 126 keer
Bedankt: 267 keer
Recent bedankt: 6 keer

We kunnen gebruik maken van de API van Gemini of, zoals nu, een API bij openrouter.ai . Dit staat dus los van Userbase zelf en misbruik (indien al mogelijk) zal ons normaalgesproken niet treffen.
Gebruikersavatar
Dizzy
Elite Poster
Elite Poster
Berichten: 12411
Lid geworden op: 06 dec 2009, 13:28
Locatie: Hier ter plaatse
Uitgedeelde bedankjes: 585 keer
Bedankt: 715 keer
Recent bedankt: 6 keer
Te Koop forum

Ik vind dit een goede zaak, zeker voor het samenvatten van topics. De beperking tot 20 posts maakt het echter meteen minder nuttig. Men zal zo'n samenvatting net willen voor de soms erg lange topics, wat ben je met een samenvatting over 20 posts in een topic van 1.000 posts?

Ik heb de voorbeelden eens snel overlopen en het ziet er redelijk OK uit maar toch vind ik het vreemd dat sommige nicks van posters gebruikt worden en anderen niet. Dat geeft de indruk dat enkel hun bijdrage belangrijk genoeg is, wat niet het geval is, en geeft mij de indruk dat de samenvatting nogal sterk afhangt van welke posts men gebruikte. Ik vrees daarom dat de "resultaten" meer discussie gaan opleveren dan ophelderen. In de samenvatting van mijn eigen posts in de voorbeelden vind ik de samenvatting weinig genuanceerd in die mate dat ik soms mijn eigen mening er niet altijd in herken.

Moet je als gebruiker nu de topics laten samenvatten door AI om dan te kunnen controleren wat AI van jouw mening gemaakt heeft. Kan dit resultaat aangepast of bijgestuurd worden bij ernstige fouten? Die ernstige fouten bleken al uit de testtopic.

Aangezien deze tech goede kanten heeft en soms ook resultaat oplevert, denk ik toch dat het gevaarlijk is om dit op deze wijze toe te passen. Zeker met mijn ervaring van hoe discussies hier vaak verlopen en als ex-mod. Eén misverstand is voldoende om het spel op de wagen te krijgen en wat gaat men doen als iemand reageert op een ander adhv een samenvatting van AI die niet eens overeen komt met wat de betrokken UB'er zelf bedoelde/schreef? Krijgen we dan niet meer discussies over AI?

De voorbeelden over moderatie tonen de pijnpunten aan. Sommige punten zijn inderdaad juist maar veel zijn veel strenger dan de moderatie die momenteel op UB geldt. Als over al deze punten de mods zich zullen moeten beraden bij elke keer ze gebruikt worden dan kunnen ze hun nachtrust gerust schrappen. Dit zal eerder meer dan minder werk opleveren als men al over dit soort zaken gaat vallen.

Wat ik persoonlijk erger vind is dat men verklikken gaat promoten. Het is zo klaar als een klontje waartoe dit zal leiden... meer verklikken en dus meer werk voor de mods. Ze zullen zelf hun pappenheimers ondertussen wel kennen en zelf kan ik gerust een lijstje geven van mensen die niet overeen komen, dat is ook het probleem niet als men een divers en breed forum wenst waar alle meningen hun kans krijgen. Ik vrees dus dat deze optie vooral zal gebruikt worden, net door personen met een vete om de "tegenstander" te verklikken bij de mods als men de keuken moet verlaten wegens too hot.

Een ander mogelijk probleem is het risico dat UB zichzelf overbodig maakt. Als steeds meer mensen de samenvatting gebruiken en niet meer zelf bijdragen dan zal de bron aan materiaal en kennis opdrogen en hoeft en als gevolg ook niet veel meer samengevat te worden. Uiteindelijk kan men AI ook al gebruiken zonder UB als men er toch zo'n geloof aan hecht? Waarom dan nog de tussenstap om samenvattingen van UB te laten maken en deze te lezen als je gewoon de vraag aan AI kan stellen zonder tussenstap?

Voor alle duidelijkheid, ik ben niet tegen AI, dat ik zelf dagelijks gebruik, maar sommige toepassingen worden overschat en kunnen meer problemen dan oplossingen opleveren. Ik hoop dat ik hierin ongelijk heb maar ik vrees dat ik zal moeten terugvallen op het cliché hate to say... Maar laat het ons proberen en zien hoe snel en waar het schip strandt.
Wil je iemand kwaad maken, vertel hem dan leugens. Wil je iemand razend maken, vertel hem dan de waarheid.
Gebruikersavatar
Goztow
Administrator
Administrator
Berichten: 15095
Lid geworden op: 14 nov 2006, 16:21
Locatie: Brussel
Uitgedeelde bedankjes: 1674 keer
Bedankt: 1466 keer
Recent bedankt: 16 keer
Provider
Te Koop forum

Er is zo danig veel content op userbase dat onze mods niet alles kunnen lezen. Bedoeling is dat we gerichter kunnen zoeken naar problème dankzij dit type hulp.
Gebruikersavatar
Dizzy
Elite Poster
Elite Poster
Berichten: 12411
Lid geworden op: 06 dec 2009, 13:28
Locatie: Hier ter plaatse
Uitgedeelde bedankjes: 585 keer
Bedankt: 715 keer
Recent bedankt: 6 keer
Te Koop forum

Dat had ik zo ook begrepen maar met deze instelling (strengheid) vrees ik dat jullie een pak meer gaan moeten lezen... en dan moet men nog aan de klikberichten beginnen. Veel succes ermee.

Zaken als bvb "propaganda" of "narcist" zijn gewone woorden die niet eens altijd beledigend zijn. Komt er een lijst met woorden die door UB goedgekeurd zijn? Andere zaken zijn verwijzingen naar beledigingen/uitspraken door anderen zoals "pussygrabber" en ook dat is iets anders dan een UB'er zo te noemen. Ik vrees een beetje voor de doos van pandora in de veronderstelling dat Pandora een toegelaten term is :)

Ik vond de moderatie op UB goed net omdat men pragmatisch te werk ging en zaken telkens individueel afwoog. Dat is inderdaad veel werk dat door mij in ieder geval geapprecieerd wordt MAAR ik zie niet in hoe dit voorstel jullie werk zou verminderen. Nu wordt terecht gezegd dat jullie niet alles kunnen lezen maar als AI meldingen maakt, houdt dit wel in dat jullie AL deze meldingen niet alleen moeten lezen maar ook beoordelen. Gezien de meeste problemen zich stellen in de moeilijkere topics waarvan enkele mods al duidelijk gemaakt hebben dat deze hen minder of niet interesseren, komt dit neer op het punt dat dat werk op de schouders van de andere mods terecht komt en dat voor een zelf veroorzaakt probleem?

Soit, het is mijn probleem niet want ik ben hier geen mod maar ik probeer jullie maar voor te bereiden op niet minder maar meer werk. Zelf hoef ik me er weinig van aan te trekken want ik ben voorstander van discussies die over de zaak gaan en niet over de persoon en ook het verklikken ga ik niet opstarten.
Wil je iemand kwaad maken, vertel hem dan leugens. Wil je iemand razend maken, vertel hem dan de waarheid.
ygeffens
Elite Poster
Elite Poster
Berichten: 1716
Lid geworden op: 08 sep 2011, 19:19
Locatie: Arendonk
Uitgedeelde bedankjes: 148 keer
Bedankt: 108 keer
Provider
Te Koop forum

Dizzy schreef: 1 week geleden Ik vind dit een goede zaak, zeker voor het samenvatten van topics. De beperking tot 20 posts maakt het echter meteen minder nuttig. Men zal zo'n samenvatting net willen voor de soms erg lange topics, wat ben je met een samenvatting over 20 posts in een topic van 1.000 posts?
Absoluut een knappe tool, maar ik wil @Dizzy wel bijtreden, 20 posts is echt te weinig. Zelfs 50 is naar mijn mening aan de lage kant.
Een onderwerp waar veel kennis in wordt gedeeld, daar wil je niet enkel de laatste berichten van. De kans is groot dat de kennis veel verder weg zit en dat in de laatste berichten slechts toevoegingen zitten.
I'm a bilingual. I'm a bilingual illiterate. I can't read in two languages.
Gebruikersavatar
NuKeM
Administrator
Administrator
Berichten: 5676
Lid geworden op: 10 nov 2002, 00:55
Uitgedeelde bedankjes: 126 keer
Bedankt: 267 keer
Recent bedankt: 6 keer

Dizzy schreef: 1 week geleden Ik vind dit een goede zaak, zeker voor het samenvatten van topics. De beperking tot 20 posts maakt het echter meteen minder nuttig. Men zal zo'n samenvatting net willen voor de soms erg lange topics, wat ben je met een samenvatting over 20 posts in een topic van 1.000 posts?
Op zich kunnen we dit eenvoudig verhogen, maar gaat die nieuwe limiet dan wel voldoende zijn? De functie is (voor mij toch) vooral bedoeld voor discussies waar je even uit was en je wil weten wat er nog gezegd is. Dan zijn 20 posts meestal wel voldoende om mee te zijn. Topics van meerdere pagina's (met ongeveer 40 posts per pagina) ga je moeilijker samen kunnen vatten. Toegegeven, voor technische topics kan het nuttig zijn, maar voor de meeste discussies denk ik minder.
Daarnaast heeft ons huidige model een context van 164K tokens. Dat is veel maar, bv. Gemini heeft 1000k tokens. Met ons huidige model kunnen we dus een input geven van (afhankelijk van de postlengtes) rond de 100 posts. Bij discussietopics met lijvige posts kan dat al snel naar 60 zakken.
Met Gemini kunnen we dan misschien 400-500 posts laten samenvatten op een A4tje, maar is dat wel wat je wil? Neem daarbij dat Gemini (2.0 Flash) minder kwaliteitsvol is volgens mij.
Dus, ik wil het gerust optrekken tot 40 (gaat voor ons en onze servers niets uitmaken), maar ik betwijfel of dat wel genoeg gaat zijn en wat dan wel genoeg zal zijn.
Dizzy schreef: 1 week geleden Ik heb de voorbeelden eens snel overlopen en het ziet er redelijk OK uit maar toch vind ik het vreemd dat sommige nicks van posters gebruikt worden en anderen niet. Dat geeft de indruk dat enkel hun bijdrage belangrijk genoeg is, wat niet het geval is, en geeft mij de indruk dat de samenvatting nogal sterk afhangt van welke posts men gebruikte. Ik vrees daarom dat de "resultaten" meer discussie gaan opleveren dan ophelderen. In de samenvatting van mijn eigen posts in de voorbeelden vind ik de samenvatting weinig genuanceerd in die mate dat ik soms mijn eigen mening er niet altijd in herken.

Moet je als gebruiker nu de topics laten samenvatten door AI om dan te kunnen controleren wat AI van jouw mening gemaakt heeft. Kan dit resultaat aangepast of bijgestuurd worden bij ernstige fouten? Die ernstige fouten bleken al uit de testtopic.
Wij geven de volledige posts met alle gebruikersnamen door aan de LLM. De response zal ook elke keer verschillen (vat maar eens een aantal keer iets samen en je zal dat merken). Het LLM is dus niet perfect, dat weten we en daar houden we rekening mee, maar het is zeker goed genoeg.
We kunnen de prompt verder tunen indien nodig, feedback is steeds welkom. Ik zal dan ook binnenkort die prompts delen.
Dizzy schreef: 1 week geleden Aangezien deze tech goede kanten heeft en soms ook resultaat oplevert, denk ik toch dat het gevaarlijk is om dit op deze wijze toe te passen. Zeker met mijn ervaring van hoe discussies hier vaak verlopen en als ex-mod. Eén misverstand is voldoende om het spel op de wagen te krijgen en wat gaat men doen als iemand reageert op een ander adhv een samenvatting van AI die niet eens overeen komt met wat de betrokken UB'er zelf bedoelde/schreef? Krijgen we dan niet meer discussies over AI?
Die verantwoordelijkheid ligt bij de gebruiker van de AI-tool. Als je op basis van de AI-tool iemand persoonlijk van antwoord gaat dienen, dan zou ik verwachten dat je toch eerste de originele post bekijkt (en waarschijnlijk quote).
Dizzy schreef: 1 week geleden De voorbeelden over moderatie tonen de pijnpunten aan. Sommige punten zijn inderdaad juist maar veel zijn veel strenger dan de moderatie die momenteel op UB geldt. Als over al deze punten de mods zich zullen moeten beraden bij elke keer ze gebruikt worden dan kunnen ze hun nachtrust gerust schrappen. Dit zal eerder meer dan minder werk opleveren als men al over dit soort zaken gaat vallen.
Ik denk dat streng zeker niet slecht is. De tool reikt de moderator (waarschijnlijk) alle opties aan. Het is aan de moderator daaruit te kiezen. Ik denk dat dit dus minder werk zal opleveren en de moderator dus de response kan afzwakken, wat eenvoudiger (minder werk) is dan aansterken, zonder de nodige voorgekauwde analyse en opties. Ik wacht af op wat onze moderatoren en medecrew zullen zeggen. Ikzelf ga het natuurlijk ook gebruiken. Ik hoop dat op deze manier de drempel tot moderatie ook lager wordt (door minder tijdsbesteding) waardoor we sneller op de bal kunnen spelen zodat zaken niet te lang kunnen aandikken.
Dizzy schreef: 1 week geleden Wat ik persoonlijk erger vind is dat men verklikken gaat promoten. Het is zo klaar als een klontje waartoe dit zal leiden... meer verklikken en dus meer werk voor de mods. Ze zullen zelf hun pappenheimers ondertussen wel kennen en zelf kan ik gerust een lijstje geven van mensen die niet overeen komen, dat is ook het probleem niet als men een divers en breed forum wenst waar alle meningen hun kans krijgen. Ik vrees dus dat deze optie vooral zal gebruikt worden, net door personen met een vete om de "tegenstander" te verklikken bij de mods als men de keuken moet verlaten wegens too hot.
Verklikken is het verkeerde woord. Wij hebben historisch altijd al moderatoren te kort gehad. Het melden van een probleempost is dan ook meer een tool voor de community en de moderatoren.
Vergis je niet, zoveel meldingen krijgen wij niet hoor. Moesten we zien dat een gebruiker steevast en hoogfrequent de tool gaat gebruiken om dezelfde mens(en) te melden met de duidelijke bedoeling ook zo een aanval in te zetten op diezelfde mensen (en meningen) waar hij op het forum een probleem mee heeft, dan zal dit snel boven water komen en zullen we evalueren of die meldingen wel terecht zijn.
En onze pappenheimers kennen, ja, maar nu ook weer niet allemaal en ook niet onderbouwd :)
Dizzy schreef: 1 week geleden Een ander mogelijk probleem is het risico dat UB zichzelf overbodig maakt. Als steeds meer mensen de samenvatting gebruiken en niet meer zelf bijdragen dan zal de bron aan materiaal en kennis opdrogen en hoeft en als gevolg ook niet veel meer samengevat te worden. Uiteindelijk kan men AI ook al gebruiken zonder UB als men er toch zo'n geloof aan hecht? Waarom dan nog de tussenstap om samenvattingen van UB te laten maken en deze te lezen als je gewoon de vraag aan AI kan stellen zonder tussenstap?
De meeste mensen zullen die knop nog niet te snel terugvinden. En om een nuttige samenvatting te krijgen, moet er natuurlijk ook eerst (up-to-date) content zijn.
Rechtstreeks vragen aan een LLM kan, meer geeft voor onze specifieke markt en de actualiteit meestal niet het gewenste antwoord. Een LLM heeft bv. ook geen ervaringen met een nieuw product of de dienstverlening van een provider.
Ik ben dus absoluut niet bang dat we onszelf overbodig gaan maken.
Dizzy schreef: 1 week geleden Voor alle duidelijkheid, ik ben niet tegen AI, dat ik zelf dagelijks gebruik, maar sommige toepassingen worden overschat en kunnen meer problemen dan oplossingen opleveren. Ik hoop dat ik hierin ongelijk heb maar ik vrees dat ik zal moeten terugvallen op het cliché hate to say... Maar laat het ons proberen en zien hoe snel en waar het schip strandt.
We gaan inderdaad proberen :)
Plaats reactie

Terug naar “Userbase: Aankondigingen, vragen en suggesties”