Blog: Hoe een algoritme helpt bij inzichten voor beleid

Beleid is maatwerk. Of het nu voor de overheid, het bedrijfsleven of het onderwijs is. Artificiële intelligentie (AI) lijkt voor een beleidsmaker niet direct een logisch hulpmiddel. En inderdaad, menselijke intelligentie is en blijft het belangrijkste ingrediënt bij strategische keuzes. Maar AI kan een mooie aanvulling zijn. Dat bewezen Birchers Alexander Kern en Bas van der Starre recent met een experiment voor Regieorgaan SIA. Ze vertellen erover in deze blog.

Bas (vooraan) en Alex (bij het scherm) presenteren de resultaten van hun AI-experiment bij Regieorgaan SIA.

Als een hogeschool geld nodig heeft voor praktijkgericht onderzoek, doen de onderzoekers vaak een beroep op financiële ondersteuning van Regieorgaan SIA. In eerdere opdrachten voor Regieorgaan SIA onderzochten we beleidskeuzes op basis van bestaande data, maar eind 2019 zou onze rol anders zijn. Wij mochten met een AI-experiment de data van het projectportfolio van het Regieorgaan SIA verrijken.


Puzzel leggen

Duizenden projecten categoriseren volgens de vier thema’s van het nieuwe missiegedreven innovatiebeleid van het kabinet. Dat was de uitdaging voor Regieorgaan SIA. Uit ervaring weten ze dat een uitvraag bij onderzoekers een lang en intensief proces is. Hetzelfde geldt voor zelf handmatig projecten categoriseren. Maar de noodzaak was er wel, want het is nuttig om bij de invoering van nieuw beleid snel overzicht te krijgen van onderzoekers die daarop aansluiten. Bovendien geeft zo’n nieuwe categorisering inzicht in de positie en verdeling van door Regieorgaan SIA gesteund onderzoek. Wij hoorden over dit dilemma en dachten dat we met hulp van AI de puzzel slim konden leggen.


Model gebouwd

Samen met Regieorgaan SIA ontwikkelden we het idee om met een AI-tekstanalyse de projectportfolio te categoriseren in de nieuwe thema’s. Alexander, die nu masterstudent AI is, organiseerde bestaande algoritmen tot een model voor de tekstanalyse. Daarna voerden we het model honderd projectplannen en beleidsstukken die duidelijk binnen een van de vier thema’s van het innovatiebeleid vielen. Via een slimme vergelijking kon het algoritme daarna ook andere teksten thematisch indelen.


800 documenten indelen

Hoe het model precies werkte? Als het genoeg woorden identificeerde die bij een thema pasten, dan deelde hij ze daarbij in. Denk dan bijvoorbeeld aan de woorden ‘kassen’ en ‘watermanagement’ voor het thema ‘Landbouw, Water en Voedsel’ (zie kader). Uiteindelijk passeerden 800 projecten en trajecten de ‘ogen’ van ons model. Dat maakte vervolgens deze indeling:

Het werkt!

Wij kijken inmiddels terug op een geslaagd experiment. Met relatief weinig trainingsdata kon ons model de projecten van Regieorgaan SIA indelen binnen het innovatiebeleid. Ook laat het duidelijk zien wanneer een project niet binnen de thema’s van het innovatiebeleid past. Natuurlijk waren er ook de teksten waar ons model niet uitkwam. Dat bevestigt dat dit voor ons alleen nog maar het begin van ons experiment met kunstmatige intelligentie is. Inmiddels zijn we bezig met nieuwe use cases om onze methodes voor tekstanalyses verder te ontwikkelen. Klinkt dat interessant? Neem dan eens contact op.

 

Voor de liefhebber

Bent u thuis in kunstmatige intelligentie en in machine learning? Dit was onze werkwijze:
we hebben alle teksten gelemmatiseerd en gevectoriseerd op basis van termfrequentie –
inverse documentfrequentie. Daarna hebben we vijf modellen getraind, twee
probabilistisch, twee lineair en één neighbour-based, en losgelaten op de rest van de
tekst. Door die vijf modellen te laten ‘stemmen’ en alleen bij grote meerderheid een
project in een thema in te delen kwamen we op een afgewogen resultaat.