4.1.4Citatie-impact

Het bibliometrische middel bij uitstek om de impact van publicaties te meten is de citatie. Citaties zijn primair een belangrijke bron van informatie over de mate waarin gebruik gemaakt wordt van wetenschappelijke informatie in het kader van gedocumenteerde wetenschappelijke communicatie. Zij weerspiegelen de acceptatie en erkenning van gepubliceerde onderzoeksresultaten door de wetenschappelijke gemeenschap. Hoewel het aantal citaties niet rechtstreeks als kwaliteitsmaat kan beschouwd worden, drukt een groot aantal ontvangen citaties per publicatie wel een bepaalde impact uit. Met andere woorden, “indien een publicatie 5 of 10 citaties ontvangt gedurende enkele jaren na de publicatie, dan is het waarschijnlijk dat de inhoud van deze publicatie geïntegreerd zal worden in de kennisbasis van dat onderzoeksdomein, indien echter, na 5 of 10 jaar geen enkele referentie naar deze publicatie verwijst, dan zullen de bevindingen in die publicatie niet bijdragen tot de hedendaagse wetenschappelijke paradigma’s van het onderzoeksdomein in kwestie.” (Braun et al., 1985). 

De methodologische achtergrond van de citatieanalyses is reeds beschreven. Tabel 7 geeft de evolutie van de gemiddelde geobserveerde citatiefrequentie (MOCR) en de gemiddelde verwachte (MECR) citatiefrequentie weer voor Vlaanderen, voor elf Europese referentielanden en voor de wereld in alle vakgebieden samen. Omdat beide citatiegemiddelden voor het wereldtotaal op het volledige gegevensbestand gebaseerd zijn, geldt voor het wereldtotaal de identiteit MOCR = MECR (vgl. laatste kolom van Tabel 7).

Tabel 7. Evolutie van de gemiddelde geobserveerde (MOCR) en verwachte (MECR) citatiefrequentie

Vlaanderen, elf Europese referentielanden en China (alle vakgebieden samen)

IndicatorVLBEDNKFINFRADEUIRLITANLDPRCESPSWEGBRWereld
2010MOCR8.4415088.2632149.2507398.2036047.2390967.8924817.4493026.9689359.1893765.0099616.5449638.5489567.8464585.331213
MECR6.6101076.6287357.242796.5881526.5367156.9124396.3714426.2706227.5125824.7772595.9266097.0351356.8144315.331213
2011MOCR8.4830378.3310259.1904097.7988737.1559457.8746897.6866476.9738949.0153095.3387036.5974878.2741527.7704435.38419
MECR6.7976286.7950917.2168556.5747866.6084336.943216.4625286.3221697.5132245.0466926.0311277.026216.8198345.38419
2012MOCR8.9566798.5452549.8866438.504447.547248.0510538.0743987.4956949.5141685.8172596.9451228.5588397.9752545.484873
MECR6.9475966.8899427.4533386.7424156.821587.1215396.7002176.4597917.6788425.3295156.169027.1200286.9694315.484873
2013MOCR9.0153938.9466919.9940968.2522047.8717748.3571868.925577.6333789.6174196.1149697.1424458.9027868.1693075.687051
MECR7.0953427.0712627.7252716.9858227.04477.3030846.8987656.5305547.7798715.5872966.3393777.3063287.1516765.687051
2014MOCR9.6250469.4435410.2842028.8247678.1087058.5639168.9363328.0099829.6166956.5440357.4489159.2674758.6730285.960089
MECR7.5309487.4544357.97657.1155977.3452097.5881097.0397416.7739367.9969816.023896.6979397.6869757.4367225.960089
2015MOCR9.7786169.69315811.4569569.9643938.6600579.13611910.6899768.56064510.4398687.0182718.0146679.5817389.143976.196878
MECR7.7378687.7153648.4155817.5855637.6709567.9738317.4748047.0902878.3778946.4528136.9753388.0130037.8413346.196878
2016MOCR10.20668210.1415510.5899759.4613248.827839.2172410.1386858.7278110.6871877.6527078.17031310.0083959.3792526.483198
MECR8.1294988.0831488.4901847.5970747.9981298.3081737.7539417.3327038.6495966.96487.3058338.4318178.1202916.483198
2017MOCR11.20062911.33526312.19634411.2381369.4742269.92166912.1624169.71095511.9810138.7971699.17266811.24352510.2828127.1187
MECR8.7692698.6807969.265758.4923178.5706818.7951338.3707387.9216479.3615037.8921247.9905849.1253338.7688687.1187
2018MOCR12.04319411.60083112.30800210.9800679.66454110.05627311.5062789.99593111.8507939.6213049.40230311.3211710.4364597.547572
MECR9.1940579.1001029.7184058.9004948.9430179.2085218.725828.322119.6463578.6595418.4161799.5439019.1140697.547572
2019MOCR12.55160812.39228312.81323211.15720610.15168210.74707111.55402510.54801712.57250510.082469.86713311.92752810.9824088.016855
MECR9.9415139.74184510.2960429.4618449.4097629.7541619.0581428.76856410.2694599.313528.9548789.9644999.5479198.016855
2020MOCR14.54774114.11716214.48629914.04368211.89007412.07624513.62236812.65815914.50613312.251111.19780213.35007713.3439189.472345
MECR12.08549211.804312.54604111.12723511.28925911.32746611.15659710.30239412.46436210.77558210.35988411.99900511.8467569.472345
2021MOCR12.79815212.38586913.71035511.83702811.05901510.62991312.35398811.12335412.93998511.47970710.04602212.16503112.0021158.845494
MECR10.67110510.4989911.08934310.09946910.2297110.138699.8098939.29217210.7506110.468089.49681410.7079110.422368.845494
IndicatorVLBEDNKFINFRADEUIRLITANLDPRCESPSWEGBRWereld
2010MOCR8.4415088.2632149.2507398.2036047.2390967.8924817.4493026.9689359.1893765.0099616.5449638.5489567.8464585.331213
MECR6.6101076.6287357.242796.5881526.5367156.9124396.3714426.2706227.5125824.7772595.9266097.0351356.8144315.331213
2011MOCR8.4830378.3310259.1904097.7988737.1559457.8746897.6866476.9738949.0153095.3387036.5974878.2741527.7704435.38419
MECR6.7976286.7950917.2168556.5747866.6084336.943216.4625286.3221697.5132245.0466926.0311277.026216.8198345.38419
2012MOCR8.9566798.5452549.8866438.504447.547248.0510538.0743987.4956949.5141685.8172596.9451228.5588397.9752545.484873
MECR6.9475966.8899427.4533386.7424156.821587.1215396.7002176.4597917.6788425.3295156.169027.1200286.9694315.484873
2013MOCR9.0153938.9466919.9940968.2522047.8717748.3571868.925577.6333789.6174196.1149697.1424458.9027868.1693075.687051
MECR7.0953427.0712627.7252716.9858227.04477.3030846.8987656.5305547.7798715.5872966.3393777.3063287.1516765.687051
2014MOCR9.6250469.4435410.2842028.8247678.1087058.5639168.9363328.0099829.6166956.5440357.4489159.2674758.6730285.960089
MECR7.5309487.4544357.97657.1155977.3452097.5881097.0397416.7739367.9969816.023896.6979397.6869757.4367225.960089
2015MOCR9.7786169.69315811.4569569.9643938.6600579.13611910.6899768.56064510.4398687.0182718.0146679.5817389.143976.196878
MECR7.7378687.7153648.4155817.5855637.6709567.9738317.4748047.0902878.3778946.4528136.9753388.0130037.8413346.196878
2016MOCR10.20668210.1415510.5899759.4613248.827839.2172410.1386858.7278110.6871877.6527078.17031310.0083959.3792526.483198
MECR8.1294988.0831488.4901847.5970747.9981298.3081737.7539417.3327038.6495966.96487.3058338.4318178.1202916.483198
2017MOCR11.20062911.33526312.19634411.2381369.4742269.92166912.1624169.71095511.9810138.7971699.17266811.24352510.2828127.1187
MECR8.7692698.6807969.265758.4923178.5706818.7951338.3707387.9216479.3615037.8921247.9905849.1253338.7688687.1187
2018MOCR12.04319411.60083112.30800210.9800679.66454110.05627311.5062789.99593111.8507939.6213049.40230311.3211710.4364597.547572
MECR9.1940579.1001029.7184058.9004948.9430179.2085218.725828.322119.6463578.6595418.4161799.5439019.1140697.547572
2019MOCR12.55160812.39228312.81323211.15720610.15168210.74707111.55402510.54801712.57250510.082469.86713311.92752810.9824088.016855
MECR9.9415139.74184510.2960429.4618449.4097629.7541619.0581428.76856410.2694599.313528.9548789.9644999.5479198.016855
2020MOCR14.54774114.11716214.48629914.04368211.89007412.07624513.62236812.65815914.50613312.251111.19780213.35007713.3439189.472345
MECR12.08549211.804312.54604111.12723511.28925911.32746611.15659710.30239412.46436210.77558210.35988411.99900511.8467569.472345
2021MOCR12.79815212.38586913.71035511.83702811.05901510.62991312.35398811.12335412.93998511.47970710.04602212.16503112.0021158.845494
MECR10.67110510.4989911.08934310.09946910.2297110.138699.8098939.29217210.7506110.468089.49681410.7079110.422368.845494
IndicatorVLBEDNKFINFRADEUIRLITANLDPRCESPSWEGBRWereld
2010MOCR8.4415088.2632149.2507398.2036047.2390967.8924817.4493026.9689359.1893765.0099616.5449638.5489567.8464585.331213
MECR6.6101076.6287357.242796.5881526.5367156.9124396.3714426.2706227.5125824.7772595.9266097.0351356.8144315.331213
2011MOCR8.4830378.3310259.1904097.7988737.1559457.8746897.6866476.9738949.0153095.3387036.5974878.2741527.7704435.38419
MECR6.7976286.7950917.2168556.5747866.6084336.943216.4625286.3221697.5132245.0466926.0311277.026216.8198345.38419
2012MOCR8.9566798.5452549.8866438.504447.547248.0510538.0743987.4956949.5141685.8172596.9451228.5588397.9752545.484873
MECR6.9475966.8899427.4533386.7424156.821587.1215396.7002176.4597917.6788425.3295156.169027.1200286.9694315.484873
2013MOCR9.0153938.9466919.9940968.2522047.8717748.3571868.925577.6333789.6174196.1149697.1424458.9027868.1693075.687051
MECR7.0953427.0712627.7252716.9858227.04477.3030846.8987656.5305547.7798715.5872966.3393777.3063287.1516765.687051
2014MOCR9.6250469.4435410.2842028.8247678.1087058.5639168.9363328.0099829.6166956.5440357.4489159.2674758.6730285.960089
MECR7.5309487.4544357.97657.1155977.3452097.5881097.0397416.7739367.9969816.023896.6979397.6869757.4367225.960089
2015MOCR9.7786169.69315811.4569569.9643938.6600579.13611910.6899768.56064510.4398687.0182718.0146679.5817389.143976.196878
MECR7.7378687.7153648.4155817.5855637.6709567.9738317.4748047.0902878.3778946.4528136.9753388.0130037.8413346.196878
2016MOCR10.20668210.1415510.5899759.4613248.827839.2172410.1386858.7278110.6871877.6527078.17031310.0083959.3792526.483198
MECR8.1294988.0831488.4901847.5970747.9981298.3081737.7539417.3327038.6495966.96487.3058338.4318178.1202916.483198
2017MOCR11.20062911.33526312.19634411.2381369.4742269.92166912.1624169.71095511.9810138.7971699.17266811.24352510.2828127.1187
MECR8.7692698.6807969.265758.4923178.5706818.7951338.3707387.9216479.3615037.8921247.9905849.1253338.7688687.1187
2018MOCR12.04319411.60083112.30800210.9800679.66454110.05627311.5062789.99593111.8507939.6213049.40230311.3211710.4364597.547572
MECR9.1940579.1001029.7184058.9004948.9430179.2085218.725828.322119.6463578.6595418.4161799.5439019.1140697.547572
2019MOCR12.55160812.39228312.81323211.15720610.15168210.74707111.55402510.54801712.57250510.082469.86713311.92752810.9824088.016855
MECR9.9415139.74184510.2960429.4618449.4097629.7541619.0581428.76856410.2694599.313528.9548789.9644999.5479198.016855
2020MOCR14.54774114.11716214.48629914.04368211.89007412.07624513.62236812.65815914.50613312.251111.19780213.35007713.3439189.472345
MECR12.08549211.804312.54604111.12723511.28925911.32746611.15659710.30239412.46436210.77558210.35988411.99900511.8467569.472345
2021MOCR12.79815212.38586913.71035511.83702811.05901510.62991312.35398811.12335412.93998511.47970710.04602212.16503112.0021158.845494
MECR10.67110510.4989911.08934310.09946910.2297110.138699.8098939.29217210.7506110.468089.49681410.7079110.422368.845494

Allereerst moet erop gewezen worden dat de rechtstreekse vergelijking tussen de indicatorwaarden van Vlaanderen en de referentielanden mogelijkerwijze tot verkeerde interpretaties kan leiden omdat grote verschillen tussen de citatiepraktijken in de verschillende wetenschapsgebieden en deelgebieden optreden. Hierdoor kunnen afwijkende nationale publicatieprofielen ook de nationale gemiddelde citatiefrequentie in alle vakgebieden samen beïnvloeden. Op basis van het citatievenster van drie jaar dat in deze studie werd gebruikt, worden de publicatiejaren 2009-2020 in aanmerking genomen worden.

De citatie-indicatoren met betrekking tot het wereldtotaal zijn tussen 2010 en 2021 met bijna verdubbeld. De MOCR-waarden van Vlaanderen en verschillende referentielanden blijven wel sneller stijgen dan het wereldtotaal.

Voor Vlaanderen registreren we voor het gemiddeld aantal citaties per publicatie (MOCR) een stijging van 88.4% over de twaalf jaar. De citatie-impact in China groeit met 167% en ook Finland (+100%), Italië (+94%) en Spanje (+89%) realiseren een groei die hoger ligt dan Vlaanderen. Vervolgens komt Ierland in de rangschikking met een toename van net geen 88%. Hierdoor komt Vlaanderen een stuk hoger uit dan de andere Europese referentielanden die een vergelijkbare MOCR halen (Denemarken en Nederland).

Ook de verwachte citatie-impact van Vlaanderen en van alle andere referentielanden is gestegen maar wel in iets mindere mate dan de MOCR. De geobserveerde waarde ligt voor Vlaanderen en alle referentielanden (behalve China in het begin van de periode) steeds boven de verwachte waarde. In overeenstemming met beide citatie-indicatoren kan men stellen dat Vlaanderen eenduidig tot de wetenschappelijke top binnen de gekozen referentielanden behoort. Dit wordt door de relatieve positiekaarten in Figuur 3 aanschouwelijk geïllustreerd. Vlaanderen stijgt, samen met Ierland, meer in de richting van koplopers: Nederland en Denemarken.

Figuur 4. Relatieve citatiekaart van Vlaanderen en twaalf referentielanden

2010-2014

567891011121314Mean Observed Citation Rate (MOCR)567891011121314Mean Expected Citation Rate (MECR)VLBEDNKFINFRADEUIRLITANLDPRCESPSWEGBR 68101214Mean Observed Citation Rate (MOCR)68101214Mean Expected Citation Rate (MECR)VLBEDNKFINFRADEUIRLITANLDPRCESPSWEGBR 68101214Mean Observed Citation Rate (MOCR)68101214Mean Expected Citation Rate (MECR)VLBEDNKFINFRADEUIRLITANLDPRCESPSWEGBR

Figuur 5. Relatieve citatiekaart van Vlaanderen en twaalf referentielanden

2017-2021

567891011121314Mean Observed Citation Rate (MOCR)567891011121314Mean Expected Citation Rate (MECR)VLBEDNKFINFRADEUIRLITANLDPRCESPSWEGBRIRL: 9,49 / 12,26 68101214Mean Observed Citation Rate (MOCR)68101214Mean Expected Citation Rate (MECR)VLBEDNKFINFRADEUIRLITANLDPRCESPSWEGBR 68101214Mean Observed Citation Rate (MOCR)68101214Mean Expected Citation Rate (MECR)VLBEDNKFINFRADEUIRLITANLDPRCESPSWEGBR

De twee rasterlijnen en de diagonale lijn in de relatieve diagrammen geven drie standaarden aan en verdelen dus de map in zes sectoren. De verticale rasterlijn geeft aan of de gemiddelde verwachte citatiefrequentie van een land beneden (links) of boven (rechts) van de wereldstandaard ligt. De horizontale lijn geeft de afwijking van de gemiddelde geobserveerde citatiefrequentie van een land weer ten opzichte van de wereldstandaard. Uiteindelijk toont de bissectrice de identiteit RCR = 1. De door de voorwaarden MECR < 1, MOCR < 1 en RCR < 1 gedefinieerde sector stemt overeen met een uiterst ongunstige situatie. De diametraal tegenoverliggende sector, die door de voorwaarden MECR > 1, MOCR > 1 en RCR > 1 wordt bepaald, weerspiegelt in tegenstelling daartoe de meest gunstige situatie qua de citatie-impact. Twee observaties vallen op in Figuur 3: De algemene stijging van verschillende landen langs beide assen en het uiteendrijven van de landencoördinaten langs de bissectrice. We zien dat China in de tweede periode een heel stuk van de achterstand heeft goedgemaakt en nu een positie inneemt boven de beiden standaarden (horizontaal en verticaal). Maar het is Ierland dat de grootste sprong maakt in vergelijking de andere landen doordat het Duitsland, Finland en het VK achter zich laat. De sterke stijging van Vlaanderen op beide indicatoren laat zich ook zien in de positie die Vlaanderen in de tweede periode inneemt. Deze komt dichter bij de twee koplopers.

Op basis van de citatie-performantieklassen zoals te zien in figuur 6 komen we tot dezelfde rangschikking van Vlaanderen na Denemarken en Nederland. Het aandeel hoog-geciteerde publicaties (klasse CSS3 - Opmerkelijk geciteerd en CSS4 - Uitzonderlijk geciteerd) ligt voor beide landen nog net hoger. Maar Vlaanderen scoort voor de drie klassen merkelijk beter dan de andere referentielanden. 

Figuur 6. Verdeling over citatie-performantieklassen (CSS)

2017-2020

CSS 2 (Matig geciteerd) CSS 3 (Opmerkelijk geciteerd) CSS 4 (Uitzonderlijk geciteerd) NLDDNKVLpBELGBRIRLSWEFINITADEUPRCFRAESPTotal051015202530354045NLDDNKVLpBELGBRIRLSWEFINITADEUPRCFRAESPTotal051015202530354045CSS 2 (Matig ge…: 27,7 CSS 2 (Matig geciteerd) CSS 3 (Opmerkelijk geciteerd) CSS 4 (Uitzonderlijk geciteerd) NLDDNKVLpBELGBRIRLSWEFINITADEUPRCFRAESPTotal010203040NLDDNKVLpBELGBRIRLSWEFINITADEUPRCFRAESPTotal010203040 CSS 2 (Matig geciteerd) CSS 3 (Opmerkelijk geciteerd) CSS 4 (Uitzonderlijk geciteerd) NLDDNKVLpBELGBRIRLSWEFINITADEUPRCFRAESPTotal010203040NLDDNKVLpBELGBRIRLSWEFINITADEUPRCFRAESPTotal010203040

Figuur 7. Relatieve citatiefrequentie voor Vlaanderen in 2010-2014 en 2017-2021

2010-20142017-2021WereldstandaardAGRIBIOLBIOSBIOMCLI1CLI2NEURCHEMPHYSGEOSENGNMATHSOC1SOC200,20,40,60,811,21,41,61,82 2010-20142017-2021WereldstandaardAGRIBIOLBIOSBIOMCLI1CLI2NEURCHEMPHYSGEOSENGNMATHSOC1SOC200,20,40,60,811,21,41,61,82 2010-20142017-2021WereldstandaardAGRIBIOLBIOSBIOMCLI1CLI2NEURCHEMPHYSGEOSENGNMATHSOC1SOC200,20,40,60,811,21,41,61,82

Figuur 7 geeft de relatieve citatiefrequentie voor twee deelperioden van telkens vijf jaar (2009-2013 en 2016-2020). De relatieve citatiefrequentie van Vlaanderen is in de meeste wetenschapsgebieden boven of tenminste gelijk aan de wereldstandaard. Vooral de levenswetenschappen hadden voor alle deelperioden een zeer hoge score. De indicatorwaarde van wiskunde en scheikunde stemmen met de wereldstandaard overeen of bevindt zich net onder de waarde van 1.0. Binnen het STEM domein is er ook de daling binnen de domeinen natuurwetenschappen en ingenieurswetenschappen. In contrast daarmee staat de hoge impact in de aard- en ruimte­wetenschappen, zeker als dit gekoppeld wordt aan de lager dan gemiddelde activiteit van Vlaanderen in dit vakgebied.