Rectification notice, 9 July 2019
[Dutch below]
The initial report Dealing with (non-)deportability: A comparative policy analysis of the post-entry migration enforcement regimes of Western European countries by Dr. Marieke van Houte and Prof. Dr. Arjen Leerkes, which was cited in a range of Dutch and Belgian media, contained a significant error. With this message we want to report our mistake and share the correct numbers.
The report compared, amongst other things, estimates of return percentages of rejected asylum seekers of six different nationalities, in 12 Western European countries. As a result of a human mistake, the return percentage of these rejected asylum seekers was originally calculated incorrectly.
The real return rates turn out to be higher, between 4 % and 44 %, as opposed to the earlier 1 % to 25 %. Moreover, the ranking of the different host countries changes: In the corrected version, the Netherlands moves from the third place to the first place in terms of return percentages; Belgium remains at the seventh place. Nevertheless, the key message of the report remains unchanged: the majority of rejected asylum seekers do not return.
What happened?
There was an incorrect reference in the formula that we made to do the calculations in the excel file, which we unfortunately overlooked when we checked the numbers. As a result, the number of returnees (‘returned to a third country’) was accidentally calculated relative to the total number of asylum seekers instead of the number of rejected asylum seekers from the countries under study.
How did we notice the mistake?
A colleague who read the newspaper article, thought the numbers were quite low. He did his own calculations with the data files of Eurostat, which are the official European statistics on which these calculations are based. These data files are publicly available. Moreover, the statistical procedure that was described in the report facilitated this replication. The colleague contacted the authors when the numbers appeared to be incorrect. In response, we immediately took the report offline. Within a week, we recalculated our findings and revised the report.
What are the correct return rates?
As previously stated in the report, return rates can only be estimated; it is not possible with the available data to exactly calculate the percentage of demonstrable return. The limitations of these estimations are discussed in the report. Having said that, the new estimated return rates are significantly higher than previously reported. For the Netherlands, the average (unweighted) percentage of demonstrable return among the six studied nationalities of origin (Afghanistan, Eritrea, Iran, Iraq, Somalia and Syria) is 44% out of the total number of rejected asylum seekers. The Netherlands now has the highest percentage of demonstrable return out of the 12 European countries under study, followed by Norway (40%). See the table below for a full overview.
Table: Estimated return rates for six nationalities in 12 European countries (2013-2017).
Total average return rate | |
|
|
Netherlands | 44.0% |
|
|
Norway | 40.3% |
|
|
UK | 37.5% |
|
|
France | 35.0% |
|
|
Sweden | 15.4% |
|
|
Austria | 12.9% |
|
|
Belgium | 12.4% |
|
|
Finland | 12.3% |
|
|
Germany | 7.9% |
|
|
Italy | 4.9% |
|
|
Denmark | 4.7% |
|
|
Spain | 4.3% |
|
What do these new numbers mean for the content of the report?
With the corrected numbers, the core message of the report remains: there are significant differences in the return rates of rejected asylum seekers, in which the Netherlands is at the upside of the spectrum. The majority of the studied groups of rejected asylum seekers do not demonstrably return, even in countries with a strongly developed return policy. Therefore, it is important to also develop policy for people who do not return.
However, the ranking of the different host countries changes: In the newest calculations, the Netherlands ‘scores’ better than all other countries. This is important considering the political discussion that this report sparked: It was suggested that the Netherlands should learn from Norway, which can no longer be stated as clearly.
What lessons do we learn from this?
For the authors of this report, it is the first time that an error appears after publication, which we regret very much. This mistake, although unfortunate, shows the importance of two principles in academics: peer-review and transparency. Before an academic text is published, it normally goes through several rounds of feedback from colleagues in the field, which helps to spot potential mistakes before publication. Hence, good academic work needs time and peer-based control mechanisms. For this commissioned report, drafted under time pressure, such control mechanisms were unsufficiently built in. Nevertheless, the mistake surfaced relatively quickly due to the fact that the data on which the numbers are based were public, and we reported on the methodological and statistical procedure. This shows that peer-review, methodological transparency and making data publicly available contribute to reliable science.
——————————————————————————————————————————————————————————–
Rectificatie, 9 Juli 2019
In het rapport Dealing with (non-)deportability: A comparative policy analysis of the post-entry migration enforcement regimes of Western European countries van Dr. Marieke van Houte en Prof. Dr. Arjen Leerkes, dat geciteerd werd in diverse media, is een aanzienlijke fout geslopen. Met dit bericht willen we onze fout en de correcte cijfers kenbaar maken.
Het rapport vergelijkt onder meer de geschatte terugkeerpercentages van afgewezen asielzoekers uit zes verschillende landen, in 12 West-Europese landen. Door een menselijke fout zijn de terugkeerpercentages van deze afgewezen asielzoekers incorrect berekend.
De werkelijke terugkeercijfers vallen hoger uit en liggen tussen de 4% en 44%, ten opzichte van het eerdere 1% tot 25%. Ook verandert de rangorde verhoudingen: In de gecorrigeerde versie stijgt Nederland van de derde plaats naar de eerste plaats wat betreft terugkeerpercentages; België blijft op de zevende plaats. De kernboodschap blijft echter overeind: de meerderheid van de afgewezen asielzoekers keert niet terug.
Wat is er gebeurd?
Er stond een onjuiste verwijzing in de formule die we maakten om de berekeningen te doen in het Excel-bestand, die we helaas over het hoofd zagen toen we de cijfers controleerden. Daardoor is het aantal terugkeerders (‘returned to a third country’) per abuis gerelateerd aan het totaal aantal asielzoekers uit de onderzochte landen in plaats van aan het aantal afgewezen asielzoekers.
Hoe is de fout ontdekt?
Een collega die de berichtgeving las, vond de cijfers erg laag uitpakken. Hij ging het narekenen met behulp van de databestanden van Eurostat, de Europese statistieken waar de berekeningen op gebaseerd zijn. Deze bestanden zijn vrij online beschikbaar. Ook was de statistische onderzoeksprocedure beschreven in het rapport om een dergelijke replicatie mogelijk te maken. De collega nam contact op met de auteurs toen het niet bleek te kloppen. Daarop hebben we direct het rapport offline gehaald en binnen een week nieuwe berekeningen gedaan en het rapport aangepast.
Wat zijn de correcte cijfers?
Zoals eerder in het rapport is aangegeven, kunnen terugkeerpercentages alleen bij benadering worden bepaald. Het is het met de beschikbare cijfers niet mogelijk om het percentage aantoonbare terugkeer precies te berekenen. In het rapport staan de belangrijkste beperkingen van de geschatte cijfers vermeld. Dat gezegd hebbende liggen de nieuwe geschatte cijfers een stuk hoger dan we eerder meldden. Voor Nederland ligt het (ongewogen) gemiddelde percentage aantoonbare terugkeer onder de zes onderzochte herkomstgroepen (Afghanistan, Eritrea, Iran, Irak, Somalië en Syrië) op 44% van het aantal afgewezen asielzoekers. Nederland heeft daarmee het hoogste percentage aantoonbare terugkeer van de 12 onderzochte Europese landen, gevolgd door Noorwegen (40%). Zie de onderstaande tabel voor een volledig overzicht.
Tabel: geschatte terugkeercijfers voor zes nationaliteiten in 12 Europese landen (2013-2017).
Total average return rate | |
|
|
Netherlands | 44.0% |
|
|
Norway | 40.3% |
|
|
UK | 37.5% |
|
|
France | 35.0% |
|
|
Sweden | 15.4% |
|
|
Austria | 12.9% |
|
|
Belgium | 12.4% |
|
|
Finland | 12.3% |
|
|
Germany | 7.9% |
|
|
Italy | 4.9% |
|
|
Denmark | 4.7% |
|
|
Spain | 4.3% |
|
Wat betekenen deze nieuwe cijfers voor de inhoud van het rapport?
Met de gecorrigeerde cijfers blijft de kernboodschap van het rapport overeind: Er zijn aanzienlijke verschillen in de mate van terugkeer van afgewezen asielzoekers, waarbij Nederland aan de bovenkant van het spectrum zit. De meerderheid van de onderzochte groepen afgewezen asielzoekers keert niet aantoonbaar terug, zelfs in landen met een sterk ontwikkeld terugkeerbeleid. Het is daarom belangrijk om ook beleid te ontwikkelen voor mensen die niet terugkeren.
De onderlinge verhoudingen pakken echter anders uit: Nederland ‘scoort’ in de nieuwe berekeningen beter dan alle andere landen. Dit is van belang vanwege de politieke discussie die aan de hand van de publiciteit over dit rapport ontstond: waar werd gesuggereerd dat Nederland zou moeten leren van Noorwegen, is dit nu niet meer zo duidelijk te stellen.
Wat leren we hiervan?
Het is voor de auteurs de eerste keer dat er na publicatie een fout in een tekst blijkt te zitten, en we balen daar stevig van. Deze fout, hoe vervelend ook, toont het belang van twee principes in de wetenschap: peer-review (toetsing door vakgenoten) en transparantie. Voorafgaand aan publicatie wordt een wetenschappelijke tekst normaal gesproken gelezen en becommentarieerd door vakgenoten, wat helpt om eventuele fouten op te sporen voordat het gepubliceerd wordt. Goede wetenschap heeft dus tijd en onderlinge controle nodig. Voor dit in opdracht geschreven rapport, geschreven onder tijdsdruk, zijn zulke controlemechanismes niet afdoende ingebouwd. De fout heeft alsnog snel aan het licht kunnen komen doordat de databestanden waarop de cijfers gebaseerd zijn openbaar waren, en doordat de berekeningen er in het rapport waren verantwoord. Dit laat in de praktijk zien dat peer-review, methodologische verantwoording en het beschikbaar stellen van data en gegevens bijdraagt aan betrouwbare wetenschap.
Pingback: UNU-MERIT » To return or not to return? How various European states deal with deportation