Steekproefsgewijze selectie - nu even niet

Steekproefsgewijze selectie dreigt in ons vakgebied gemeengoed te worden. Niet alleen wordt in het  advies Gewaardeerd verleden hier aandacht aan besteed, ook in selectielijsten is steeds vaker sprake van van het nemen van steekproeven. Het laatste voorbeeld is het BSD Natuurlijke Personen waarin een aantal bestanden voor het nemen van een steekproef in aanmerking komen. Daar blijf ik op ethische en inhoudelijke gronden moeite meehouden.

Het inhoudelijke bezwaar

Eigenlijk zijn steekproeven onderdeel van onderzoeksmethodieken. Onderzoekers kunnen na het formuleren van een onderzoeksvraag of onderzoeksvragen zelf in een steekproef op een bepaalde populatie (de verzameling te onderzoeken objecten, subjecten of gegevens) samen te stellen. Zijn onderzoeksvraag kan hij dan vervolgens op de set loslaten en aan de hand van de antwoorden zijn conclusies en bevindingen vaststellen. Andere onderzoekers kunnen ter verificatie van de resultaten een nieuwe steekproef samenstellen uit die zelfde populatie. Het resultaat van deze steekproef zal in de meeste gevallen een andere zijn dan het resultaat van de eerdere steekproef. Op die manier heeft een onderzoeksresultaat een hoge mate van betrouwbaarheid.

Ik ben de eerste om toe te geven dat ik geen wetenschappelijk onderzoeker ben. Maar uit verhalen die ik hoorde van psychologen van de Rijksuniversiteit Groningen, waar veel aandacht aan onderzoeksmethodologie wordt besteed, heb ik altijd begrepen dat het uit den boze is verschillende onderzoeksvragen op dezelfde steekproef los te laten. Dit komt de betrouwbaarheid van de resultaten niet ten goede.

In het geval van steekproefsgewijze selectie op archieven is er geen sprake van een onderzoeksvraag maar van de wens om de omvang van een bestand beredeneerd te kunnen verkleinen. Dit biedt de mogelijkheid de beheerskosten lager te houden  In deze context is het nemen van steekproeven nadrukkelijk een vorm van selectie, op grond van andere principes dan die bij normale selectie worden gehanteerd. De selectie vindt plaats op basis van bijvoorbeeld statistische modellen en rekenkundige reeksen. De selectiecriteria die gebruikt worden bij de samenstelling van de selectielijsten hebben alleen er toe geleid dat een bestand niet in zijn geheel vernietiging of bewaring is aangewezen. Er wordt erkend dat het bestand voor onderzoekers interessante informatie kan bevatten. Tegelijkertijd worden de inspanningen voor beheer en (duurzame) toegankelijkheid als een (te) groot struikelblok ervaren. 

Onderzoeksmethodologie is een heel specifiek vakgebied dat volgens mij te weinig aandacht krijgt bij de studies geschiedenis en recht, laat staan dat een archivaris daarvan kennis heeft genomen op de archiefschool. De theoretische onderbouwing voor steekproeven komt uit andere vakgebieden, genoeg reden om het nemen van steekproeven niet over te laten aan alleen archivarissen, historici en juristen. Het uitvoeren van steekproeven door archivarissen of informatiebeheerders als onderdeel van het vernietigingsbeleid is als het samenstellen van datasets door onderzoekers zonder onderzoeksvraag.

De ethische component

Sinds een aantal jaren bestaat er een mooie gedragscode voor archivarissen. Hier staat een tiental do's en don'ts opgesomd. Ik begon mij af te vragen of ik met deze code in de hand nog wat argumenten tegen steekproefsgewijze selectie kon vinden. Vooral de eerste drie zijn in dit licht interessant.

Regel 1: De archivaris dient de integriteit van het archiefmateriaal te beschermen en zo te garanderen dat het een betrouwbare getuigenis van het verleden blijft.

Gezien de onmogelijkheid van betrouwbare verificatie en het beschikbaarstellen van een eenmalige steekproef is het zeer de vraag of de integriteit van het archiefmateriaal voldoende is beschermd.

Regel 2. De archivaris dient het archiefmateriaal te selecteren en te bewaren in zijn historische, wettelijke en administratieve context en, onder handhaving van het herkomstbeginsel, de oorspronkelijke verhouding tussen de documenten te bewaren en zichtbaar te maken.

Het nemen van een steekproef is wel een vorm van selectie maar niet op basis van archivistische principes. Is een steekproef te beschouwen als een tijdelijke view op basis van een zoekvraag op een 100% bestand, een steekproefsgewijze selectie is dan een permanente view op een bestand waarvan de rest is vernietigd.

Regel 3. De archivaris dient de authenticiteit van documenten te beschermen gedurende het bewerken, conserveren en gebruiken daarvan.

In de toelichting bij deze regel wordt gerefereerd aan steekproeven.

"Steekproefsgewijze selectie zal altijd dienen te gebeuren aan de hand van zorgvuldige werkmethoden en criteria."

Mijn punt is dus of er überhaupt wel voor archivarissen zorgvuldige werkmethoden en criteria vanuit onderzoeksmethodologie te benoemen zijn. Los daarvan zou in het kader van transparantie zo langzamerhand wel een werkmethode en criteria ontwikkeld mogen zijn. Er zijn natuurlijk wel onderzoeken en projecten uitgevoerd en daar is verslag van gedaan. Niet bekend is of onderzoekers deze bestanden als bruikbaar aangemerkt hebben of dat ze ook daadwerkelijk voor onderzoeken gebruikt zijn. Maar een archiefbewaarplaats zou in het kader van criteria van overbrenging die volgen uit de Archiefwet cs. toch ook wel een 'best practice' kunnen krijgen op het terrein steekproefsgewijze selectie.

Ten aanzien van de verantwoordelijkheid voor een steekproef bestaat ook nog onduidelijkheid, wie bepaalt de criteria, wie voert de steekproef uit en onder wiens verantwoordelijkheid gebeurt dat? Is het de archivaris, de huidige beheerder of een onafhankelijke derde partij? Zelf ben ik altijd van mening geweest dat in ieder geval een archivaris zoveel mogelijk moet vermijden om op de stoel van de onderzoeker te gaan zitten.

De bestanden

Archiefblokken die in aanmerking komen voor steekproefsgewijze selectie zijn meestal series gelijksoortige gegevensverzamelingen gevormd op basis van een uitvoeringstaak die meestal gegevens bevatten waar al dan niet kwantificeerbaar trends en ontwikkelingen te destilleren zijn die betrekking hebben op maatschappelijke problemen, volksgezondheid, leefomstandigheden, leef- en woonomgeving, en dergelijke te halen zijn.  Voorbeelden van gelijksoortige gegevens die vermoedelijk wel in aanmerking komen zijn patiëntendossiers, leerlingenkaarten, belastinggegevens, cliëntendossiers, kentekenregistraties en ga maar door. Er zijn natuurlijk meer gelijksoortige series, denk maar aan milieugegevens, bouwdossiers, series handelingen van de Tweede Kamer, series KB's en ga  maar door. Los van de andere argumenten waarom deze wel integraal voor bewaring in aanmerking zouden komen kan ook hierop de steekproefsgewijze selectie losgelaten worden, immers hier zijn ook trends en ontwikkelingen uit te halen.

Maar waar trek je de grens, wanneer komt een bestand niet meer voor integrale vernietiging of bewaring in aanmerking. Ik heb het hier niet over  de algemene selectiecriteria, maar criteria op basis waarvan bepaald wordt welk bestand voor steekproefsgewijze selectie in aanmerking komt. Deze zijn bij mij niet bekend.

Mogelijke criteria

• Het is gelijksoortig - dan moet wel de vraag beantwoord worden wat gelijksoortig is.
• Het is omvangrijk - het is qua omvang, bijvoorbeeld aantallen documenten, lengte van de periode, aantallen records geschikt voor kwantificeerbare metingen)
• Het bevat geschikte informatie - gegevens over personen, objecten etc. in een bepaalde maatschappelijke context
• Het is geschikt voor hergebruik - de set gegevens is betrouwbaar en voor onderzoekers interessant genoeg

Conclusie

De inhoudelijke bezwaren tegen steekproefsgewijze selectie zijn nog groot. Ook lijkt het erop dat steekproefgewijze selectie botst met de beroepscode voor archivarissen. Daarnaast is er te weinig theoretische kennis over onderzoeksmethodologie in ons vakgebied voorhanden. Er zijn wel steekproefprojecten uitgevoerd, maar het is niet bekend of onderzoekers de bestanden die een dergelijke bewerking hebben ondergaan nog als bruikbaar beschouwen. Al met al argumenten om voorlopig niet door te gaan met deze selectiemethode.

Suggesties

Ik zou een onderzoek laten doen naar kosten van vervanging/substitutie van dit soort bestanden en het beheer van het gesubstitueerde resultaat in relatie tot de kosten van het ontwikkelen en nemen van een steekproef en het beheer van het resultaat daarvan. Voordeel is dat dan alle informatie volledig beschikbaar is terwijl de fysiek omvang van het bestand drastisch is afgenomen.

Verder zou mijn voorstel zijn onderzoeksmethodologen (niet persé statistici) uit de wereld van de sociale wetenschappen om advies te vragen over de bestaande ideeën over en de mogelijkheden en onmogelijkheden van steekproeven.

Mijn voorstel is verder bij onderzoekers te informeren of zij reeds bestaande steekproeven als geschikte bronnen voor onderzoek beschouwen.

Is er op een bepaald moment gekozen voor een bepaalde methodiek dan lijkt het mij verstandig dat deze periodiek wordt getoetst op actualiteit en rendement.