Op 31 mei 2009 crashte vlucht 447 van Rio de Janeiro naar Parijs ergens boven de Atlantische Oceaan. Het vliegtuig was een Airbus 330 met automatische piloot. Dat is een boordcomputer die als het ware tussen de piloot en de besturing (de rolroeren en dergelijke) zit en de menselijke piloot corrigeert. Hij interpreteert diens bedoelingen en voert vervolgens de gewenste manoeuvre perfect uit. Nog nooit eerder was een Airbus van dit type gecrasht, en men dacht dan ook dat de automatische piloot perfect was. Een latere analyse liet echter zien dat er een fundamenteel probleem was met de automatische piloot.
Tijdens de vlucht — het vliegtuig vloog door slecht weer — viel de automatische piloot uit vanwege ijs op een sensor. De copiloot die op dat moment het vliegtuig bestuurde — de gezagvoerder was gaan rusten — had dit kennelijk niet door. Hij kreeg daardoor minder hulp en meer directe controle over het vliegtuig. Als gevolg daarvan begon het vliegtuig meer te schudden: de automatische piloot corrigeerde immers niet meer. De copiloot besloot daarom over de storm heen te vliegen. Hij trok daarbij echter te sterk aan de stuurknuppel, gewend als hij was dat de automatische piloot hem zou corrigeren. Daardoor vloog het vliegtuig te steil omhoog, waardoor de vliegsnelheid drastisch omlaag ging en daarmee het draagvermogen van de vleugels onder de kritische grens kwam: een ‘stall’-situatie. In plaats van over de storm heen te vliegen, daalde het vliegtuig met grote snelheid en crashte in zee.
Hoe was het nu mogelijk dat de copiloot niet doorhad dat de automatische piloot uitgeschakeld was? En dat hij het stall-alarm negeerde? Of dacht hij misschien dat het alarm betekende dat de automatische piloot juist wél werkte en probeerde de situatie te corrigeren? Achteraf bleek dat de copiloot weliswaar veel had gevlogen, maar dat voornamelijk deed op de ingeschakelde automatische piloot. De weinige uren die hij zonder automatische piloot had gevlogen, waren tijdens het opstijgen of landen, of even gedurende een ‘normale’ vlucht. De piloot was dus feitelijk niet meer gewend een vliegtuig zonder hulp te besturen. Laat staan in een noodsituatie.
Dit wordt de automatiseringsparadox genoemd: hoe beter de geautomatiseerde besturing, hoe minder de menselijke bestuurders zijn geoefend om zelfstandig te sturen, en hoe extremer de situaties waarin van de menselijke bestuurders gevraagd wordt om de controle over te nemen. Situaties die dan zo complex worden dat de menselijke bestuurder, vanwege zijn gebrek aan training, geen idee heeft wat te doen.
Het voorbeeld van de Air France-piloten is extreem. Maar een voor iedereen herkenbaar voorbeeld is dat niemand nog telefoonnummers uit zijn hoofd kent, omdat we ze opslaan in de adressenlijst op onze smartphone. En binnenkort zullen de eerste ongelukken met zelfrijdende auto’s ook tot de verbeelding spreken. Slimme apparaten maken ons dom. En kwetsbaar.
De automatiseringsparadox wordt veroorzaakt doordat de autopilot de taken van de piloot volledig overneemt, in plaats van bijvoorbeeld alleen de vervelende, repetitieve taken over te nemen. Dat betekent dat we slimme apparaten anders moeten ontwerpen. We moeten ze niet geheel het roer laten overnemen, maar ze zo ontwerpen dat ze mensen ondersteunen, klaar om in te grijpen als mensen fouten maken. Computers zijn immers geduldig, nooit moe en hebben geen oefening meer nodig zodra ze een taak kunnen uitvoeren.
Waarom vragen we dan mensen om machines te monitoren, in plaats van andersom? Het is beter als een arts eerst zelf een diagnose stelt en deze dan controleert door middel van een computer, dan andersom. Het is net als het verschil tussen zelf een oefenopgave maken en het antwoord controleren, ten opzichte van direct het antwoord opzoeken en je dan afvragen of je dit begrijpt.
Onlangs was ik op de Dutch Design Week. Daar verwees iemand in een presentatie naar de paard-en-ruitermetafoor van de Amerikaan Donald Norman, bekend van The Design of Everyday Things. Daarin vergelijkt hij de samenwerking tussen mens en machine met die tussen paard en ruiter. Deze vormen een symbiose, en onderhandelen constant over wie de controle heeft: als de teugels lang zijn, heeft het paard controle, als de teugels kort zijn de ruiter. Deze symbiose vormt een vloeiende samenwerking tussen twee autonome entiteiten. Het is die symbiose waar we naartoe moeten werken: een gelijkwaardige werkrelatie tussen mens en machine. En geen slaafse afhankelijkheid van de machine — net zomin als een geoefende ruiter slaaf van zijn paard is.
Auteur: Jaap-Henk Hoepman, wetenschappelijk directeur van het Privacy & Identity Lab.
aad vredenbregt 