Pobierz PDF

ESR: Ethics and Society Review of Artificial Intelligence Research

Metadane

• Autorzy: Michael S. Bernstein, Margaret Levi, David Magnus, Betsy Rajala, Debra Satz, Charla Waeiss
• Rok: 2021
• Zrodlo: arXiv:2106.11521 [cs.CY]; CHI 2022 (Stanford University)
• DOI: arxiv:2106.11521
• Status: #read
• Kategoria: Security
• Tagi: #ai-ethics #institutional-review #research-ethics #irb #societal-impact #dual-use #fairness #responsible-ai #project/phishing-simulation-ethics

Streszczenie

Paper opisuje Ethics and Society Review Board (ESR) - instytucjonalny proces przegladem etycznym badan AI na Stanfordzie, dzialajacy przez rok i obejmujacy 41 propozycji grantow. ESR rozni sie od IRB (Institutional Review Board): IRB skupia sie na ryzykach dla uczestnikow badan (human subjects), podczas gdy ESR adresuje ryzyka dla spoleczenstwa, grup w spoleczenstwie i swiata.

Kluczowy mechanizm: ESR jest wymogiem do otrzymania finansowania - granty nie sa wyplacane dopoki badacze nie ukoncza procesu ESR. Interdyscyplinarny panel (Antropologia, CS, Historia, Medycyna, Filozofia, Politologia, Socjologia) przegladaja propozycje i dostarcza iteracyjna informacje zwrotna.

Po roku: 100% duzych grantow i 29% seed grantow wymagalo iteracji. 58% badaczy stwierdzilo, ze ESR wplynelo na projekt badawczy. Najczesciej identyfikowane problemy: szkody dla grup mniejszosciowych, wlaczenie zroznicicowanych interesariuszy, dual-use, reprezentatywnosc danych.

Kluczowe Wnioski

• IRB nie obejmuje ryzyk dla spoleczenstwa - AI research czesto wypada poza zakres IRB, gdy nie dotyczy bezposrednio uczestnikow ludzkich
• ESR jako requirement do finansowania jest kluczowym mechanizmem instytucjonalnym - bez tego jest tylko opcjonalne
• 58% badaczy stwierdzilo zmiane projektu pod wplywem ESR; 100% chce kontynuowac
• Najczesciej pomijane przez badaczy problemy: szkody dla podgrup (harms to subgroups) - to panelisci ESR najczesciej je identyfikowali
• Badacze chca wiecej “scaffolding” - konkretnych pytan, przykladow, listy typowych problemow
• Risk: ESR moze stac sie “ethics washing” jesli jest zbyt lagodne lub biurokratyczne
• Najczesciej zidentyfikowane przez panele: representativeness (18x), IRB-scope issues (14x), diverse design (13x), dual-use (10x)

Metodologia

Deployment: 41 grantow na Stanfordzie przez 1 rok (6 duzych + 35 seed grants) Ewaluacja: Survey (N=23 projektow, 66% response rate) + semi-structured interviews (N=16 grantobiorcow, ~30-60 min) Analiza ESR statements: Induktywne kodowanie (grounded theory), 14 kategorii tematycznych, Cohen’s kappa = 0.96

Proces ESR:

1. Badacze skladaja ESR statement wraz z propozycja grantu
2. Program finansowania prowadzi merit review
3. Panel ESR przegladal propozycje rekomendowane do finansowania
4. Iteracyjna informacja zwrotna
5. Rekomendacja do programu finansowania → wyplacenie grantu

ESR statement: 2-czesciowy formularz: (1) opis etycznych wyzwan i ryzyk spolecznych, (2) zasady mitygacji i ich implementacja w projekcie

Glowne Koncepcje

• ESR vs IRB: IRB = ryzyka dla uczestnikow badan; ESR = ryzyka dla spoleczenstwa, grup, swiata. ESR wypelnia luke, gdy badania AI nie obejmuja bezposrednio “human subjects” w sensie IRB
• Ethics by Design: Etyczny przeglad na poczatku cyklu zycia projektu, przed ossyfikacja decyzji
• Ethics Washing: Ryzyko, ze ESR staje sie biurokratycznym “oknem” a nie prawdziwym procesem refleksji etycznej
• Dual Use: Ryzyka uzywania technologii do celow niechcianych (np. autoritarny nadzor)
• Harms to Subgroups: Nierownomierne ryzyka dla grup marginalnych - najczesciej pomijane przez badaczy, najczesciej identyfikowane przez panel

Wyniki

Analiza 35 seed grants (14 kodow tematycznych, inter-rater kappa=0.96):

• Badacze najczesciej zglaszali: representativeness (18), IRB purview (14), diverse design (13), dual-use (10), harms to society (10)
• Panelisci najczesciej identyfikowali: harms to subgroups (11), diverse design (8), dual-use (8), representativeness (6)
• Panelisci zglosili nowe ryzyka (nieobecne w statements) dla 26 z 35 projektow

Survey badaczy (N=23):

• 100% chce ponownie uczestniczyc w ESR
• 58% - ESR wplynelo na projekt (67% wsrod tych, ktorzy iterowali)
• 73% - ESR zmniejszylo ryzyko krytyki publicznej projektu

Przydatne Cytaty

“AI research often falls outside the purview of existing feedback mechanisms such as the Institutional Review Board (IRB), which are designed to evaluate harms to human subjects rather than harms to human society.” (Abstract)

“The ESR’s main insight is to serve as a requirement for funding: researchers cannot receive grant funding from a major AI funding program at our university until the researchers complete the ESR process.” (Abstract)

“The goal of the ESR process is to find a lever that can inject social and ethical reflection early, and to do so with the right amount of friction for researchers.” (str. 2)

“Unencumbered by regulatory requirements, the ESR can focus on adapting its approach as we learn how to improve.” (str. 4)

Datasety

Brak publicznych datasetow; dane z 41 grantow Stanforda (anonimizowane), wyniki survey i interview.

Powiazane Tematy

• Institutional ethics review dla badan AI
• Menlo Report i etyka badan sieciowych
• GDPR i etyczne implikacje dla badan europejskich
• Dual use w badaniach bezpieczenstwa
• Fairness i reprezentatywnosc w AI
• Research ethics vs compliance ethics

Notatki

Kluczowy paper dla PSE-3 (ethical framework dla kampanii symulacyjnych): model ESR moze stanowic wzorzec dla IRB-equivalent review w kontekscie phishing simulation studies. Szczegolnie uzyteczne sa: lista 14 kategorii ryzyk, rozroznienie ESR vs IRB, i mechanizm “requirement to funding” jako wzorzec instytucjonalny.