Hoe uw gegevens en modellen interpreteerbaar te maken door te leren van cognitieve wetenschap

(Dit bericht gaat vergezeld van een toespraak die Been Kim gaf op South Park Commons over interpreteerbare machine learning. Als je de technische details van Been Kim zelf wilt, bekijk dan de video en papers onderaan deze post.)

Inleiding: de meeste modellen voor machine learning zijn ondoorgrondelijk. Wat kunnen we doen?

Het is een ongelukkige waarheid van moderne machine learning: zelfs als uw model perfect presteert op de meetwaarde waarvoor u hebt geoptimaliseerd, is dat geen garantie dat u tevreden zult zijn met de prestaties in de echte wereld.

Natuurlijk is de nauwkeurigheid van de testset geweldig. Maar je hebt misschien niet gemerkt dat de fouten die het maakt zich concentreren op categorieën die belangrijk zijn om niet te verknoeien (zoals het taggen van zwarte mensen als gorilla's). Het kan discriminerende vooroordelen versterken omdat je eerlijkheid niet hebt gecodeerd in je objectieve functie (Bolukbasi et al. 2016). Het kan spectaculair falen als de praktijkomgeving onmerkbaar verschilt van de testomgeving (voorbeelden van tegenstanders, bijvoorbeeld Goodfellow et al. 2014). Of het kan voldoen aan de letter van uw verzoek, maar zeker niet aan de geest (https://blog.openai.com/faulty-reward-functions/).

Links: classificaties met een laag algemeen foutenpercentage kunnen nog steeds ernstige fouten maken, zoals zwarte mensen verkeerd labelen als Links: classificaties kunnen spectaculair falen in het gezicht van onmerkbare wijzigingen (https://arxiv.org/abs/1412.6572). Rechts: agenten die zijn getraind met versterkingsleren zullen doen wat de meeste beloning verdient, niet wat u ook wilde stimuleren (https://blog.openai.com/faulty-reward-functions/).

Het probleem is dat een enkele statistiek, zoals de nauwkeurigheid van de classificatie, een onvolledige beschrijving is van de meeste praktijktaken (Doshi-Velez en Kim 2017). Andere belangrijke resultaten - zoals billijkheid, privacy, veiligheid of bruikbaarheid - worden niet vastgelegd in eenvoudige prestatiestatistieken.

Terwijl we ML blijven gebruiken in meer en meer echte toepassingen, kunnen onbedoelde resultaten steeds problematischer worden voor de samenleving (zoals besproken door het AINow-initiatief, het Future of Life Institute en andere groepen). Wat kunnen we doen?

Interpreteerbaarheid: één weg vooruit

Een lijn van onderzoek om deze moeilijkheden aan te pakken is het ontwerpen van verklaarbare of interpreteerbare modellen. De mogelijkheid om te begrijpen welke voorbeelden het model goed of fout krijgt, en hoe het komt tot de antwoorden die het krijgt, kan gebruikers van ML-systemen helpen belangrijke hiaten op te merken tussen de geformaliseerde probleembeschrijving en de gewenste real-world resultaten.

In de afgelopen jaren zijn onderzoekers begonnen met workshops en conferenties over interpreteerbaarheid van modellen, zoals de NIPS Interpretable ML-workshop en de FAT * -conferentie (Fairness, Accountability, and Transparency). Financierers en toezichthouders zoeken ook naar uitlegbaarheid als een oplossing, van het recente recht van de EU op uitleg tot het DARPA's Explainable AI-programma.

Het XAI-programma van DARPA is bedoeld om

Been Kim: de "mens" terugplaatsen in "mens-interpreteerbaar"

Been Kim is een onderzoekswetenschapper die interpreteerbare ML-modellen bouwt bij het People + AI Research Initiative bij Google Brain. In haar recente lezing in de South Park Commons AI Speaker Series presenteerde ze een reeks methoden die op voorbeelden gebaseerde redenering gebruiken, geïnspireerd door de cognitieve wetenschap van menselijke besluitvorming, en toonde aan dat ze gemakkelijker zijn voor mensen om te voorspellen en mee samen te werken.

In tegenstelling tot andere benaderingen, is het werk van Kim expliciet geïnspireerd door de cognitieve wetenschap van menselijk redeneren. Concreet: het menselijk redeneren is vaak gebaseerd op prototypes en gebruikt representatieve voorbeelden als basis voor categorisatie en besluitvorming. Evenzo gebruiken Kim's modellen representatieve voorbeelden om gegevens uit te leggen en te clusteren.

Gedurende Kim's toespraak werden beweringen van "interpreteerbaarheid" ondersteund met experimentele gegevens die concrete gewenste resultaten laten zien - bijvoorbeeld dat gebruikers consistenter de resultaten van het model kunnen voorspellen, of dat ze een hogere subjectieve tevredenheidsbeoordeling geven.

In de rest van dit bericht leg ik de twee belangrijkste methoden uit die Been Kim tijdens haar toespraak heeft laten zien:

De eerste methode, MMD-Critic (Maximum Mean Discrepancy) genoemd, is zelf geen ML-model, maar eerder een manier om gegevens zelf te begrijpen. Het is een methode zonder toezicht die kan worden toegepast op een niet-gelabelde gegevensset of op afzonderlijke categorieën binnen een gelabelde gegevensset.

De tweede methode, het Bayesian Case Model (BCM) genoemd, is een niet-begeleide leermethode die zowel prototypes als schaarse functies gebruikt om beter interpreteerbaar te zijn zonder enig vermogensverlies in vergelijking met standaardmethoden. Kim toont ook aan dat BCM's gemakkelijker zijn voor mensen om mee samen te werken, door een interactief BCM-model te integreren in de taak om cursusopdrachten te beoordelen.

Ik geef een kort overzicht van hoe MMD-Critic en BCM werken. Als je meer details wilt dan ik hier geef, bekijk dan zeker de video's en kranten aan het einde van dit bericht.

MMD-criticus: prototypes en kritieken gebruiken om naar uw gegevens te kijken

Een algemeen refrein onder adviseurs van stagiairs voor gegevensanalyse is om 'naar uw gegevens te kijken!' In plaats van blindelings in model-aanpassing te springen. Dit is geweldig advies. Overmatig vertrouwen in samenvattende statistieken kan bizarre invoerdistributies, verbroken datapijplijnen of slechte veronderstellingen maskeren. Preceptief naar een modelraamwerk reiken wanneer uw onbewerkte gegevens een puinhoop zijn, is een uitstekend recept voor "garbage in, garbage out".

Dat gezegd hebbende, hoe moet je precies naar je gegevens kijken? Als uw gegevens uit duizenden afbeeldingen bestaan, kunt u ze niet allemaal bekijken. Moet je gewoon kijken naar afbeelding 000001.png tot en met 000025.png en dat goed genoeg noemen?

Op voorbeeld gebaseerde categorisatie

Om deze vraag te beantwoorden, liet Kim zich inspireren door de cognitieve wetenschap van hoe mensen categorieën begrijpen. In het bijzonder kan menselijke categorisatie worden gemodelleerd als prototypes: voorbeelden die representatief zijn voor de categorie als geheel. Het categorielidmaatschap van een item wordt bepaald door de overeenkomst met de prototypes van de categorie. (zie https://en.wikipedia.org/wiki/Prototype_theory en https://en.wikipedia.org/wiki/Recognition_primed_decision voor meer informatie over de cognitieve wetenschap)

Een nadeel van op prototypen gebaseerd redeneren is dat het vatbaar is voor overgeneralisatie. Dat wil zeggen, de eigenschappen van de prototypische leden worden verondersteld universeel onder de groep te worden gedeeld, zelfs als er aanzienlijke variatie binnen de groep is. Een techniek die kan helpen om overgeneralisatie te voorkomen, is om uitzonderingen of kritiek op de regel te laten zien: datapunten voor minderheden die aanzienlijk verschillen van het prototype, maar toch in de categorie thuishoren.

De verdeling van kattenbeelden bestaat bijvoorbeeld meestal uit enkele katten die zitten, staan ​​of liggen. Een afbeelding van een kat die languit op een toetsenbord ligt, een kostuum draagt ​​of zich in een tas verbergt, is nog steeds een afbeelding van een kat, ook al wijkt deze aanzienlijk af van de prototypische afbeeldingen. Deze ongebruikelijke voorbeelden zijn met name belangrijke minderheden en geen afzonderlijke uitschieters. Er zijn veel kattenafbeeldingen die atypische posities en kostuums tonen, en daarom zijn deze afbeeldingen belangrijk voor een volledig begrip van kattenafbeeldingen.

Prototypische kattenafbeeldingen kunnen algemene afbeeldingen van katten (zittend, staand of liggend) en algemene kleuren bevatten.Kritieken zijn onder andere ongewone opvattingen van katten: uitgestrekt over een toetsenbord, een kostuum dragen of zich verstoppen in een tas. Hoewel deze weergaven atypisch zijn, zijn dit desalniettemin nog steeds kattenafbeeldingen en moeten ze in de categorie worden opgenomen. Dit soort kritiek tonen kan overgeneralisatie voorkomen.

MMD-criticus algoritme

Kim et al. ontwikkelde een niet-gecontroleerd algoritme voor het automatisch vinden van prototypes en critici voor een gegevensset, MMD-criticus genaamd. Wanneer toegepast op niet-gelabelde gegevens, vindt het prototypes en critici die de gegevensset als geheel karakteriseren. Het kan ook worden gebruikt om een ​​categorie afbeeldingen binnen een gelabelde gegevensset te visualiseren.

Het MMD-criticusalgoritme werkt in twee fasen: ten eerste worden prototypes zo gekozen dat de set prototypes vergelijkbaar is met de volledige dataset. Maximum Mean Discrepancy (MMD) verwijst naar de specifieke manier om het verschil tussen de prototypedistributie en de volledige gegevensdistributie te meten. Ten tweede worden kritieken geselecteerd uit delen van de dataset die ondervertegenwoordigd zijn door de prototypes, met een extra beperking om ervoor te zorgen dat de kritieken divers zijn. Het resultaat van deze methode is een set prototypes die typerend zijn voor de dataset als geheel, en een set kritieken die grote delen van de dataset identificeren die het meest verschillen van de prototypes.

Als u MMD-Critic op uw eigen gegevens wilt proberen, is een implementatie beschikbaar op https://github.com/BeenKim/MMD-critic.

Wanneer MMD-criticus wordt toegepast op de gegevensset USPS-nummers (in onbewerkte pixelruimte), zien de prototypes eruit als gewone cijfers, terwijl de kritieken horizontale lijnen, extra dikke cijfers en vage cijfers bevatten. Merk op dat de prototypes in numerieke volgorde zijn, alleen voor de visualisatie; de MMD-criticusmethode heeft op geen enkele manier de categorielabels gebruikt.MMD-criticus kan ook worden toegepast op tussenliggende gegevensrepresentaties die een inbeddingsfase of een deel van een groter model hebben doorlopen. Hier wordt een enkele ImageNet-categorie gevisualiseerd nadat deze een afbeelding heeft ingesloten. In deze representatieve ruimte zijn full-colour frontale afbeeldingen prototypisch voor deze categorie, terwijl zwart-witafbeeldingen en vreemde kijkhoeken uitzonderingen zijn.

Pilootstudie met menselijke proefpersonen

Om de MMD-criticusmethode te valideren, heeft Kim een ​​kleine pilotstudie opgezet waarin mensen een categorisatietaak deden. Gebruikers kregen een afbeelding van een dier te zien en er werd hen gevraagd om te voorspellen uit welke subgroep het afkomstig was (als ze bijvoorbeeld een hond zouden krijgen, zouden ze het moeten categoriseren als ras 1 of ras 2, op basis van voorbeeld afbeeldingen van elk ras).

Gebruikers kregen deze taak in vier verschillende omstandigheden, die voorbeeld groepsleden op verschillende manieren toonden: 1) alle afbeeldingen in elke groep (200 - 300 van hen); 2) alleen de prototypes; 3) prototypes en kritiek, en 4) een willekeurige selectie van afbeeldingen uit elke groep, met hetzelfde aantal afbeeldingen als voorwaarde 3.

In haar pilotresultaten vond Kim bewijs dat:

  1. Door alleen de prototypes van elke groep te bekijken, konden gebruikers nauwkeurigere en meer tijdbesparende voorspellingen doen, vergeleken met het bekijken van alle groepsleden of een willekeurige subset.
  2. Het opnemen van kritiek verbetert de nauwkeurigheid ten opzichte van alleen prototypes, tegen een kleine kost voor tijd-efficiëntie.
  3. Het bekijken van een willekeurige subset van afbeeldingen is het minst nauwkeurig en het minst efficiënt.
Gebruikers werden gevraagd afbeeldingen van dieren toe te wijzen aan Door de prototypes te bekijken, konden gebruikers nauwkeurigere en efficiëntere voorspellingen doen, vergeleken met het bekijken van alle gegevens of een willekeurige subset. Inclusief kritiek verbeterde nauwkeurigheid ten opzichte van prototypes alleen, tegen een kleine kost voor de efficiëntie.

Bayesian Case Model (BCM): op scog-sci geïnspireerde clustering

Een selectie van prototypes en kritiek kan inzicht geven in een gegevensset, maar het is zelf geen model voor machine learning. Hoe kan op prototype gebaseerd redeneren worden uitgebreid tot een volwaardig en operationeel ML-model?

De tweede van de twee modellen die Been Kim in haar toespraak presenteerde, was een nieuw type mengmodel, ontworpen om de interpreteerbaarheid van case-based redenering op te nemen zonder enig prestatieverlies ten opzichte van standaard mengmodellen.

Om het Bayesiaanse casusmodel te begrijpen als een toepassing van "casusgebaseerd redeneren" op "mengmodellen", is het nuttig om te verduidelijken waarnaar die termen verwijzen:

  • Case-based redeneren is een menselijke redeneermethode voor het oplossen van problemen in de echte wereld. Eerder gezien voorbeelden worden gebruikt als een steiger voor het oplossen van nieuwe problemen. De relevante kenmerken die het oude probleem met het nieuwe probleem relateren, worden geïdentificeerd en eerdere probleemoplossende strategieën worden hergebruikt en herzien. Dit is meer dan alleen een formele probleemoplossende procedure; het is ook een beschrijving van alledaagse, informele menselijke redeneringen.
  • Een mengmodel is een soort generatief model voor leren zonder toezicht. De kenmerken van een gegevensdistributie zijn gemodelleerd als afgeleid van een combinatie van onderliggende bronnen (zoals onderwerpen, subpopulaties of clusters) die worden afgeleid maar niet rechtstreeks worden waargenomen. Het aanpassen van een mengmodel aan een waargenomen gegevensset is een vorm van niet-gecontroleerd leren. De geïdentificeerde onderliggende bronnen kunnen direct worden geïnspecteerd om inzicht te krijgen in de onderliggende structuur van de gegevens, of worden gebruikt als basis voor een clusteranalyse. (Zie voor meer diepgang Wikipedia over mengmodellen, plus deze uitleg over het verschil tussen mengmodellen en mengmodellen)

Om het verschil in interpreteerbaarheid te begrijpen tussen een traditioneel mengmodel zoals Latent Dirichlet Allocation (LDA) en het Bayesian Case Model (BCM) dat Kim presenteerde, overweeg het volgende cijfer uit Kim 2015:

Terwijl typische mengmodellen zoals LDA (midden) elk cluster weergeven als een lijst met waarschijnlijkheden van functies, gebruikt een Bayesiaans casemodel (rechts) een meer cognitief toegankelijke handle voor elk cluster: een enkel voorbeeld als prototype voor dat cluster, gecombineerd met begeleiding over welke van de kenmerken van het prototype belangrijk zijn om op te letten.

In dit voorbeeld is een hypothetische dataset van cartoongezichten met verschillende vormen, kleuren, ogen en monden geanalyseerd met behulp van een mengmodel en zijn drie onderliggende clusters ontdekt (linkerkolom). LDA en BCM zouden vergelijkbare onderliggende clusters ontdekken; ze verschillen alleen in de manier waarop de clusters worden weergegeven. BCM vertegenwoordigt de clusters in een beter interpreteerbaar formaat, zonder enig verlies van representatiekracht.

Een typisch mengmodel (middelste kolom, LDA) zou de identiteiten van de drie clusters vertegenwoordigen als een lange lijst met kenmerkkansen - 26% waarschijnlijkheid van groene kleur, 23% waarschijnlijkheid van vierkante vorm, enz. Dit kan voor mensen moeilijk te interpreteren zijn omdat het een waslijst van continue waarden biedt, in plaats van een beknopte en memorabele greep voor het cluster (zie de discussie van Doshi-Velez en Kim 2017 over "cognitieve brokken"). Een Bayesiaans casemodel daarentegen zou elk cluster vertegenwoordigen met behulp van 1) een prototypisch voorbeeld van een representatief lid van de klasse (rechterkolom, "prototype"), en 2) een subruimte van de kenmerken van het prototype die feitelijk belangrijk zijn voor clusterlidmaatschap (rechterkolom) , 'Subruimten'). Dit biedt een meer cognitief toegankelijke handle voor elk cluster: een enkel voorbeeld als een prototype, gecombineerd met richtlijnen over welke van de kenmerken van het prototype belangrijk zijn om op te letten.

Het cluster

Evaluatie van de BCM met behulp van een interactief beoordelingssysteem

Bij het evalueren van de interpreteerbaarheid in dit geval heeft Kim zich gericht op het vermogen van gebruikers om samen te werken met het model door het interactief te wijzigen.

Ze bouwde een op BCM gebaseerde interactieve extensie voor OverCode (http://people.csail.mit.edu/elg/overcode), een systeem dat clusteranalyse gebruikt om instructeurs in staat te stellen duizenden programmeeroplossingen te visualiseren. Met de interactieve extensie konden instructeurs de clusters rechtstreeks manipuleren door te selecteren welke inzendingen als prototypes van de BCM moesten worden gebruikt en welke sleutelwoorden belangrijke subruimten zijn voor elk prototype.

Toen instructeurs de opdracht kregen het interactieve BCM-systeem te gebruiken om een ​​aantal voorbeelden te selecteren om in een recitatie te bekijken, meldden ze dat ze meer tevreden waren, het volledige spectrum van de inzendingen van studenten beter verkenden en meer nuttige functies en prototypes ontdekten (p < 0.001), vergeleken met een niet-interactieve versie.

De interactieve BCM-extensie voor OverCode demonstreert de flexibiliteit van cognitief geïnspireerde mixmodellen. Omdat de clusters van het model worden gedefinieerd met behulp van op mensen gebaseerde redenering, kunnen gebruikers het model interactief manipuleren om hun eigen domeinrelevante expertise op te nemen.

Het pad vooruit

Tijdens de Q&A gaf Kim een ​​gevoel voor enkele interessante toekomstige uitdagingen die interpreteerbare ML nog te pakken heeft:

  1. Voorbeelden zijn niet het definitieve antwoord op alles. In medisch onderzoek willen onderzoekers bijvoorbeeld nieuwe patronen ontdekken die ze nog niet kunnen zien of opmerken. Een voorbeeld van een representatieve patiënt kan een reactie oproepen: 'Ik weet alles over deze patiënt; en dan?"
  2. Je kunt niet verwachten dat een mens begrijpt of voorspelt wat een systeem met supermenselijke prestaties gaat doen, bijna per definitie. Het interpreteren van interpreteerbaarheid op een manier die neerkomt op menselijke voorspelling zal niet langer zonder meer nuttig zijn zodra systemen ons vermogen om hun acties te voorspellen overschrijden. Dat gezegd hebbende, gelooft Kim dat interpreteerbaarheid relevant blijft voor bovenmenselijke systemen. Zelfs als ze niet holistisch kunnen worden begrepen, is er nog steeds de mogelijkheid om voor een enkel datapunt lokaal te begrijpen waarom de beslissing op een bepaalde manier is genomen.

Conclusie / samenvatting

Ik nam de volgende belangrijke afhaalrestaurants weg uit het gesprek van Been Kim:

  • Wanneer u naar uw onbewerkte gegevens kijkt, concentreer u dan op prototypische voorbeelden als u een efficiëntere en nauwkeurigere manier wilt om uw gegevens te bekijken dan een willekeurige steekproef. Voeg ook kritiek toe voor een maximaal nauwkeurig beeld van de diversiteit van uw gegevens.
  • Om ervoor te zorgen dat uw gebruikers met uw modellen kunnen samenwerken, kunt u overwegen de modellen zelf aan te passen aan de eigenaardigheden van de mens. Als uw systeem denkt zoals uw gebruikers, dan zullen uw gebruikers waarschijnlijk beter in staat zijn om hun kennis terug te geven aan het systeem.
  • "Interpreteerbaarheid" heeft veel betekenissen. Definieer uw doelen duidelijk voor uw specifieke toepassing en voer experimenten uit met menselijke proefpersonen om te controleren of uw model de gebruikersresultaten bereikt die u nastreefde.

Naarmate ML-systemen steeds krachtiger worden, zal het voor ons steeds belangrijker worden om vertrouwen te hebben in wat ze doen. En om dat vertrouwen goed onderbouwd en niet misplaatst te laten zijn, moeten we rekening houden met wat het voor een mens specifiek betekent om 'vertrouwen te hebben', 'te vertrouwen' of 'te begrijpen'. Onze aandachtsspanne is beperkt en onze cognitieve capaciteiten zijn idiosyncratisch en onontkoombaar menselijk. Als we de ML-systemen van de toekomst en vandaag echt willen begrijpen, moeten we rekening houden met ons eigen proces van begrip.

Dit is een samenvatting van een lezing die Been Kim gaf in de AI-luidsprekerserie van South Park Commons getiteld "Interactieve en interpreteerbare modellen voor machinaal leren" Afbeeldingen en video van de door Google verstrekte en met toestemming gebruikte lezing.

Bijlage: Volledige video, dia's, kranten en code

  • Praat dia's om te downloaden
  • Volledige video hieronder:

MMD-kritieke bronnen:

  • Voorbeelden zijn niet genoeg, leer kritiek leveren! Kritiek op interpreteerbaarheid. Kim, Khanna en Koyejo, NIPS 2016.
  • Github-code: https://github.com/BeenKim/MMD-critic
  • NIPS mondelinge presentatie: slides en 15 minuten praten

BCM-documenten en code:

  • Het Bayesiaanse casusmodel: een generatieve aanpak voor case-based redenering en prototypeclassificatie. Kim, Rudin en Shah, NIPS 2014.
  • iBCM: Interactief Bayesiaans casemodel voor het versterken van mensen via intuïtieve interactie. Kim, Glassman, Johnson en Shah, MIT CSAIL TR 2015.
  • Code: https://users.cs.duke.edu/~cynthia/code/BCM.zip

Gerelateerde artikelen:

  • Naar een rigoureuze wetenschap van interpreteerbaar machinaal leren. Doshi-Velez en Kim 2017