Explainable AI for Out Of Distribution Detection

Selve masteroppgaven ligger her.

Overordnet mål

Målet med masteroppgaven er å utvikle en Out of Distribution Detector som er inspirert av Explainable AI. XAI kan inneholde nyttig informasjon utover forklarbarhet, og dette kan kanskje utnyttes til andre formål, for eksempel for å oppdage datapunkter som er langt unna treningsdataen. Utvikle en Out-of-Distribution detector som er inspirert av XAI. Bruk et datasett med kjente out of distribution punkter, kjør XAI OOD detector og state of the art OOD detectors og se om man får bedre resultater.

Metrikken er som oftest FPR95 med ImageNet som ID. FPR95 er false positive rate når true positive rate er 95%. OOD dataset er f.eks iNaturalist, SUN, Places og Textures. Fordi vi bruker ImageNet som ID kan man bare bruke pretrained ting fra pytorch. Trenger ikke trene.

Ønskede egenskaper ved metoden:

• Post hoc
• Uten bruk av OOD data

Lesestoff

Lest

• Selvaraju et Al. Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization. (2019).
• Zhou et Al. Learning Deep Features for Discriminative Localization. (2015).
• Yang et Al. Generalized Out-of-Distribution Detection: A Survey. (2021).
• Velden et Al. Explainable artificial intelligence (XAI) in deep learning-based medical image analysis. (2022).
• Molnar, Cristoph. Interpretable Machine Learning. (2023).
• Borgli et Al. HyperKvasir, a comprehensive multi-class image and video dataset for gastrointestinal endoscopy. (2020).
• Hägele et Al. Resolving challenges in deep learning-based analyses of histopathological images using explanation methods. (2020).
• Nazir et Al. Survey of explainable artificial intelligence techniques for biomedical imaging with deep neural networks. (2023).
• Cui et Al. *Out-of-Distribution (OOD) Detection Based on Deep Learning: A Review. (2022).
• Bach et Al. On pixel-wise explanations for non-linear classifier decisions by layer-wise relevance propagation. (2015).
• Wang et Al. ViM: Out-Of-Distribution with Virtual-logit Matching. (2022).

Ikke lest

• Cook, Zare, Gader. Outlier Detection through Null Space Analysis of Neural Networks. (2020).
• Wickstrøm et Al. Uncertainty and interpretability in convolutional neural networks for semantic segmentation of colorectal polyps. (2019).
• Du et Al. VOS: Learning What You Don’t Know By Virtual Outlier synthesis. (2020).
• Liu et Al. Energy-based Out-of-distribution Detection. (2021).
• G. Schwalbe & B. Finzel. A comprehensive taxonomy for explainable artificial intelligence: a systematic survey of surveys on methods and concepts. (2023)
• D. Hendrycks and K. Gimpel. A baseline for detecting misclassified and out-of-distribution examples in neural networks. (2017)
• Liang et Al. Enhancing The Reliability of Out-of-distribution Image Detection in Neural Networks. (2018)

Konsepter

Datasett

• Semantic shift, så vi bruker bare noen klasser fra HyperKvasir som ID og andre som OOD.

XAI

• Gradient Class Activation Mapping (Grad-CAM)
  • Brukes ofte i medisin
  • Lav oppløsning, bruker som oftest siste konvolusjonelle lag av CNN som probably har mange filtere men hver av dem lav oppløsning
    • Men man kan bruke hvilket som helst lag så man kan bruke et tidligere lag med høyere oppløsning
• Layer Wise Relevance Propagation (LRP)
  • Pixel wise saliency maps, så mer presis enn CAM
• Meaningful perturbation
• Hausdorff distance

Out of distribution detection

• Ulike metoder: VOS, ViM, SMOOD, ODIN, OODL, LC
• Virtual Logit Matching (ViM), bruker features og ikke bare logitsene, og kan dermed være noe man kan bygge videre på, om man bruker f.eks Grad-CAM verdier istedenfor features

Ideer

• Kjøre vanlige outlier detection algoritmer på resultatet av Grad-CAM, LRP eller andre saliency maps
• Modifiser ViM til å bruke saliency maps
  • Bytt ut feature delen av ViM med saliency maps istedenfor input image

Tester

In distribution Grad-CAM++

Out of distribution Grad-CAM++

Dette ser ut til å være for lav oppløsning til å gi så veldig mye informasjon.

In distribution LRP

Out of distribution LRP

Kanskje mer informasjon å hente her.