A inteligência artificial emergiu como a tecnologia definidora de nossa era, tão transformadora ao longo do tempo quanto a máquina a vapor, a eletricidade, os computadores e a Internet. As tecnologias de Inteligência Artificial estão se aproximando ou superando os níveis humanos de desempenho em visão, reconhecimento de fala, tradução de idiomas e outros domínios humanos. Os avanços do aprendizado de máquina (Machine Learn), como o aprendizado profundo (Deep Learn), desempenharam um papel central nas conquistas recentes da Inteligência Artificial, dando aos computadores a capacidade de serem treinados ingerindo e analisando grandes quantidades de dados em vez de serem programados explicitamente.
O aprendizado profundo é uma técnica estatística poderosa para classificar padrões usando grandes conjuntos de dados de treinamento e redes neurais de IA de várias camadas. Cada unidade neural artificial é conectada a muitas outras unidades, e os links podem ser estatisticamente reforçados ou diminuídos com base nos dados usados para treinar o sistema. Mas esses métodos estatísticos não são igualmente adequados para todas as tarefas. Tarefas particularmente adequadas para aprendizado de máquina exibem vários critérios importantes, como a disponibilidade de grandes conjuntos de dados de pares de entrada-saída bem definidos para treinamento de classificadores de Machine Learn, – por exemplo, imagens de gato e não-gato cuidadosamente rotuladas para classificadores de reconhecimento de gato e pares de documentos inglês-francês para algoritmos de tradução automática.
Os métodos por trás de uma previsão de aprendizado de máquina – ajustes sutis nos pesos numéricos que interconectam seu grande número de neurônios artificiais – são muito difíceis de explicar porque são muito diferentes dos métodos usados por humanos. Quanto maior o conjunto de dados de treinamento, mais precisa será a previsão, mas mais difícil será fornecer uma explicação detalhada e compreensível para um humano de como a previsão foi feita.
Algumas semanas atrás, participei do seminário on-line, – Como você pode confiar no aprendizado de máquina? Ministrado pelo professor de Stanford Carlos Guestrin, – sobre a dificuldade de entender as previsões de aprendizado de máquina. O seminário de Guestrin foi baseado em um artigo de 2016 que ele escreveu em coautoria com Marco Tulio Ribeiro e Sameer Singh, “Why Should I Trust You?” (Por que eu deveria acreditar em você?).
“Apesar da ampla adoção, os modelos de aprendizado de máquina permanecem principalmente caixas pretas”, disse o artigo. “Entender as razões por trás das previsões é, no entanto, muito importante para avaliar a confiança, que é fundamental se alguém planeja agir com base em uma previsão ou ao escolher se deseja implantar um novo modelo. Esse entendimento também fornece insights sobre o modelo, que pode ser usado para transformar um modelo ou previsão não confiável em um modelo confiável.”
“Infelizmente, o importante papel dos humanos é um aspecto muitas vezes esquecido no campo. Se os humanos estão usando classificadores de aprendizado de máquina diretamente como ferramentas ou implantando modelos em outros produtos, uma preocupação vital permanece: se os usuários não confiarem em um modelo ou previsão, eles não o usarão”.
É importante entender a diferença entre um modelo e as várias previsões individuais que esse modelo pode fazer. Um usuário confiará em uma previsão individual o suficiente para tomar alguma ação se confiar que o modelo que fez a previsão está se comportando de maneira razoável.
“Ambos são diretamente impactados pelo quanto o humano entende o comportamento de um modelo, em vez de vê-lo como uma caixa preta”.
Determinar se uma previsão é confiável é particularmente importante quando um modelo de aprendizado de máquina é usado em diagnóstico médico, diretrizes de condenação, detecção de terrorismo e aplicativos semelhantes que exigem julgamento humano. Nesses casos, as consequências de não entender o comportamento do modelo e apenas agir em sua previsão com base na fé cega podem ser muito graves.
“Além de confiar nas previsões individuais, também é necessário avaliar o modelo como um todo antes de implantá-lo na natureza. Para tomar essa decisão, os usuários precisam estar confiantes de que o modelo terá um bom desempenho em dados do mundo real, de acordo com as métricas de interesse. Atualmente, os modelos são avaliados usando métricas de precisão em um conjunto de dados de validação disponível. No entanto, os dados do mundo real geralmente são significativamente diferentes e, além disso, a métrica de avaliação pode não ser indicativa do objetivo do produto. Inspecionar previsões individuais e suas explicações é uma solução que vale a pena, além de tais métricas. Nesse caso, é importante ajudar os usuários sugerindo quais instâncias devem ser inspecionadas, especialmente para grandes conjuntos de dados.”
O artigo apresenta o LIME, – Local Interpretable Model-Agnostic Explanations, – um novo método para explicar as previsões de qualquer classificador de Machine Learn para aumentar a confiança e o entendimento humanos.
“Ao explicar uma previsão, queremos dizer apresentar artefatos textuais ou visuais que fornecem compreensão qualitativa da relação entre os componentes da instância (por exemplo, palavras em texto, patches em uma imagem) e a previsão do modelo.”
Usando o LIME, você pode aproximar o comportamento de qualquer modelo de aprendizado de máquina, por mais complexo que seja, com uma série de modelos locais mais simples cujas previsões são semelhantes às do modelo original. E você pode selecionar os modelos locais perturbando ou variando as entradas, vendo como as previsões mudam e, em seguida, selecionando os modelos locais mais simples cujas previsões estão mais próximas da previsão do modelo original. Sendo consideravelmente mais simples, os modelos locais devem ser compreensíveis e fazer sentido para os seres humanos. Assim, embora entender o modelo de aprendizado de máquina original seja uma tarefa assustadora, deve ser muito mais fácil entender os modelos locais mais simples cujas previsões são semelhantes ao original.
Para uma explicação detalhada do LIME, assista ao seminário de Guestrin aqui.
De acordo com o artigo, uma explicação eficaz deve apresentar quatro características principais:
- Para garantir que as explicações do LIME sejam compreensíveis e aumentem a confiança, os autores validaram a utilidade do LIME. “através de novos experimentos, tanto simulados quanto com seres humanos, em vários cenários que exigem confiança: decidir se devemos confiar em uma previsão, escolher entre modelos, melhorar um classificador não confiável e identificar por que um classificador não deve ser confiável”.
- Interpretável. A explicação deve fornecer um entendimento qualitativo e compreensível entre as variáveis de entrada e a previsão, que leve em consideração as limitações do público-alvo. “Por exemplo, se centenas ou milhares de recursos contribuem significativamente para uma previsão, não é razoável esperar que qualquer usuário compreenda por que a previsão foi feita, mesmo que pesos individuais possam ser inspecionados”.
- Fidelidade local. Este é o conceito central do LIME. “Embora muitas vezes seja impossível que uma explicação seja completamente fiel a menos que seja a descrição completa do próprio modelo, para que uma explicação seja significativa ela deve ser pelo menos localmente fiel, ou seja, deve corresponder a como o modelo se comporta na vizinhança da instância que está sendo prevista. … características que são globalmente importantes podem não ser importantes no contexto local e vice-versa.”
- Modelo-agnóstico. O método de explicação deve tratar o modelo original de aprendizado de máquina como uma caixa preta e, assim, ser capaz de explicar qualquer modelo existente e futuro.
- Perspectiva global. Em vez de explicar apenas uma previsão, várias explicações representativas do modelo geral devem ser apresentadas ao usuário.
Para garantir que as explicações do LIME sejam compreensíveis e aumentem a confiança, os autores validaram a utilidade do LIME “através de novos experimentos, tanto simulados quanto com seres humanos, em vários cenários que exigem confiança: decidir se devemos confiar em uma previsão, escolher entre modelos, melhorar um classificador não confiável e identificar por que um classificador não deve ser confiável”.
