Guia do Model Card

Model cards são um importante framework de documentação e transparência para modelos de machine learning. Acreditamos que os model cards têm o potencial de servir como objetos de fronteira, um único artefato acessível a usuários com diferentes contextos e objetivos ao interagir com os model cards – incluindo desenvolvedores, estudantes, formuladores de políticas, eticistas, pessoas impactadas por modelos de machine learning e outras partes interessadas. Reconhecemos que desenvolver um único artefato para atender a propósitos tão multifacetados é difícil e requer uma consideração cuidadosa dos usuários e casos de uso potenciais. Nosso objetivo, como parte da equipe de ciência da Hugging Face ao longo dos últimos meses, tem sido ajudar a operacionalizar os model cards em direção a essa visão, levando em conta esses desafios, tanto na Hugging Face quanto na comunidade de ML em geral.

Para trabalhar em direção a esse objetivo, é importante reconhecer os esforços dedicados e bem pensados que ajudaram os model cards a se tornarem o que são hoje, desde a adoção de model cards como prática padrão em muitas grandes organizações até o desenvolvimento de ferramentas sofisticadas para hospedagem e geração de model cards. Desde que os model cards foram propostos por Mitchell et al. (2018), o cenário de documentação de machine learning se expandiu e evoluiu. Uma infinidade de ferramentas e modelos de documentação para dados, modelos e sistemas de ML foram propostos e desenvolvidos – refletindo o trabalho incrível de centenas de pesquisadores, membros da comunidade impactada, defensores e outras partes interessadas. Discussões importantes sobre a relação entre a documentação de ML e as teorias de mudança em IA responsável criaram discussões contínuas e, por vezes, divergências. Também reconhecemos os desafios enfrentados pelos model cards, que de certa forma espelham os desafios enfrentados pela documentação de machine learning e pelos esforços de IA responsável de forma mais geral, e vemos oportunidades à frente para ajudar a moldar positivamente tanto os model cards quanto os ecossistemas nos quais eles funcionam nos meses e anos vindouros.

Nosso trabalho apresenta uma visão de onde acreditamos que os model cards estão atualmente e para onde podem se direcionar no futuro, na Hugging Face e além. Este trabalho é um “instantâneo” do estado atual dos model cards, fundamentado em uma análise de cenário das diversas formas pelas quais artefatos de documentação de ML foram instanciados. Ele representa uma perspectiva entre várias sobre tanto o estado atual quanto visões mais aspiracionais dos model cards. Neste post de blog, resumimos nosso trabalho, incluindo uma discussão sobre o cenário mais amplo e em crescimento de ferramentas de documentação de ML, os diversos públicos e opiniões sobre model cards, e possíveis novos modelos de conteúdo para model cards. Também exploramos e desenvolvemos model cards para modelos de machine learning no contexto do Hugging Face Hub, utilizando os recursos do Hub para criar, discutir e disseminar colaborativamente model cards para modelos de ML.

Com o lançamento deste Guia, apresentamos vários novos recursos e conectamos trabalhos anteriores sobre Model Cards:

1) Um modelo de Model Card atualizado, lançado no arquivo modelcard_template.md da biblioteca huggingface_hub, reunindo o trabalho com Model Cards na academia e em toda a indústria.

2) Um Modelo de Cartão de Modelo Anotado, que detalha como preencher o cartão.

3) Uma Model Card Creator Tool, para facilitar a criação de cards sem a necessidade de programação e para ajudar as equipes a compartilhar o trabalho das diferentes seções.

4) Um Estudo de Usuário sobre o uso de Model Cards na Hugging Face

5) Uma Análise de Panorama e Revisão da Literatura sobre o estado da arte na documentação de modelos.

Incluímos também um Apêndice com mais detalhes deste trabalho.

---

Cite como: Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub