CURADOR DE IA

No Grupo Stefanini, acreditamos no poder da colaboração. Co-criamos soluções inovadoras em parceria com nossos clientes, combinando tecnologia de ponta, inteligência artificial e a criatividade humana. Estamos na vanguarda da resolução de problemas de negócios, proporcionando impacto real em escala global.Ao se juntar à Stefanini, você se torna parte de uma jornada global de transformação. Estamos empenhados em criar impacto positivo não apenas nos negócios, mas também na vida de nossos colaboradores. Se você procura uma oportunidade de crescimento profissional em uma empresa que valoriza inovação, respeito, autonomia e parceria, você encontra aqui!Junte-se a nós e seja parte da mudança!LI#REMOTELI#RL1

Responsabilidades e atribuições

Garantir que soluções baseadas em inteligência artificial entreguem respostas:Corretas e relevantes

Seguras e éticas

Consistentes e reproduzíveis

Adequadas ao contexto do negócio

Alinhadas às políticas da empresa

Com boa experiência para o usuário

Com baixo risco de: Alucinação

Viés

Exposição de dados.Principais atribuições1. Avaliação de respostas de IAAnalisar respostas geradas por diferentes modelos de IA

Avaliar: Precisão

Clareza

Completude

Relevância

Aderência ao contexto

Identificar: Alucinações

Contradições

Vieses

Informações sem evidência

Verificar se a IA compreendeu corretamente a intenção do usuário

Avaliar a aderência às instruções, políticas e critérios de negócio

Classificar respostas conforme critérios previamente definidos

Comparar diferentes: Modelos

Prompts

Versões

Configurações.2. Criação de critérios e rubricas de avaliaçãoDefinir métricas de qualidade para cada caso de uso

Criar rubricas com critérios objetivos e escalas de pontuação

Estabelecer exemplos de respostas: Boas

Aceitáveis

Inadequadas

Criar conjuntos de testes, casos-limite e cenários adversariais

Padronizar o processo de avaliação entre os curadores

Garantir consistência e rastreabilidade das avaliações.3. Curadoria de dados e exemplosSelecionar e organizar exemplos para: Treinamento

Avaliação

Melhoria de prompts

Revisar bases de conhecimento utilizadas pela IA

Identificar dados: Desatualizados

Duplicados

Incompletos

Conflitantes

Garantir qualidade, representatividade e diversidade dos dados

Remover informações sensíveis ou inadequadas

Criar conjuntos de dados de validação e benchmark

Manter o histórico das alterações e decisões de curadoria.4. Engenharia e melhoria de promptsCriar, revisar e otimizar prompts

Definir: Instruções de sistema

Contextos

Restrições

Formatos de resposta

Testar técnicas como: Uso de exemplos

Decomposição de tarefas

Classificação

Validação

Avaliar o impacto das mudanças nos prompts

Reduzir ambiguidades e comportamentos inconsistentes

Trabalhar em conjunto com áreas de: Produto

Desenvolvimento

Negócio

Criar padrões reutilizáveis de prompts e templates.5. Testes de segurança e comportamentoRealizar testes de: Prompt injection

Jailbreak

Manipulação da IA

Avaliar a exposição indevida de dados confidenciais

Testar respostas para temas sensíveis

Identificar riscos de: Viés

Discriminação

Tratamento desigual

Avaliar se a IA recusa adequadamente solicitações impróprias

Criar testes de regressão

Apoiar processos de red teaming de IA.6. Monitoramento de qualidade em produçãoAcompanhar o comportamento da IA após a implantação

Analisar feedbacks, reclamações e avaliações dos usuários

Identificar degradação de desempenho

Monitorar indicadores de: Erro

Abandono

Retrabalho

Escalonamento humano

Investigar incidentes relacionados às respostas da IA

Recomendar ajustes em: Prompts

Modelos

Dados

Fluxos

Manter processos de melhoria contínua.7. Governança e documentaçãoDocumentar critérios, decisões, testes e resultados

Elaborar relatórios de qualidade dos modelos e soluções

Manter catálogo de: Prompts

Versões

Casos de uso

Registrar limitações conhecidas da IA

Apoiar políticas de uso responsável da inteligência artificial

Contribuir para auditorias internas e externas

Garantir a rastreabilidade das alterações realizadas.8. Liderança técnica e orientaçãoOrientar curadores, analistas e prompt engineers menos experientes

Revisar avaliações realizadas por outros profissionais

Definir padrões e boas práticas

Conduzir workshops de avaliação de IA

Apoiar decisões sobre: Modelos

Fornecedores

Arquiteturas

Atuar como referência técnica para as áreas de: Produto

Tecnologia

Jurídico

Compliance

Transformar problemas subjetivos de qualidade em critérios mensuráveis.

Requisitos e qualificações

Competências técnicas desejáveisExperiência com modelos de linguagem e IA generativa

Conhecimento em prompt engineering

Experiência com avaliação humana e automática de modelos

Criação de datasets de teste

Conhecimento de métricas de qualidade de IA

Noções de machine learning e processamento de linguagem natural

Familiaridade com: RAG

Embeddings

Agentes

Bases de conhecimento

Conhecimento de técnicas de segurança para LLMs

Capacidade de análise de dados

Conhecimentos em SQL e, preferencialmente, Python

Experiência com ferramentas de: Anotação

Avaliação

Observabilidade de IA

Conhecimento de versionamento e documentação

Noções de LGPD, privacidade e uso responsável de IA.O profissional não precisa necessariamente ser cientista de dados ou desenvolvedor avançado. Entretanto, para uma posição sênior, deve compreender tecnicamente o funcionamento dos sistemas e dialogar com as equipes de engenharia.

Informações adicionais

🍛 Vale-alimentação ou vale-refeição

👨🏼‍🎓 Desconto em cursos, universidades e instituições de idiomas

📚 Academia Stefanini — plataforma com cursos on-line, gratuitos, atualizados e com certificado

🗣 Mentoring

💉 Clube de vantagens para consultas e exames

🏥 Assistência médica

🦷 Assistência odontológica

💰 Clube de vantagens e descontos nos melhores estabelecimentos

🛫 Clube de viagens

🐶 Convênio para pets.