Contratar LLM engineer: o que perguntar

Depois que IA generativa virou assunto de board, todo mundo colocou "LLM" no currículo. A oferta de candidatos explodiu, e a de gente que coloca modelo em produção com critério continua pequena. O vocabulário é o mesmo dos dois lados, então uma entrevista comum não separa quem entrega de quem faz demonstração. As perguntas certas separam em poucos minutos.

O que um LLM engineer sênior entrega

O trabalho vai muito além de chamar uma API e ajustar prompt. Um LLM engineer de nível Sênior forte ou Staff cuida de:

• Avaliação. Conjuntos de teste, métricas de qualidade, LLM como juiz quando cabe e um jeito de saber que uma mudança melhorou o sistema em vez de piorar. Sem avaliação, todo ajuste é palpite.
• RAG bem feito. Estratégia de chunking, escolha e ajuste de retrieval, base vetorial adequada e a medição de se o modelo está de fato usando o contexto certo. RAG ruim é a causa mais comum de resposta errada com aparência de certa.
• Agentes com controle. Orquestração de passos, ferramentas, limites de execução e a decisão de quando o agente para. Agente sem freio vira custo e risco.
• Guardrails. Proteção contra prompt injection, validação de saída e tratamento do que fazer quando o modelo erra.
• Custo e latência. Escolha do modelo por tarefa, cache, e a noção de quando um modelo menor resolve pelo preço de uma fração. Quem já segurou uma conta de inferência pensa nisso desde o começo.
• A decisão de quando não usar IA. O sinal mais forte de senioridade é dizer que, para um problema específico, uma regra simples ou uma busca tradicional resolve melhor que um LLM.

Certificações ajudam, portfólio decide

Existem trilhas úteis: Azure AI Engineer Associate (AI-102), AWS Certified Machine Learning, Google Cloud Professional ML Engineer e a Databricks Generative AI Engineer. Elas mostram fundamento e familiaridade com a plataforma. Nesta área específica, porém, o campo é novo e o que mais pesa é o que a pessoa já colocou em produção: sistemas reais, com avaliação, custo controlado e problemas de alucinação enfrentados. Peça para ver e ouvir sobre projetos reais, além da lista de cursos.

As perguntas que revelam o nível

• Como você sabe que o seu sistema de IA melhorou depois de uma mudança? Se a resposta não fala de avaliação, a pessoa nunca operou nada sério.
• Conte a última vez que um modelo se comportou mal em produção. O que você fez? Quem só treinou offline não tem essa história.
• Como você monta o retrieval de um RAG e como mede se o modelo está usando o contexto certo?
• Quanto custa uma requisição do seu último sistema, e como você reduziu esse custo?
• Descreva um caso em que você concluiu que IA era a ferramenta errada. O que você usou no lugar?
• Como você protege o sistema de prompt injection e de saída inválida?

Red flags

• A pessoa fala de prompt o tempo todo e nunca menciona avaliação.
• O portfólio é uma coleção de demonstrações que funcionam no palco e nunca foram para produção.
• Ninguém mediu custo nem latência, porque "a API resolve".
• A solução para qualquer problema de qualidade é "a gente faz fine-tuning", sem justificativa.
• Trata alucinação como detalhe, sem estratégia de mitigação.

Sênior real e júnior disfarçado

O júnior empolgado quer usar LLM para tudo e mede sucesso pela resposta parecer boa em um exemplo. O sênior mede em escala, pensa em custo desde o desenho e escolhe quando aplicar IA e quando resolver de outro jeito. Essa diferença não aparece no currículo, e um engenheiro de software generalista também não consegue avaliá-la. A validação séria vem de um par técnico que já entregou o mesmo tipo de sistema de IA.

Quando alocar em vez de contratar CLT

Se IA generativa é o core do seu produto e o conhecimento precisa morar dentro de casa para sempre, a contratação direta faz sentido, com a ressalva de que o recrutamento de um perfil escasso leva meses e o turnover é alto. Para um projeto com começo e fim, um piloto que precisa provar valor ou uma frente que precisa acelerar, alocar um LLM engineer sênior entrega a capacidade sem o passivo de uma vaga fixa. Quando o desafio envolve produto de IA ponta a ponta, com vários perfis, um squad dedicado coordena melhor do que contratações isoladas.

Os fatores de custo

O valor acompanha a senioridade e a raridade. LLM engineer Staff com cicatriz de produção é dos perfis mais disputados do momento. O contraste que interessa é com o custo de um sistema de IA que gasta caro em inferência sem entregar qualidade, ou de um piloto que consumiu meses e nunca chegou perto de produção.

Por onde começar

Comece pelo problema de negócio que a IA precisa resolver, e deixe isso definir a senioridade e o formato. Se falta repertório interno para avaliar o nível técnico, trabalhe com quem valida por par da mesma disciplina.

A Cyberwalk dá acesso a LLM e applied AI engineers Staff+, aprovados por par técnico e com garantia de substituição. Para um produto de IA ponta a ponta, veja o modelo de squad dedicado. Descreva o desafio e a gente aponta o especialista certo.