Qa/Red Teaming Expert

Há 6 dias

Porto Alegre, Brasil Innodata Inc. Tempo inteiro

Job Description:

We are seeking highly analytical and detail-oriented professionals with hands-on experience in Red Teaming, Prompt Evaluation , and AI/LLM Quality Assurance . The ideal candidate will help us rigorously test and evaluate AI-generated content to identify vulnerabilities, assess risks, and ensure compliance with safety, ethical, and quality standards.


Job Title :- Red Teaming, Prompt Evaluation, or AI/LLM Quality Assurance Expert


Key Responsibilities:

  • Conduct Red Teaming exercises to identify adversarial, harmful, or unsafe outputs from large language models (LLMs).
  • Evaluate and stress-test AI prompts across multiple domains (e.G., finance, healthcare, security) to uncover potential failure modes.
  • Develop and apply test cases to assess accuracy, bias, toxicity, hallucinations , and misuse potential in AI-generated responses.
  • Collaborate with data scientists, safety researchers, and prompt engineers to report risks and suggest mitigations.
  • Perform manual QA and content validation across model versions, ensuring factual consistency, coherence, and guideline adherence.
  • Create evaluation frameworks and scoring rubrics for prompt performance and safety compliance.
  • Document findings, edge cases, and vulnerability reports with high clarity and structure.


Requirements:

  • Proven experience in AI red teaming , LLM safety testing, or adversarial prompt design.
  • Familiarity with prompt engineering , NLP tasks, and ethical considerations in generative AI.
  • Strong background in Quality Assurance , content review, or test case development for AI/ML systems.
  • Understanding of LLM behaviour's, failure modes, and model evaluation metrics.
  • Excellent critical thinking, pattern recognition, and analytical writing skills.
  • Ability to work independently, follow detailed evaluation protocols, and meet tight deadlines.


Preferred Qualifications:

  • Prior work with teams like Open AI, Anthropic, Google DeepMind, or other LLM safety initiatives.
  • Experience in risk assessment, red team security testing, or AI policy & governance.

Background in linguistics, psychology, or computational ethics is a plus.


Kindly Attempt the below assessment to proceed further with your application.


  • Ai Quality Assurance Specialist

    1 dia atrás

    Porto Alegre, Brasil Bebeeredteaming Tempo inteiro

    Job OverviewWe're seeking analytical and detail-oriented professionals with experience in Red Teaming, Prompt Evaluation, and AI/LLM Quality Assurance.The ideal candidate will help us test and evaluate AI-generated content to identify vulnerabilities and ensure compliance with safety, ethical, and quality standards.Key Responsibilities:Conduct Red Teaming...

  • Analista de QA Pleno Pagbrasil

    2 semanas atrás

    Porto Alegre, Brasil Red Pill RH Tempo inteiro

    Nós da **Red Pill RH** junto ao seu cliente **PagBrasil** estão contratando **QA Analyst II** para compor o time de tecnologia. A vaga é **Presencial** em **Porto Alegre.** **Atividades**: - Levantamento de cenários de testes, atuando como intermediador entre as áreas de QA e desenvolvimento - Elaboração e execução de casos de testes funcionais e...

  • Analista de QA Pleno Pagbrasil

    1 semana atrás

    Porto Alegre, Brasil Red Pill RH Tempo inteiro

    Nós da **Red Pill RH** junto ao seu cliente **PagBrasil** estão contratando **QA Analyst II** para compor o time de tecnologia. A vaga é **Presencial** em **Porto Alegre.****Atividades**:- Levantamento de cenários de testes, atuando como intermediador entre as áreas de QA edesenvolvimento- Elaboração e execução de casos de testes funcionais e não...

  • Analista de QA Pagbrasil

    2 semanas atrás

    Porto Alegre, Brasil Recrutify Tempo inteiro

    Nós da **Red Pill RH** junto ao seu cliente **PagBrasil** estão contratando **QA Analyst II** para compor o time de tecnologia. A vaga é **Presencial** em **Porto Alegre.****Atividades**:- Levantamento de cenários de testes, atuando como intermediador entre as áreas de QA edesenvolvimento- Elaboração e execução de casos de testes funcionais e não...

  • Gerente Administrativo Financeiro Presencial Porto Alegre

    Há 5 dias

    Porto Alegre, Brasil RED Tempo inteiro

    Overview A Recrutify é uma consultoria especializada em Recrutamento e Seleção, conectando empresas aos melhores talentos do mercado com agilidade, precisão e foco em resultados. Junto com nosso parceiro, empresa do segmento Farmacêutico, estamos à procura de um(a) Gerente Administrativo Financeiro. Responsável pelo planejamento, organização,...

  • Gerente Administrativo Financeiro Presencial Porto Alegre

    Há 5 dias

    Porto Alegre, Brasil RED Tempo inteiro

    OverviewA Recrutify é uma consultoria especializada em Recrutamento e Seleção, conectando empresas aos melhores talentos do mercado com agilidade, precisão e foco em resultados. Junto com nosso parceiro, empresa do segmento Farmacêutico, estamos à procura de um(a) Gerente Administrativo Financeiro. Responsável pelo planejamento, organização,...

  • Líder Técnico de Teste QA

    2 semanas atrás

    Porto Alegre, Brasil Prime Control Tempo inteiro

    **Você já conhece a #PrimeControl?**A Prime Control é uma consultoria de tecnologia engajada em proteger a vida digital das empresas e das pessoas.Somos a empresa que mais cresceu no Brasil na categoria de pequenas e médias empresas nos últimos dois anos. Acreditamos que investir em pessoas e tecnologia é a chave para o sucesso da organização.Ficou...

  • Sales Growth Expert

    2 semanas atrás

    Porto Alegre, Brasil Bebeedigital Tempo inteiro

    Optimize Application Performance with Digital Experience TestingWe are seeking a highly motivated individual to drive revenue growth through new customer acquisition and strategic expansion within existing accounts.This role plays a critical part in our growth by identifying high-potential prospects, managing full-cycle sales engagements, and uncovering new...

  • Senior Biodiversity Expert

    2 semanas atrás

    Porto Alegre, Brasil Erm Tempo inteiro

    Join or sign in to find your next jobJoin to apply for the Senior Biodiversity Expert role at ERM1 week ago Be among the first 25 applicantsJoin to apply for the Senior Biodiversity Expert role at ERMERM is looking for a Senior Biodiversity Consultant in São Paulo, Rio de Janeiro, Belo Horizonte, Porto Alegre or Salvador.Key responsabilities:Lead...

  • Sales Growth Expert

    2 semanas atrás

    Porto Alegre, Brasil beBeeDigital Tempo inteiro

    Optimize Application Performance with Digital Experience Testing We are seeking a highly motivated individual to drive revenue growth through new customer acquisition and strategic expansion within existing accounts. This role plays a critical part in our growth by identifying high-potential prospects, managing full-cycle sales engagements, and uncovering...