Wir sind Bertrandt.

Ein eigenständiger und internationaler Engineering Dienstleister mit langjähriger Expertise. Mit branchenübergreifendem Know-how und einem ganzheitlichen System- und Produktverständnis schaffen wir technologische Lösungen entlang der gesamten Wertschöpfungskette. Wir beschäftigen uns mit den Trendthemen Digitalisierung, E-Mobilität und Autonome Systeme hauptsächlich für die Branchen Automotive, Luftfahrt, Defence und Maschinenbau und ermöglichen hier konsequent die Entstehung passgenauer Lösungen. Unser Ziel: den technologischen Fortschritt beschleunigen und einen relevanten Beitrag zu einer nachhaltigen Zukunft leisten. Daran arbeiten wir jeden Tag – mit rund 12.000 Mitarbeiterinnen und Mitarbeitern an über 50 Standorten weltweit.

Was Sie erwartet

• Durchführung, Planung und Dokumentation von Tests für Large Language Models (LLMs)
• Analyse, Bewertung und Optimierung der Modellperformance (Qualität, Robustheit, Halluzinationen, Bias, Antwortkonsistenz)
• Integration, Konfiguration und Validierung von KI‑Tools innerhalb einer MCP‑Server‑Architektur
• Unterstützung bei der Anbindung externer Services und Tools (z. B. Search, Retrieval, APIs) an LLM‑basierte Systeme
• Mitarbeit bei der Weiterentwicklung von KI‑Infrastrukturen, Toolchains und Testframeworks
• Enge Zusammenarbeit mit Entwicklung, Architektur, Produktmanagement und Qualitätssicherung
• Dokumentation von Testergebnissen, Schnittstellen und technischen Konzepten
• Identifikation von Optimierungs‑ und Automatisierungspotenzialen im KI‑Umfeld

Was Sie mitbringen

• Mehrjährige praktische Erfahrung im Umgang mit Large Language Models (z. B. GPT‑basierte Modelle, Open‑Source‑LLMs)
• Fundierte Erfahrung in LLM‑Tests, insbesondere in den Bereichen Functional Testing, Prompt‑Evaluation, Regression‑ und Performance‑Tests
• Nachweisliche Erfahrung in der Integration von Tools in MCP‑Server‑Umgebungen oder vergleichbaren KI‑/Agenten‑Architekturen
• Sehr gutes Verständnis von API‑Schnittstellen, Service‑Integration und Client‑Server‑Architekturen
• Erfahrung im Umgang mit KI‑Pipeline‑ oder Orchestrierungs‑Ansätzen
• Kenntnisse in Testmethoden, Qualitätssicherung und technischer Dokumentation im KI‑Kontext
• Sehr gute Programmierkenntnisse (z. B. Python)
• Erfahrung mit Tool‑Anbindung, Plugin‑ oder Agent‑Mechanismen für LLMs
• Idealerweise Kenntnisse in Prompt Engineering, Retrieval‑Augmented Generation (RAG) und Evaluationstechniken
• Sicherer Umgang mit Entwicklungs‑ und Kollaborationstools
• Verständnis moderner KI‑Infrastrukturen (Cloud‑, Container‑ oder Server‑basierte Umgebungen von Vorteil)
• Analytische und strukturierte Arbeitsweise
• Hohe Lösungs‑ und Ergebnisorientierung
• Selbstständiges Arbeiten sowie ausgeprägte Teamfähigkeit
• Technische Neugier und hohe Lernbereitschaft im dynamischen KI‑Umfeld
• Sehr gute Kommunikationsfähigkeit gegenüber technischen und nicht‑technischen Stakeholdern
• Sehr gute Deutschkenntnisse

Bertrandt legt großen Wert auf Gleichbehandlung und Chancengleichheit. Unsere Recruiting-Entscheidungen basieren auf den Erfahrungen und Fähigkeiten der Bewerber*innen. Schwerbehinderte Menschen bzw. gleichgestellte Menschen im Sinne des SGB IX sind herzlich willkommen und werden bei gleicher Eignung bevorzugt eingestellt.

Sie sind interessiert?

Wir freuen uns über Ihre Bewerbung!