Senior AI Platform Engineer- LLM & Agents (m/w/d)

<p>NeuraPlox baut eine AI-Agent-Plattform für Enterprise-Kunden aus Banken, Versicherungen und Pharma. Unsere Kunden müssen ihre KI-Outputs nicht nur erklären wollen, sondern erklären können: gegenüber Aufsicht, Audit und eigenen Fachbereichen. Deshalb bauen wir explainable AI mit Audit-Lineage, Decision-Provenance und Retrieval, das auch bei Millionen von Vektoren pro Tenant sauber funktioniert.</p><p>Wir sind ein investor-backed Startup mit einem kleinen Team, in dem jede Entscheidung sichtbar Wirkung hat. Als Senior AI Platform Engineer verantwortest du die Agent-Architektur, also den Kern unseres Produkts, und baust das AI-Engineering bei uns entscheidend mit auf.</p><h2>Aufgaben</h2><h3>Was Du bei uns machst</h3><ul><li><p>Eine produktionsreife AI-Agent-Plattform auf Basis von PydanticAI, LiteLLM und Langfuse</p></li><li><p>RAG-Pipelines mit pgvector at scale: Multi-Tenant-Isolation, Index-Rebuild-Strategie, Hybrid Search und Re-Ranking</p></li><li><p>Einen Multi-Tenant-Token-Quota-Service und Eval-Frameworks pro Tenant</p></li><li><p>MCP-Tool-Integration (Model Context Protocol) als fester Bestandteil der Architektur</p></li><li><p>Lückenlose Auditierbarkeit von Prompt bis Output, damit Entscheidungen für Fachbereich und Aufsicht nachvollziehbar sind</p></li><li><p>Architektur-Entscheidungen, die auch im Bank-, Versicherungs- und Pharma-Umfeld bestehen</p></li></ul><h3>Wie wir arbeiten</h3><ul><li><p><strong>Eval-driven:</strong> Jeder Agent-Change läuft durch eine Eval-Suite, bevor er live geht.</p></li><li><p><strong>ADRs:</strong> Relevante Architektur-Entscheidungen werden dokumentiert, nicht im Slack-Thread vergraben.</p></li><li><p><strong>Gemessen statt geraten:</strong> LLM-Calls sind ab Tag eins in Langfuse sichtbar, inklusive Kosten und Latenz.</p></li><li><p><strong>Empirisch:</strong> Re-Ranking, pgvector-Sizing und Retrieval-Qualität entscheiden wir auf Basis von Daten.</p></li><li><p><strong>Kurze Wege:</strong> Direkter Draht zum Founding-Team, keine Projektmanagement-Ebene dazwischen.</p></li></ul><h2>Qualifikation</h2><h3>Was wir suchen</h3><ul><li><p>5+ Jahre Software-Engineering mit Python in Produktion</p></li><li><p>Erfahrung mit LLMs in Produktion: Tokens, Latenz, Kosten und Evals sind für dich Alltag</p></li><li><p>RAG-Systeme, die du selbst gebaut und betrieben hast, inklusive Retrieval-Tuning und Re-Ranking</p></li><li><p>Ein Agent-Framework wie LangGraph, PydanticAI oder vergleichbar im Produktiveinsatz</p></li><li><p>Sehr gutes Deutsch und gutes Englisch, da du mit Enterprise-Kunden im DACH-Raum arbeitest</p></li></ul><p><strong>Ein Plus, aber kein Muss:</strong></p><ul><li><p>Erfahrung mit LiteLLM, Langfuse oder MCP. Was du noch nicht kennst, lernst du bei uns schnell.</p></li><li><p>pgvector-Sizing bei großen Datenmengen</p></li><li><p>Kubernetes-Grundlagen</p></li><li><p>Erfahrung mit regulatorischen Anforderungen wie EU AI Act, DORA, BaFin/MaRisk oder GxP</p></li></ul><h2>Was wir bieten</h2><ul><li><p><strong>Verantwortung ab Tag eins:</strong> Du prägst die Agent-Architektur, statt nur Prompts zu tunen, ohne Management-Layer über dir</p></li><li><p><strong>Direkter Draht:</strong> Du berichtest an Christoph Knöll (Founder/CEO) und