Zum Inhalt springen
← Alle Projekte

Recruiting AI – Multi-Agent HR Demo

Eine Multi-Agent-Anwendung, die Lebensläufe gegen ein Anforderungsprofil abgleicht – ohne Ranking, ohne Score, ohne Empfehlung. Gebaut entlang von EU AI Act, DSGVO und AGG, mit dem Menschen als Entscheider.

Status
Live deployed
Rolle
Konzeption & Umsetzung
Jahr
Aktualisiert
Kontext
Studienprojekt
ReactFastAPIOpenAI Structured OutputsDocker
Recruiting-Workspace: Kandidatenübersicht mit drei Bewerbern und der Zahl erfüllter Anforderungen, ausdrücklich ohne Rangfolge. Daneben das Kandidatenprofil mit Qualifikationscheckliste, die zu jeder Anforderung die Fundstelle im Lebenslauf nennt.

Bedrohungsmodell

Wo die Anwendung angreifbar ist, was dagegen hält und was offen bleibt. Kennungen nach der OWASP Top 10 for LLM Applications 2025.

  1. Lebenslauf mit eingeschleusten Anweisungen

    LLM01
    Maßnahme
    Dokument in nicht fälschbare Marker gefasst und als Daten ausgezeichnet, Regeln nach dem Dokument wiederholt, striktes Antwortschema
    Restrisiko
    Das Modell bleibt beeinflussbar. Eine Injektion kann aber keine Anforderung hinzufügen, streichen oder umschreiben.
  2. Personenbezogene Daten im API-Aufruf

    LLM02
    Maßnahme
    Demografische Zeilen in Python entfernt, Fotos und PDF-Binärdaten verworfen, eine einzige Call-Site für OpenAI
    Restrisiko
    Die Regex fasst beschriftete Felder, verfehlt aber Freitext und Abkürzungen wie „geb.“.
  3. Manipulierte oder fehlerhafte Modellantwort

    LLM05
    Maßnahme
    Striktes JSON-Schema; der Code übernimmt nur Status aus einer festen Liste und die Begründung, Anforderungen kommen aus der eigenen Liste, fehlende Antworten werden „offen“, Begründungen als Text statt HTML angezeigt
    Restrisiko
    Die Begründung bleibt Freitext des Modells und kann irreführen, wird aber nur angezeigt, nie ausgeführt.
  4. Automatisierte Entscheidung über Menschen

    LLM06
    Maßnahme
    Agenten extrahieren und vergleichen nur: kein Score-Feld, keine Rangfolge, keine Empfehlung
    Restrisiko
    Gering. Die Entscheidung liegt bei der Person, die prüft.
  5. Erfundene oder falsch zugeordnete Belege

    LLM09
    Maßnahme
    Jedes Ergebnis muss seine Fundstelle nennen, temperature 0, Audit-Log je Aufruf
    Restrisiko
    Eine Fundstelle kann falsch zugeordnet sein und muss geprüft werden.

Die Einschränkung war der Entwurf

KI im Recruiting ist der Standardfall für ein Hochrisiko-System nach dem EU AI Act, und gleichzeitig der Bereich, in dem automatisches Ranking am verlockendsten ist. Genau das macht diese Anwendung nicht: Die Agenten extrahieren und vergleichen Informationen – sie bewerten keine Menschen.

Das ist keine Formulierung in der Doku, sondern eine Eigenschaft des Codes: In den JSON-Schemas, mit denen das Modell antworten muss, existiert kein Feld für einen Score. Das Modell kann strukturell keine Rangfolge zurückgeben, auch wenn man es darum bäte. Eine Regel, die man nicht umgehen kann, ist mehr wert als eine, an die sich der Prompt halten soll.

Der Ablauf

Die Anwendung führt durch einen Screening-Workspace in sechs Schritten, jeder von einem eigenen Agenten getragen – im Kern reine Funktionen, die strukturierte Daten zurückgeben:

  • Stellenprofil – zieht messbare Anforderungen aus der Anzeige und markiert jede als Muss oder Kann.
  • Bewerbungen – parst Lebensläufe (Text oder PDF-Upload) zu strukturierten Kandidatendaten.
  • Kandidaten – vergleicht jeden Kandidaten mit jeder Anforderung: erfüllt, teilweise, offen oder nicht erfüllt.
  • Informationslücken – listet auf, wo der Lebenslauf eine Anforderung schlicht nicht beantwortet.
  • Rückfragen – formuliert neutrale Nachfragen und einen E-Mail-Entwurf dazu.
  • Audit-Log – protokolliert jede Agentenaktion mit Zeitstempel.

Schritte 4 bis 6 haben überhaupt keine LLM-Implementierung – Rückfragen, E-Mail-Entwürfe und Lückenanalyse laufen rein lokal und verlassen die Maschine nie.

Der Ablauf in der Live-Demo: Stellenanzeige einfügen und in Muss- und Kann-Anforderungen zerlegen, drei Demo-Lebensläufe laden, Gesamtanalyse starten. Die Kandidatenübersicht zählt erfüllte Anforderungen ohne Rangfolge, das Profil nennt zu jeder Anforderung die Fundstelle im Lebenslauf. Danach Rückfragen und Audit-Log. Wartezeiten auf das Modell sind gekürzt.

Datenfluss

Datenfluss der Recruiting-DemoStellenanzeige und Lebenslauf werden zu Markdown normalisiert, beim Lebenslauf werden demografische Zeilen entfernt. Ein Dispatcher wählt zwischen dem OpenAI-Backend und den regelbasierten Agenten. Beide liefern dieselbe Datenstruktur mit Status und Evidenz, jeder Lauf landet im Audit-Log, die Entscheidung trifft der Mensch.StellenanzeigeText aus dem FormularLebenslaufPDF-Upload oder eingefügter Textclean_markdown()Bilder, Steuerzeichen, Längenlimitclean_markdown()Bilder, Steuerzeichen, Längenlimitredact_demographics()Demografie-Zeilen ersetzt · best effortdispatch.pyLLM verfügbar? Fehler abgefangen?Key vorhandenkein Key / API-FehlerOpenAI-BackendStructured Outputs, stricttemperature 0Regelbasierte AgentenVokabular-Matchingvollständig offlineIdentische Datenstrukturerfüllt · teilweise · offen · nicht erfülltjeweils mit Fundstelle im CVAudit-Log: welches Backend je LaufRecruiter entscheidet
Aufbereitung, Redaction und Dispatch. Beide Backends liefern dieselbe Datenstruktur, deshalb merkt die Oberfläche vom Umschalten nichts – das Audit-Log dagegen schon.

Zwei austauschbare Backends

Die Agenten existieren zweimal und liefern exakt dieselben Datenstrukturen: einmal regelbasiert über ein Vokabular-Matching, das ohne API-Key vollständig offline läuft, und einmal LLM-gestützt über OpenAI, aktiviert sobald ein Key gesetzt ist. Fällt der LLM-Pfad aus, greift der regelbasierte – und zwar pro Kandidat: Ein fehlgeschlagener API-Call ändert nicht, wie die anderen verarbeitet wurden. Das Audit-Log hält fest, was tatsächlich lief, etwa 2x LLM (gpt-4o-mini), 1x regelbasiert.

Warum die Schutzmaßnahmen so aussehen

Demografische Angaben entfernt der Python-Code, bevor etwas an die API geht, und der Prompt weist das Modell zusätzlich an, sie zu ignorieren. Zwei Schichten, weil keine allein trägt.

Sämtlicher OpenAI-Verkehr läuft durch eine einzige Funktion. Wenn man belegen können muss, welche Daten wohin gehen, darf es dafür genau eine Stelle im Code geben. Dazu temperature 0: Nur wenn dieselbe Eingabe dasselbe Ergebnis liefert, bedeutet ein Audit-Trail überhaupt etwas.

Bei Prompt Injection trägt ebenfalls keine Schicht allein: Marker, nachgestellte Regeln und Schema sind einzeln angreifbar, zusammen begrenzen sie den Schaden. Weil die Anforderungsliste aus der Anwendung kommt und nicht aus der Modellantwort, kann eine eingeschleuste Anweisung keine Anforderung hinzufügen, streichen oder umschreiben.

Und jedes Ergebnis muss seine Fundstelle im Lebenslauf nennen. Ein Status ohne Beleg wäre für die Person, die ihn prüfen soll, wertlos.

Grenzen

Die Redaction demografischer Zeilen ist eine Regex-Schicht und deshalb bewusst als „best effort“ dokumentiert, nicht als Compliance-Nachweis. Welche Felder sie fasst und welche durchrutschen, steht mitsamt Testtabelle im Repository. Ein Guardrail, dessen Reichweite man nicht kennt, ist gefährlicher als gar keiner: Er erzeugt Vertrauen, das er nicht deckt.

Auch das regelbasierte Backend ist ehrlich einzuordnen – sein Vokabular ist eine feste Stichwortliste, also Demo-Qualität in der Extraktion, kein zweites produktives Backend. Wer die API vollständig abschalten will, entfernt den Key: Dann verlässt kein einziges Datum die Maschine.