Wenn Computer Sprache verstehen: Sie arbeiten mit moderner KI, entwickeln Anwendungen wie Chatbots oder Übersetzer und verstehen, wie Maschinen Texte analysieren und generieren.
Die Veranstaltung setzt bei den klassischen Verfahren des NLP an und behält sie über das ganze Semester als Vergleichsbasis bei. Darauf aufbauend geht es um Deep Learning für NLP, um die Transformer-Architektur und das Pre-Training großer Sprachmodelle, um deren Anpassung und Nutzung und schließlich um den Bau vollständiger Systeme — und, mindestens ebenso wichtig, um deren belastbare Evaluation. Zu jedem Themenblock gibt es praktische Übungen.
ANLP ist eine Master-Veranstaltung, die auch für engagierte Bachelor-Studierende freigegeben ist und dort die Veranstaltung Natural Language Processing ersetzt. Ein vorheriger NLP-Kurs ist damit keine Voraussetzung: Zu Semesterbeginn gibt es einen Schnelldurchgang durch die klassischen Verfahren, darüber hinaus fehlende Grundlagen sind gegebenenfalls eigenständig zu erarbeiten. Erwartet wird die Bereitschaft, sich auf Tempo und Anspruch einer Master-Veranstaltung einzulassen.
Empfohlene Vorkenntnisse
Wenn einzelne Grundlagen fehlen, muss das kein Problem sein, aber es wird vorausgesetzt, dass die Lücken selbständig geschlossen werden.
- Grundlagen in NLP (z. B. Bachelor-Kurs Natural Language Processing - Reguläre Ausdrücke, N-Grams, Probabilistic Language Modeling, Vector Space Model)
- Grundlagen in Machine Learning (grundsätzliche Methodik, Neuronale Netze, Arbeit mit Trainings- und Testdaten, Evaluation, …)
- Programmieren in Python (Jupyter Lab, Frameworks wie Pandas, NumPy, PyTorch, …)
Für Bachelor-Studierende sind Vorkenntnisse in NLP keine Voraussetzung: Zu Semesterbeginn gibt es einen Schnelldurchgang durch die klassischen Verfahren, darüber hinaus fehlende Grundlagen sind eigenständig zu erarbeiten. Grundlagen in Machine Learning und Deep Learning sollten aber vorhanden sein — oder die Bereitschaft, sich damit vertieft auseinanderzusetzen.
Inhalte
- Klassische Verfahren des NLP als Vergleichsbasis: Textrepräsentation, N-Gramm-Sprachmodelle, Klassifikation und Evaluation
- Deep Learning für Natural Language Processing: neuronale Sprachmodelle, Word Embeddings, Sequenzmodelle und Attention
- Transformer-Architektur und Pre-Training großer Sprachmodelle (Large Language Models)
- Anpassung von Sprachmodellen: Fine-Tuning, parameter-effizientes Training, Instruction Tuning und Alignment
- Nutzung von Sprachmodellen: Inferenz und Dekodierung, Prompting und In-Context Learning
- Aufbau von Systemen mit Sprachmodellen: Retrieval-Augmented Generation und werkzeugnutzende Agenten
- Evaluation von Systemen mit Sprachmodellen: eigene Testdaten, Metriken jenseits der Accuracy, Fehleranalyse
- Ethik, Sicherheit und Regulierung beim Einsatz von NLP- und KI-Systemen
- Aktuelle Entwicklungen des Feldes
- Praktische Übungen zu jedem Themenblock sowie ein über das Semester laufendes Projekt in Gruppen
Lernziele/Kompetenzen
Die Studierenden sind in der Lage,
- die Grundlagen von Deep Learning für Natural Language Processing anzuwenden,
- die Funktionsweise und die Grenzen von Sprachmodellen zu erklären,
- ein System auf Basis von Sprachmodellen für eine konkrete Aufgabe zu entwickeln,
- dessen Ergebnisse gegen klassische Referenzverfahren belastbar zu evaluieren,
- typische Fehlermodi von Sprachmodellen zu erkennen und ihre Ursachen zu analysieren,
- aktuelle wissenschaftliche Veröffentlichungen aus dem Bereich NLP zu lesen.
Prüfungsleistung
Die Note setzt sich aus zwei Projektabgaben zusammen, die dieselbe selbst gewählte Aufgabe in zwei Stufen bearbeiten:
- Projektabgabe 1 zur Semestermitte (40 %) — Umsetzung der Aufgabe mit klassischen Verfahren des NLP als Referenz mit belastbaren Vergleichswerten.
- Projektabgabe 2 zum Semesterende (60 %) — Umsetzung derselben Aufgabe mit einem auf Sprachmodellen basierenden System und dessen Bewertung gegen diese Referenz.
Beide Abgaben sind Gruppenleistungen und werden anhand derselben Bestandteile bewertet: Kurzpräsentation des Vorhabens, reproduzierbar lauffähiger Code, methodische Qualität der Umsetzung, schriftliche Dokumentation und Demonstration im Kurs.
Aktuelles
Upcoming lectures: ANLP, VRP and KDE
In the upcoming winter term, we offer three elective courses: Advanced Natural Language Processing (ANLP, Master), the Virtual Reality Projekt (VRP, …