Zugangsvoraussetzungen

Der Zugang ist für KIT-Mitarbeitende, KIT-Studierende und Personen mit Gäste-und-Partner-Konto möglich. Die Nutzung der KI-Toolbox ist ausschließlich zu dienstlichen oder studiums-bezogenen Zwecken zulässig!

Der Zugang zur KI-Toolbox setzt den erfolgreichen Abschluss des Selbstlernkurs "Verstehen und Anwenden von generativer KI" auf KOALA (Mitarbeiter) bzw. der ILIAS-Lernplattform (Studierende) voraus. Nach Abschluss der Schulung und erneutem Login in die KI-Toolbox wird der Zugang automatisch freigeschaltet.

Für die Nutzung der externen Modelle steht allen Nutzern seit dem 1. Juli 2026 ein monatliches Standardbudget i.H.v. $5 zur Verfügung. Den aktuellen Verbrauch Ihres Budgets und weitere Nutzungsinformationen können Sie in der Anwendung MyLiteLLM (unter https://my.litellm.scc.kit.edu) selbst abfragen. Weitere Informationen und wie Sie als KIT-Mitarbeiter/in bei Bedarf ein individuelles Budget festlegen können, finden Sie weiter unten im Abschnitt "Budget".

Bitte beachten Sie vor der Nutzung unbedingt die Nutzungsbedingungen und die Datenschutzerklärung der KI-Toolbox.

Schnellstart

1. Bitte absolvieren Sie zunächst den Selbstlernkurs "Verstehen und Anwenden von generativer KI" auf KOALA (Mitarbeitende) bzw. auf der ILIAS-Lernplattform (Studierende). Der erfolgreiche Abschluss des Kurses ist zwingende Zugangsvoraussetzung zur KI-Toolbox.
2. Rufen Sie in Ihrem Browser https://ki-toolbox.scc.kit.edu auf, klicken Sie auf "Mit KIT-Account fortfahren" und melden Sie sich an.
3. Akzeptieren Sie ggf. die Datenschutzerklärung und Nutzungsbedingungen (nur bei der ersten Anmeldung)
4. Erstellen Sie ggf. einen neuen Chatverlauf indem Sie in der linken Seitenleiste auf "Neuer Chat" klicken.
5. Ändern Sie ggf. das gewünschte KI-Modell, indem Sie oben auf der Seite das Dropdown für die Modellauswahl öffnen.
6. Geben Sie Ihre Anfrage im mittleren Bereich der Seite ein ("Wie kann ich Ihnen heute helfen?") und drücken Sie Enter zum Absenden.

KI-Modelle

Aktuell stehen in der KI-Toolbox verschiedene KI-Modelle zu Auswahl zur Verfügung. Die lokalen Modelle werden direkt am SCC gehostet und die Datenverarbeitung findet ausschließlich am KIT statt. Externe Modelle (GPT, Gemini, Claude) werden aus der Cloud in europäischen Rechenzentren bezogen. Für die OpenAI-Modelle wird die Azure-Cloud (Microsoft) genutzt, für die Modelle von Google und Anthropic setzen wir die Google Cloud Platform ein.

Standard-Modelle

Für Nutzende mit wenig Erfahrung im Umgang mit KI-Modellen stellen wir zwei Modelle mit optimiertem System Prompt zur Verfügung:

• Wir empfehlen zunächst das Modell "Standard-Lokal" auszuprobieren. Dieses nutzt das lokale Modell "Mistral Small 4" und kann daher auch für den Umgang mit personenbezogenen Daten eingesetzt werden.
• Für komplexere Aufgaben ohne personenbezogene Daten kann das Modell "Standard-Extern" genutzt werden, dieses nutzt das OpenAI-Modell "GPT-5 mini" aus der Azure Cloud.

Liste der verfügbaren Modelle

Kosten sind in US-Dollar für 1 Million Tokens angegeben und werden nach aktuellem Tageskurs in EUR umgerechnet (aktuell $1 ≈ 0,85 €). Basis sind die offizielle Preisinformationen von Azure und Google. Bei der Berechnung der Anfrage wird nach Eingabetokens (in = Ihre Eingabe + Kontext, z.B. Dateien) und Ausgabetokens (out = Ausgabe der KI) unterschieden. Tokens sind Wörter oder Wortteile, als Orientierungshilfe gilt 100 Tokens ≈ 75 Wörter.

Hinweise:
(1) Bei einer Kontextlänge von mehr als 272.000 Tokens werden bei GPT-5.4 und 5.5 höhere Preise angesetzt: GPT-5.4: $5.50 in, $24.75 out; GPT-5.5: $11 in, $49.50 out
(2) Claude Fable 5 ist derzeit aufgrund von US-Bestimmungen nicht verfügbar.

Caching

Durch Caching der Modell-Eingaben lassen sich zum einen höhere Geschwindigkeiten erzählen, zum anderen kann Caching zu deutlichen Kosteneinsparungen führen. Kleine Nachrichten (je nach Modell bis zu einer Größe zwischen 1024 und 4096 Tokens) werden i.d.R. nie gecacht.

Bei den GPT- und Gemini-Modellen wird das Caching von Azure bzw. Google ohne Preisaufschlag durchgeführt und ist daher standardmäßig aktiviert. Die Cachehaltezeit variiert zwischen 5 Minuten und einer Stunde. Die Preisreduktion für Cache Hits beträgt i.d.R. 10% der Input-Kosten (z.B. GPT-5.5: $0.55 statt $5.50).

Bei Anfragen an die Claude-Modelle werden entsprechende "Cache-Control" Anweisungen durch LiteLLM in die Nachrichten injiziert, dadurch werden die Eingaben für 5 Minuten gecacht. Das ist momentan nicht konfigurierbar. Anthropic berechnet für das Cache Writes ein zusätzlicher Preisaufschlag von 25% für die Input-Tokens an. Für einen erfolgreichen Cacheabruf (Cache Hit) fallen dafür nur 10% der Kosten an.

Websuche

Damit das Modell auf aktuelle Informationen zugreifen kann, können Suchen im Internet ausgeführt werden und die Ergebnisse dieser Suche durch die Modelle verarbeitet werden. Sie können im Prompt auch explizit eine Websuche anweisen. Bitte beachten Sie, dass dazu die Websuche als Werkzeug in der Prompteingabe aktiviert sein muss (standardmäßig aktiviert). Sofern das KI-Modell eine Websuche ausführen möchte, wird auf SearXNG zurückgegriffen, welches am KIT gehostet wird. SearXNG gibt die Suchanfrage an verschiedene Suchmaschinen im Internet weiter und führt diese zu einem Ergebnis zusammen, welches dann vom Modell verarbeite werden kann. Dabei sind keine Rückschlüsse auf die Person möglich, die die Suche veranlasst hat.

Spracherkennung

Um Sprache in Text umzuwandeln (Speech-to-Text, STT) wird in der KI-Toolbox das Modell "Whisper-Large-v3" von OpenAI genutzt, welches am KIT gehostet wird. Für die Spracheingabe stehen in der KI-Toolbox die Funktion "Diktieren" oder "Sprachmodus" zur Verfügung, welche unter der Prompteingabe auf der rechten Seite zu finden sind.

Sprachgenerierung

Zur Erzeugung von Sprache (Text-to-Speech, TTS) wird das lokale Modell "Voxtral-4b" von Mistral AI eingesetzt. Das Modell läuft ausschließlich am KIT. Die Sprachgenerierung wird in der KI-Toolbox genutzt, wenn Sie eine Antwort eines KI-Modells über das Lautsprechersymbol vorlesen lassen.

Bildgenerierung

Als Modell zur Generierung von Bildern kommt das lokale Model "Flux.2 Dev" von Black Forest Labs zum Einsatz. Flux 2 Dev läuft vollständig lokal am KIT. Bitte beachten Sie die Lizenzbestimmungen bei der Weiternutzung der generierten Bilder (insb. nur nicht-kommerzielle Verwendung). Für die Bildgenerierung können Sie ein beliebiges lokales Modell nutzen und im Prompt die Erstellung eines Bilds anweisen. Das gewählte Modell erstellt eine ausführliche Bildbeschreibung, die an das Bildgenerierungsmodell weitergeben wird. Bitte beachten Sie, dass dazu die Bildgenerierung im Chat aktiviert sein muss (bei lokalen Modellen standardmäßig eingeschaltet).

Budget

Durch die Nutzung der externen Modelle (GPT, Gemini, Claude) entstehen in unterschiedlicher Höhe Kosten. Die auflaufenden Kosten werden pro Nutzer berechnet und können über MyLiteLLM eingesehen werden. Die Kosten pro Modell können Sie der obigen Modelltabelle entnehmen. Bitte beachten Sie, dass für die Nutzung der externen Modelle aktuell ein maximales Budget i.H.v. 5 USD pro Nutzer pro Monat zur Verfügung steht. Diese Kosten werden zur Zeit nicht weitergegeben, sondern zentral getragen. Bei Überschreitung des Budgets wird eine entsprechende Fehlermeldung bei der Nutzung eines externen Modells angezeigt (“ExceededBudget: End User=xy1234 ∂does-not-exist.kit edu over budget. Spend=xx.xxxxxxx, Budget=5.0”). Das Budget wird am Monatsanfang um 0 Uhr (UTC) zurückgesetzt.

Bei einem höheren Nutzungsbedarf können KIT-Mitarbeitende in MyLiteLLM ein individuelles Budget festlegen. Die Anpassung des Budgets darf nur nach vorheriger Genehmigung des Budgetverantwortlichen erfolgen. Eine eigenmächtige Änderung des Budgets ohne Absprache mit der Instituts- oder DE-Leitung ist untersagt! Bei einer vorgenommenen Budgetänderungen wird als zusätzliche Bestätigung eine E-Mail an den Nutzer selbst und an die verantwortliche Leitung gesendet. Bei individuell angepassten Budgets wird das SCC am Ende des Monats die Kostenstelle des Nutzers mit dem tatsächlich entstandenen Kosten in voller Höhe belasten. Dazu berechnen wir den Dollar-Kurs nach aktuellen Kurs in Euro um (z.Zt. 1 US-Dollar ca. 0,80 - 0,90 Euro).

Die Anpassung des Budgets ist dauerhaft, d.h. sie wirkt sich nicht nur auf den laufenden Monat, sondern auch auf die Folgemonate aus. Aktuell ist eine Anpassung bis zu einer Höhe von $100 möglich. Falls Sie einen höheren Bedarf haben, kontaktieren Sie uns bitte.

Die Nutzung der lokalen Modelle wird nicht auf das Budget angerechnet und ist auch bei Überschreitung des Budgets weiterhin möglich.

API-Key

Die Nutzung der KI-Modelle ist auch über eine API möglich (OpenAI-kompatible Schnittstelle). Ihren persönlichen API-Key können Sie sich in der KI-Toolbox über "Einstellungen" (unten links über das Menü) -> "Konten" -> "API-Key" (ggf. auf "Anzeigen" klicken) selbst generieren. Bitte behandeln Sie Ihren API-Key wie ein persönliches Passwort und schützen Sie diesen vor unbefugtem Zugriff. Wenn Sie den Verdacht haben, dass Ihr API-Key kompromittiert sein könnte, generieren Sie ihn über die KI-Toolbox umgehend neu.

Für externe Tools ist als Basis-URL für die API i.d.R. "https://ki-toolbox.scc.kit.edu/api" anzugeben. Die Modell-ID können Sie der Tabelle oben entnehmen oder indem Sie in der KI-Toolbox mit dem Mauszeiger über der Modellauswahl den Tooltip anzeigen. Eine Übersicht über die verfügbaren Endpoints der API finden Sie unter https://ki-toolbox.scc.kit.edu/docs.

Weitere Informationen zur Nutzung der API finden Sie in der Anleitung des ZML.

Service Konten

Für die Nutzung der KI-Toolbox in Chatbots oder anderen Drittanwendungen, die einen dauerhaften API-Zugang benötigen, empfehlen wir die Nutzung eines nicht-personenbezogenen API-Keys über einen KIT-Service-Konto. Einen Service-Konto können Sie am SCC-ServiceDesk oder über das Ticketsystem beantragen. Bitte nennen Sie in der Beschreibung des Services die „Nutzung der KI-Toolbox API“ o.ä., damit das Konto für die KI-Toolbox freigeschaltet werden kann. Bereits bestehende Service-Konten können ebenfalls über den ServiceDesk bzw. das Ticketsystem freigeschaltet werden. Nach Freischaltung können Sie über die KI-Toolbox mit dem Service-Konto einen API-Key generieren.

Gruppen

Mit Hilfe von Gruppen können verschiedene Artefakte (Modelle, Wissen, Notizen, Prompts etc.) für mehrere Personen freigegeben werden, um eine gemeinsame Bearbeitung oder Nutzung zu ermöglichen. Sie können Gruppen nicht direkt in der KI-Toolbox anlegen, allerdings ist eine Gruppensynchronisation über die SCC-Gruppenverwaltung mit der Anmeldung möglich. Konkret werden Gruppen aus der SCC-Gruppenverwaltung mit dem Name in der Form "<OE>-ki-toolbox-<name>" bei der Anmeldung einer Person, die Mitglied dieser Gruppe ist, automatisch in der KI-Toolbox angelegt und die Gruppenmitgliedschaft dieser Person aktualisiert (d.h. neue Gruppen werden angelegt, eine neue Gruppenmitgliedschaft wird hinzugefügt und nicht mehr vorhandene Gruppenmitgliedschaften entfernt).

Hardware und Software

Der Softwarestack der KI-Toolbox besteht ausschließlich aus Open-Source-Software und läuft in einer Kubernetes-Umgebung auf 4 Nodes (DELL XE7745) am SCC. Jeder Node ist mit 8 NVIDIA RTX6000 PRO Blackwell GPU-Karten ausgestattet. Als Frontend kommt Open WebUI zum Einsatz, zum Load Balancing, Kosten-Management und Logging wird LiteLLM eingesetzt. Die lokalen KI-Modelle werden mit vLLM und LMCache betrieben und aus dem lokalen S3 am SCC geladen.