PING hat 2025 einen KI-Server angeschafft. Er heißt cogito.ping.de und befindet sich im Rechnerraum des Gebäudes in der Joseph-von-Fraunhofer-Strasse.
Technische Daten
- CPU AMD Threadripper Pro 5955WX 16 cores 32 threads 4.5Ghz, boxed
- Mainboard Asus Pro WS WRX80E Sage SE Wifi
- 2x RAM Corsair Dominator Platinum RGB White UDIMM 64GB Kit DDR4-3600 CL18-19-19-39 (128GB gesamt)
GPU NVIDIA GeForce RTX 3090 Founders Edition 24 GB
GPU Zotac Gaming GeForce RTX 3090 Trinity OC 24 GB mit Noctua Lüftern
- Fractal Design Define 7 XL Black TG Dark Tint schallgedämmt Big-Tower
Enermax LiqTech TR4 II 280 CPU-Wasserkühlung
- Antec Neo Eco Gold Modular NE1300G m 1300W ATX 3.0 Netzteil
- 4x SSD Lexar NM790 1TB M.2 NVMe PCIe 4.0
- SSD Samsung EVO 850 500GB S-ATA
- SSD Samsung PM951 512GB M.2 NVMe
- 4x Noctua NF-P12 redux-1700 PWM 120mm Lüfter
siehe auch https://geizhals.de/wishlists/3870524
Zu dem Mainboard gehört auch eine PCIe 4.0 x16 Karte um vier PCIe 4.0 x4 NVMe SSDs anzuschließen. Dort befinden sich die 4 Lexar SSDs.
Durch die 2 GPUs stehen derzeit 48GB schnelles VRAM zur Verfügung.
Der Hauptspeicher ist auf 8 Module verteilt und nutzt so die 8 Speicherkanäle der AMD Threadripper Pro Architektur.
Software
Auf dem Rechner läuft derzeit Ubuntu 24.04 LTS.
Die 4 Lexar NMVe SSDs bilden ein RAID0 das unter /opt eingehängt ist.
Mit nvtop kann der Status der GPUs angezeigt werden.
Über das Script /usr/local/bin/set-gpu-power.sh sind die GPUs aktuell auf 280W gedrosselt. Das führt zu nur sehr geringen Leistungseinbußen.
Ollama mit Open-WebUI
Für Inferenz läuft i.d.R ein Ollama Server. Als WebUI gibt es dafür ein open-webui.
Für das Umwandeln von Office Dokumenten (zum Beispiel ODT) läuft Apache Tika.
Diese Dienste laufen alle in Docker Containern. Das Docker compose file liegt unter /opt/ollama/
Auf buero.ping.de läuft ein nginx der open-webui unter https://buero.ping.de erreichbar macht. Für den Login nutzt bitte unser Single Sign-On.
Im Model-Selektor von Open-WebUI erscheint ein grüner Punkt neben den LLMs, die derzeit im GPU Speicher sind.
Der Ollama Server ist auch aus dem Internet erreichbar. Details dazu findet ihr unter Ollama-Brave-Leo-AI
Das Script /usr/local/bin/ollama-nogpu.sh ist dafür da den Ollam Container neu zu starten falls dieser mal wieder die GPUs nicht erkennt.
ComfyUI
ComfyUI (primär für KI-Bildergenerierung) ist noch nicht fertig installiert, es liegt unter /opt/comfyui und kann bei Bedarf gestartet werden. Vorher sollte ollama gestoppt werden, weil nicht genügend GPU VRAM für beide Dienste gleichzeitig vorhanden ist.