KI im eigenen Haus. DSGVO-konform.

Ein lokaler Server ist die technisch einfachste Variante, weil keine Daten an Dritte fließen und damit weder Auftragsverarbeitung noch Drittlandübermittlung entstehen. Konform wird er trotzdem erst durch Zugriffskontrolle, Protokollierung, Löschkonzept und dokumentierte technische und organisatorische Maßnahmen. Die Hardware allein ist Voraussetzung, aber kein Nachweis.

Rund 70 GB allein für die Gewichte, denn FP8 belegt ein Byte je Parameter. Dazu kommt der KV-Cache, der mit Kontextlänge und Batch-Größe wächst. Plane deshalb 90 bis 100 GB ein. In 4 Bit belegt dasselbe Modell rund 43 GB und passt auf eine 48-GB-Karte, solange der Kontext klein bleibt.

Bei Batch Size 1 die Bandbreite. Für jedes einzelne Token müssen die kompletten Modellgewichte einmal durch den Speicher. Die Obergrenze ist Bandbreite geteilt durch Modellgröße, mal etwa 70 Prozent erreichbarer Effizienz. 20 GB Gewichte an 120 GB/s ergeben so höchstens gut vier Tokens pro Sekunde.

Ein schlüsselfertiger Einstieg mit 96 GB VRAM und 8 TB Speicher liegt bei 18.000 Euro netto. Die Erweiterung auf 192 GB VRAM kostet rund 10.000 Euro zusätzlich. Managed Betrieb beginnt bei 750 Euro im Monat. Auf vorhandener Hardware startet ein Proof of Concept ab etwa 10.000 Euro.

Ja. Wir bewerten bestehende Systeme in der Analyse und beziehen sie ein, wo es sinnvoll ist. Nicht jedes Vorhaben braucht neue Hardware. Ein Proof of Concept auf vorhandenen Servern kostet ab etwa 10.000 Euro für Einbau, Netzwerk und Software und zeigt belastbar, ob der Ansatz trägt.