scope7-4480 - meloki
Einleitung
meloki ist eine lokale KI-Instanz auf der scope7-4480, die speziell für Kunden entwickelt wurde und einfachen Zugriff auf leistungsstarke KI-Lösungen bietet. Diese Dokumentation beschreibt die Funktionalität des meloki AdminPACK.
Die meloki-Software und die KI-Lösungen sind auf dem primären NVMe-Laufwerk installiert. Ein zusätzliches 1TB SSD-Laufwerk ist verfügbar. Es wird für Backups verwendet, Sie können es aber auch zur Speicherung von Eingabe- oder Ausgabedaten (RAG-Dateien, Audiodateien oder Ihre eigenen Modelle) nutzen.
Dieses Dokument geht davon aus, dass Sie Ihr meloki-System bereits mit unserem Quick Start Guides initial eingerichtet haben.
Auf meloki zugreifen
Sie können auf das System entweder über SSH oder über die Weboberfläche zugreifen.
meloki benötigt einen Internetzugang, um Open-Source-Software oder LLM-Modelle herunterzuladen. Die eingehende Web-Benutzeroberfläche für meloki oder die WebUIs der KI-Lösungen sowie die SSH-Dienste sind nur für die Verwaltung im LAN vorgesehen und müssen durch eine Firewall vom WAN blockiert werden.
SSH-Zugriff
Verwenden Sie die folgenden SSH-Befehle, um eine Verbindung herzustellen:
- Für per DHCP zugewiesene IP:
ssh meloki@<dhcp-zugewiesene-ip>
- Für statische IP:
ssh meloki@172.20.10.1
Das Passwort lautet secudos.
Zugriff über Weboberfläche
Die WebUI von meloki ist nur über HTTPS erreichbar.
Bei der Ersteinrichtung:
https://DHCP-IP/
Nach der Einrichtung:
https://DHCP-IP/meloki
Oder verwenden Sie Ihren FQDN mit Ihrem eigenen SSL-Zertifikat.
meloki Login
Das Admin-Panel erfordert einen authentifizierten Benutzer.
Melden Sie sich mit meloki als Benutzername und meloki als Passwort an.
meloki Admin-Panel
Das meloki Admin-Panel ist Ihre Übersicht über die aktuell laufenden KI Lösungen und bietet System-Einstellungen, Updates und Backups an.
Sie haben Einsicht auf die Betriebsystem-Version sowie den aktuell laufenden NIVIDA-Treiber für Ihre Grafikkarte.
Über die System Auslastungs Informationen können Sie die aktuelle Auslastung (CPU, Memory und Disk) des Systems einsehen. Auch für die Grafikkarte bieten wir die Information über (GPU und VRAM) an.
Über die Sprach-Auswahl können Sie zwischen Deutsch und Englisch wählen.
Die OpenSource KI Lösungen haben wir in Sektionen verpackt.
Klicken Sie auf eine Sektion um sie zu öffnen.
Panel Sektionen
Als Beispiel Chat & RAG
Hier kommt OpenWebUI mit Ollama als OpenSource KI Lösung zum Einsatz.
OpenWebUI ist eine benutzerfreundliche Weboberfläche für die Interaktion mit verschiedenen lokalen großen Sprachmodellen, die eine anpassbare und ansprechende Benutzererfahrung bietet.
Ollama ist ein Tool, das die einfache und schnelle Ausführung von großen Sprachmodellen wie Gemma3 auf der lokalen meloki Appliance möglicht.
Wir haben OpenWebUI bereits für sie technisch mit Ollama verbunden, sodass sie direkt loslegen können.
Der aktuelle Status informiert Sie ob die Anwendung gerade Läuft oder Gestoppt ist.
Es gibt weitere Situationen wie Vorbereitung, Download von Standard-Modellen, Backup läuft oder auch Prüfe Status.
In der Sektion Steuerung können Sie die Anwendung deaktivieren oder aktivieren
Sofern Updates gefunden wurden, meldet diese Spalte dies mit Verfügbar.
Dann können Sie über die Kategorie Wartung über den Schalter Aktualisieren die OpenSource Lösung auf den neuesten Stand aktualisieren.
Mit Logs anzeigen haben Sie die Möglichkeit, die Logs der jeweiligen Lösungen live einzusehen.
Sie können hier zwischen den zum Einsatz kommenden Lösungen die Log Einsicht wählen:
meloki-openwebui-1, meloki-ollama-1 und meloki-nginx-1
Mit einem Klick auf Backup erstellen starten Sie ein Backup aller OpenSource Lösungen in dieser Sektion.
Der Status springt dann auf Backup läuft.
Der Backup Prozess sichert nur die Nutzerdaten, nicht die Software selbst.
Mit einem Klick auf Wiederherstellen öffnet sich ein Fenster, dass Ihnen alle bereits erstellen Backups anzeigt.
Öffnen Sie die Backup Liste mit einem Klick auf Snapshot auswählen
Nachdem Sie in der Liste ein Backup ausgewählt haben, bestätigen Sie die Aktion bitte mit Wiederherstellen.
Der Status springt dann auf Wiederherstellung
Berücksichtigen Sie, dass solange ein Backup oder eine Wiederherstellung läuft, die OpenSource Lösungen für die Anwender nicht zur Verfügung stehen.
Bei der Wiederherstellung haben Sie die Möglichkeit, die Wiederherstellung auf einzelne OpenSource Lösungen zu reduzieren.
Herruntergeladene Modelle hiermit sind Ihre lokalen Ollama Modelle gemeint.
Benutzerdaten, Chat und Wissensdatenbank hiermit sind alle Nutzerdaten aus OpenWebUI gemeint.
Sind Sie sich unsicher, was wiederhergestellt werden sollte, raten wir dazu immer beides zusammen wiederherzustellen.
Einstellungen
Sie können die Einstellungen über den Einstellungen Schalter öffnen, den Sie oben rechts finden.
Updates
Updates sind aufgeteilt in System-Updates und Anwendungs-Updates.
Sie können manuell nach Updates suchen über Nach Updates suchen.
Sofern Updates gefunden werden, wird hier angezeigt.
System-Updates können Sie hier über den Schalter Jetzt 67 Updates installieren herrunterladen und installieren.
Anwendungs-Updates können Sie nur im Admin-Panel in der jeweiligen Sektion über den Schalter Aktualisieren herrunterladen und installieren.
Mit dem Schalter für Automatische Updates können Sie für Sytem oder Anwendungs-Updates automatisch Täglich oder Wöchentlich suchen lassen.
Hierbei wird nur automatisch gesucht, es finden keine Downloads oder Installationen statt.
Netzwerk
Im Netzwerk Bereich werden Ihnen erneut die Einstellungen angeboten, die Sie bereits bei der Erst-Einrichtung vornehmen konnten.
Hier können Sie jederzeit Gerätename, FQDN/IP, Docker Standart-Netzwerk und das interne Docker-Subnetz umkonfigurieren. Klicken Sie zum Speichern auf Einstellungen speichern
Berücksichtigen Sie, dass eine Änderung der Netzwerk-Konfiguration zu einer kurzen Nicht-Erreichbarkeit der Anwendungen führt.
System
Hier können Sie die Zeitzone an Ihre Bedürfnisse anpassen.
Klicken Sie zum Speichern auf Einstellungen speichern.
SSL
Hier können Sie Ihre eigenen SSL-Zertifikate hochladen.
Die SSL-Zertifikatskette ist optional.
Nach der Auswahl klicken Sie bitte auf Zertifikate hochladen.
Sicherheit
Hier haben Sie die Möglichkeit Ihr Passwort zu ändern.
Geben Sie Ihr Aktuelles Passwort ein sowie zwei mal das neue Passwort.
Zum Speichern klicken Sie im Anschluss auf Passwort ändern
Es wird drigend empfohlen, das initiale Passwort aus der Einrichtung nach dem ersten Login zu ändern
Backup & Wiederherstellung
Über Automatische Backups können Sie hier Täglich oder Wöchentlich Backups erstellen.
Im Backup Speicher Ort ist aktuell nur eine Option verfügbar /data/backup/.
Dabei handelt es sich um die seperate 1TB SSD in Ihrer Meloki.
Weitere Backup Speicherorte sind geplant!
Tragen Sie unter Backup Passwort Ihr persönliches geheimes Passwort ein.
Bitte merken Sie sich Ihr Passwort gut. Es kann erneut benötigt werden, wenn die System-Festplatte neuinstalliert werden muss
Speichern Sie die Eingaben im Anschluss mit dem Schalter Einstellungen speichern.