Skip to main content

​
LiteLLM Proxy Embeddings konfigurieren

Novaplan AI kann Embeddings über denselben LiteLLM Proxy erzeugen, der auch Sprachmodelle bereitstellt. Ihre Administration betreibt den Proxy und hinterlegt dort die eigentlichen Modellanbieter-Schlüssel. Novaplan unterstützt Sie bei der Anbindung.

​
Voraussetzung

Ein erreichbarer LiteLLM Proxy muss mindestens ein Embedding-Modell in seiner model_list anbieten. Die Anleitung für LiteLLM-Sprachmodelle erläutert den allgemeinen Zugang. Die LiteLLM-Dokumentation zu Embeddings nennt unterstützte Modelle.

​
Erforderliche Angaben

host.docker.internal funktioniert nur in einer dafür eingerichteten Containerumgebung. localhost bezeichnet den Host, von dem Novaplan AI die Anfrage sendet, und ist nicht automatisch der Proxy-Server.

​
Optionale Angaben

  • Model Friendly Name: Anzeigename; ohne Eintrag wird der Modellname verwendet.
  • Dimensions: Vektordimensionen des Modells, mit denen Novaplan AI die Vektorsammlung anlegt.
  • Is Multimodal: Nur für Modelle mit Bild- und Texteinbettung aktivieren; standardmäßig ausgeschaltet.
Ein Wechsel des Embedding-Modells oder seiner Dimensionen nach der Indexierung erfordert eine erneute Indexierung. Stimmen Sie diesen Schritt mit Novaplan ab. Bei Verbindungsfehlern prüfen Sie Proxy-Status und Endpoint, bei Authentifizierungsfehlern den Proxy-Schlüssel und bei Model not found den model_name in der Proxy-Konfiguration. Novaplan Support hilft bei der Einrichtung.