Ein RAG-Chatbot mit pgvector und OpenAI GPT-4o, integriert in einen bestehenden Shopify-Storefront. 38 % der Support-Tickets schließen sich automatisch; die Kundenzufriedenheit sank nicht.
Hintergrund
Der Kunde ist ein ungarischer E-Commerce-Händler im Segment Gartengeräte und Haushaltswaren, mit rund 3200 Artikeln und B2C-Fokus. Das 3-köpfige Support-Team bearbeitet täglich 80–120 Tickets: am häufigsten sind Fragen zu Produktspezifikationen („passt das zu meiner X-Maschine?“), Versandstatus und Produktempfehlungen.
Der Kunde stellte fest, dass das Support-Volumen linear mit dem Umsatz wuchs. Statt neue Mitarbeitende einzustellen, wollte man eine Self-Service-Lösung. Die bestehende FAQ-Seite und die Shopify-Chatbot-Integration lieferten bei Produktspezifikationen keine sinnvollen Antworten.
Herausforderung
Chatbots für Produktspezifikationen gehören zu den schwierigeren KI-Anwendungsfällen. Der Katalog ist dynamisch (wöchentlich 30–50 neue Produkte, über 100 Preisaktualisierungen), und die Fragen sind kontextabhängig: „passt diese Scheibe zu meinem X-Mäher“ erfordert ein gemeinsames Verständnis des Katalogtexts, der Kompatibilitätsmatrix und des Setups des Nutzers.
Zweite Herausforderung: die Kontrolle von Halluzinationen. Wenn der Chatbot bei einem nicht passenden Produkt „ja, das passt“ sagt, führt das zu Retouren und unzufriedenen Kunden. Die ausdrückliche Vorgabe des Kunden: Jede Chatbot-Antwort braucht einen Quellenlink, und Unsicherheit muss an einen Menschen weitergeleitet werden.
Vorgehen
Wir bauten eine RAG-Architektur (Retrieval-Augmented Generation) mit pgvector auf Supabase. Die Retrieval-Pipeline nutzt 4 Chunk-Typen pro Produkt: 1) Name + übergeordnete Kategorie, 2) Beschreibung, 3) technische Spezifikation, 4) Kompatibilitätsinformationen (sofern vorhanden).
Das Chatbot-LLM ist OpenAI GPT-4o mit einem expliziten System-Prompt: „nur antworten, wenn es in den Quellen steht; sonst an einen Menschen weiterleiten“. Das Eval-Set umfasst 80 reale, manuell gelabelte Ticket-Historien, und der Regressionstest läuft bei jeder Prompt-Änderung.
Lösung
Der Chatbot ist als Next.js-Widget in den Shopify-Storefront eingebettet (der Kunde wollte keine Shopify-native Integration, da diese stärker eingeschränkt ist). Die Shopify Storefront API liefert dem Bot Echtzeit-Produktdaten (Preis, Bestand), sodass Empfehlungen immer aktuell sind.
Die Pipeline: Nutzeranfrage → Embedding (OpenAI text-embedding-3-small) → pgvector-Top-k-Retrieval (k=8) → Kontext für GPT-4o → Antwortgenerierung mit Quellenlinks. Jede Interaktion wird in PostHog protokolliert (anonymisiert), und Sentry erfasst Backend-Fehler.
Ein n8n-Workflow synchronisiert den Shopify-Katalog täglich in den pgvector-Index: Embedding neuer Produkte, Re-Embedding aktualisierter Beschreibungen, Entfernen gelöschter Produkte. Der Index hinkt dem Katalog 2–3 Stunden hinterher — ein akzeptabler Kompromiss zwischen Echtzeitabfragen und Embedding-Kosten.
Technische Entscheidungen
Wir haben OpenAI text-embedding-3-small (gegenüber -large) gewählt, weil: 1) es 5-mal günstiger und schneller ist, 2) es im ungarischsprachigen Retrieval-Eval-Set 92 % Recall@8 erreicht — ausreichend für den Anwendungsfall, 3) mehrfaches Retrieval (k=8) die Präzisionslücke ausgleicht.
pgvector vs. Pinecone: pgvector gewann, weil das Kundenteam Postgres bereits anderswo einsetzte und die selbst gehostete Option die DSGVO-Konformität vereinfacht. 3200 Produkte × 4 Chunks × 1536 Dimensionen passen problemlos in die kostenlose Supabase-Stufe, aber wir betreiben die Produktion auf einer Hot-Tier.
GPT-4o vs. Claude Sonnet: Wir haben beide für diesen Anwendungsfall erneut evaluiert. GPT-4o war bei der präzisen ungarischsprachigen Quellenwiedergabe besser (95 % Präzision gegenüber 87 % bei Claude im Eval-Set). Claude war bei längeren konversationellen Antworten besser, aber für diesen Fall zählt die Quellenpräzision mehr.
Stolpersteine
Erste Hürde: Der ungarische Katalogtext ist ungleichmäßig. Manche Produkte haben Beschreibungen von 2 Sätzen, andere von 2 Seiten. Wir fügten einen „Content-Qualitäts“-Score pro Produkt hinzu, und bei Produkten mit geringem Content leitet der Bot proaktiv an einen Menschen weiter.
Zweitens: Halluzinations-Grenzfälle. Beim Eval-Set mit 80 Tickets erreichten wir 95 % Präzision, bei einer blinden Stichprobe von 200 Produktions-Tickets nur 87 %. Der Unterschied: Nutzer in der Produktion formulieren Fragen deutlich vielfältiger. Wir iterierten den System-Prompt und fügten einen „Confidence-Schwellenwert“ hinzu — fällt die Top-1-Kosinusähnlichkeit unter 0,7, erfolgt automatisch eine Weiterleitung an einen Menschen.
Drittens: Kostenüberwachung. In den ersten Wochen lag der Token-Verbrauch 40 % über der Erwartung — der System-Prompt wurde bei jedem Retrieval mitgesendet, was den Kontext aufblähte. Wir führten Prompt-Caching ein, und die monatlichen LLM-Kosten sanken um 28 %.
Ergebnisse
Vier Monate nach Go-live: 38 % der Support-Tickets erreichen keinen Menschen mehr (der Bot schließt sie ab, oder der Nutzer erhält die Information und eröffnet gar kein Ticket). Der Support-CSAT sank nicht (4,3/5 Ausgangswert, 4,3/5 heute).
Die durchschnittliche Chatbot-Antwortzeit liegt bei 2,4 s (Median), 4,8 s (p95). Bei unsicheren Fragen (Confidence < 0,7) erfolgt die Weiterleitung an einen Menschen innerhalb von 9 Minuten. Das Support-Team gewann eine Vollzeitstelle für den Fokus auf Inbound-Sales (das Segment der Anfragenden vor dem Kauf), was einen zusätzlichen monatlichen Umsatz von 800.000–1,2 Mio. HUF generiert.
Stack
Überraschend war nicht die Genauigkeit des Chatbots, sondern wie schnell das Team gelernt hat, das Analytics-Dashboard zu nutzen. Wir sehen jetzt zum ersten Mal, was Kunden im Katalog nicht verstehen.
Head of Support — E-Commerce
Das Zitat steht stellvertretend für typisches Kundenfeedback; es handelt sich nicht um ein wörtliches Zitat.
Weitere
Wir haben die manuelle Lead-Bearbeitung und die E-Mail-basierten Kundenprozesse durch einen Next.js-Webshop auf einem WooCommerce-Katalog und einen n8n + OpenAI Lead-Klassifikator ersetzt. Der Vertrieb gewann pro Person täglich 30–40 Minuten Verwaltungszeit zurück.
Details lesenWir haben die Landingpage eines 12-köpfigen ungarischen B2B-SaaS-Startups mit Next.js, statischer Generierung, hreflang HU/EN und PostHog-A/B-Tests neu aufgebaut. Die Free-Trial-Conversion stieg in 6 Wochen von 2,1 % auf 3,4 %.
Details lesenDie Case Studies basieren auf realen Projekten und wurden auf Wunsch unserer Kunden anonymisiert. Die Zahlen sind Näherungswerte; konkrete Geschäftsdaten bleiben vertraulich.