Nachdem wir uns im letzten Jahr ein Haus gekauft haben, sind wir aktuell viel mit der Renovierung und dem Umbau beschäftigt. Unsere Immobilie ist in einem guten und sehr gepflegten Zustand und wurde 1989 gebaut.
Unser Wunsch war es, ein Bad zu renovieren, im ersten Stock die Böden, die Türen und Wände neu zu machen, die alte Ölheizung auszutauschen und eine PV-Anlage zu installieren. Ein paar Dinge haben wir selbst gemacht, aber für Bad, Heizung und PV-Anlage war klar, dass wir jemanden beauftragen müssen.
Die Analyse der Angebote, die Auswahl der Handwerker und Fachfirmen und die Beurteilung der Empfehlungen ist nicht einfach, wenn man keinerlei handwerklichen Hintergrund hat oder auch niemanden kennt, der sich beruflich damit auskennt.
Ich habe die Planung und Beauftragung des Bads, der Heizung und der Solaranlage mit HIlfe von LLMs gemacht. Das klappt in vielen Fällen wunderbar und ich möchte hier ein paar Tipps festhalten.
Auswahl der Modelle
Für analytische Aufgaben, die viel Kontext verarbeiten und womöglich mehrere Zwischenschritte benötigen, um zu einem Ergebnis zu kommen (wie der Beurteilung von Angeboten oder der Planung von Anlagen) bietet es sich an, ein Reasoning Modell zu wählen.
In meiner Erfahrung können die Modelle so besser mit der Komplexität und Vielschichtigkeit umgehen. Ich habe die besten Ergebnisse mit Gemini Pro oder Claude Opus erzielt. Die Intelligenz dieser Modelle wird hier offenbar.
Eine aktuelle Übersicht über die Intelligenz der Modelle findet man bei Artificial Analysis.
Websuche
Auch wenn in das Training der Modelle bereits viele Informationen eingehen, ist der Knowledge Cutoff immer ein Problem. Damit das Modell auch wirklich alle Informationen hat, muss man diese entweder selbst bereitstellen, indem man entsprechende Dokumente hochlädt oder das Modell so aufrufen, dass es Zugriff auf eine Websuche hat.
Dokumente als Kontext
Manche LLM Anbieter ermöglichen es, Dokumente einem Prompt anzufügen, indem man sie hochlädt. Wenn das nicht geht oder aber der Typ des Dokuments nicht unterstützt wird, gibt es Tools wie markitdown die viele Dateien in Markdown konvertieren. Dieses Markdown kann man direkt in den Prompt einfügen. Man kann markitdown auch via uvx installieren: uvx.sh/markitdown.
Kompression von PDF Dateien
Selbst wenn man Dokumente hochladen kann, gibt es häufig ein Upload-Limit. Das war für mich häufig bei PDF Dateien ein Problem. Damit das weniger problematisch ist, kann man die PDF Datei verkleinern mit Tools wie I Love PDF. Ich kann nicht garantieren, dass der Anbieter die PDFs nicht auswertet oder verarbeitet. Deshalb würde ich hier nur Dinge hochladen, die keine sensitiven Daten enthalten.
Prompt Engineering
Auch wenn die Modelle immer besser mit unvollständigen oder ohne viel Bedacht geschriebenen Prompts umgehen können, steigert es doch die Qualtität der Ergebnisse, wenn man sich kurz Gedanken macht, welchen Kontext man dem Modell geben muss, damit man eine gute Antwort erhält.
Wenn ich eine PV-Anlage kaufen will, dann sollte man für die Beurteilung des Angebots kurz beschreiben, was die Gegebenheiten am Haus sind, welche Ziele man verfolgt, was man mit dem Anbieter besprochen hat oder welche Besonderheiten am Angebot zu bedenken sind.
Dabei muss man sich bei den Formulierungen nicht so viel Mühe geben, aber es ist wichtig, dass das Modell weiß, in welcher Situation es sich befindet.
Vergleich mehrerer Modelle
Ich versuche immer den gleichen Prompt an mehrere Modelle zu geben, um die Ergebnisse zu vergleichen. Das Unterschiede zwischen den Ausgaben der verschiedenen Modelle helfen mir, die Prompts zu verfeinern und im Gespräch mit mehreren Modellen zu besseren Ergebnissen zu kommen.
Man kann die Ergebnisse von einem Modell auch in ein anderes Modell geben und um Kritik und genaue Analyse fragen. Gerade, wenn man darauf pocht, dass das Modell sehr kritisch ist, erhält man eine Vielzahl von genauen Beobachtungen.
Recherche in Foren und auf Reddit
Zusätzlich zu den Aussagen der Modelle kann man immer noch auf Reddit und in Foren recherchieren. Nur Google Modelle haben offiziell Zugriff auf Reddit und dort findet man abhängig vom Anwendungsfall sehr gute Tipps und Informationen. Es lohnt sich also auch ein wenig selbst zu recherchieren und sich einzulesen.
Ergebnisse kritisch hinterfragen
Bisher haben die Modelle bei mir keine großen Fehler gemacht. Dennoch kommt es hin und wieder vor, dass ein Modell sich selbst verwirrt oder etwas falsch versteht.
Dafür ist es wichtig, dass man sich im Detail durchliest, was das Modell empfiehlt und wieso. Das tolle an den Chat Modellen ist, dass man nachfragen kann, wie das Modell zu gewissen Schlussfolgerungen kommt und sich die Gedankengänge erklären lassen kann.
Hin und wieder hilft es, sich das Reasoning durchzulesen, um zu verstehen, wieso das Modell tut, was es tut. Man kann das Modell dann auch im Prompt darauf hinweisen, dass es gewisse Dinge bedenkt.