Context Engineering: Warum gute Prompts nicht mehr reichen

00:00:00: Willkommen bei KI Kann alles.

00:00:02: Fast!

00:00:03: Dem Podcast von Tiki über künstliche Intelligenz im echten Arbeitsalltag.

00:00:08: Hi und willkommen zu einer neuen Folge, ich habe heute einen speziellen Gast dabei den guten Lukas.

00:00:15: Wir sind auch in Regensburg in der Techbase.

00:00:17: hier haben wir auch schöne kleine Büroräume.

00:00:22: Und ja hi Lukas

00:00:23: Hi

00:00:24: Was sind so zwei Lukas hier?

00:00:26: Ja mal schauen

00:00:27: was dabei rauskomplett, hoffentlich sind das nicht zu viele Lukas Ich

00:00:31: glaube nicht.

00:00:32: Es gibt ja schon recht viele Thomas im Büro.

00:00:34: Stimmt.

00:00:35: Ja, Lukas... Es gibt

00:00:36: sehr viele Namen sehr oft.

00:00:37: Das ist mein letztens Aufzeichen als ich über das Dashboard gegangen bin in Körser oder so wie viele Namen bei uns sich doppeln.

00:00:44: Also die Verteilung bei uns ist irgendwie ein bisschen schief.

00:00:48: Aber freut mich!

00:00:49: Wir haben den Lukas dabei und der Lukas erklärt hoffentlich gleich einen selber bisschen was er denn bei Tiki macht?

00:00:55: Was machst du denn so mit Tiki?

00:00:56: Wie lange bist du auch schon bei Ticky?

00:00:58: Was beschäftigt dich so in deiner Freizeit?

00:01:01: Ja, kann ich gerne von erzählen.

00:01:04: Ich bin jetzt seit fünf Jahren bei Tiki.

00:01:10: Eigentlich ist mein Hintergrund klassisches Ingenieurswesen.

00:01:14: Ich war damals quer eingestiegen in die Softwareentwicklung und ich habe bei TIKI die unterschiedlichsten Sachen so gemacht.

00:01:24: also wir sind... Seit es Tiki gibt ist die Ausrichtung der Firma auf KI Aber wir haben ja da auch eine Wandlung durchgemacht im Laufe der Zeit.

00:01:34: Wir haben KI selbst trainiert, spezielle KI für Industrieanwendungen und auch andere Branchen... ...wir haben aber auch Sachen außen herum um KI gemacht.

00:01:45: also wie betreibt man KI eigentlich in Produktionen?

00:01:49: Wie bringt man KI Anwendung in Produktion und Manage den Lebenszyklus von der KI-Anwendung?

00:01:56: an all diesen Komponenten war ich irgendwo mal beteiligt.

00:02:00: Ich hab KI selbst trainiert, habe ein Data Science ein bisschen gemacht und in diesem DevOps-Teil mitgearbeitet für den Lebenszyklus.

00:02:07: Ich habe Infrastrukturkomponente mitgebaut.

00:02:09: Wir hatten ja eine eigene Plattform, die wir entwickelt haben und der war ich mit beteiligend.

00:02:14: Und auch in dem Projektgeschäft beim Kunden war ich dabei.

00:02:21: ... Anwendungen für Kunden entwickelt.

00:02:26: Und in den letzten paar Monaten hatte ich das Glück, dass ich mich sehr aktiv mit.

00:02:32: wie setzen wir... ... Large-Language-Modelle für das Schreiben von Software ein?

00:02:38: Also welche Methoden können wir verwenden um möglichst effektiv mit Large-langauge-Model den Code zu generieren der dann am Ende auch unseren Ansprüchen an gute Software entspricht?

00:02:53: ... die wir vorher schon hatten und jetzt auch immer noch gelten.

00:02:56: Ja, das ist spannend weil wie du schon meintest irgendwie bei allem... ...bei dem ganzen Wandel dabei?

00:03:00: Ich glaube für viele ist KI so ein Überbegriff aber es gibt ja doch vor allem Phasen durch die irgendwie... ...die ganze Branche geht und jetzt mit LLMs bist du auch wieder in der neuen Phase dabei.

00:03:10: Findest du das cool?

00:03:11: also bist du gerne irgendwie mal vorne mit dabei beim Ausprobieren?

00:03:15: Ja ich fand... Also ich habe mich damals auch dafür entschieden in die KI Richtung zu gehen mich bei Tiki zu bewerben, weil ich damals schon gesehen habe dass KI ein unheimlich mächtiges Werkzeug ist.

00:03:29: Dass für die Zukunft sehr relevant sein wird.

00:03:31: und das war für mich damals das und meine Begeisterung für die Software an sich war was mich damals motiviert hat hierherzukommen.

00:03:41: Ja cool!

00:03:42: Und genau deswegen... Ich bin gerne am Vorderster Front dabei.

00:03:47: Ich finde es mega cool, dass wir uns mit solchen Sachen hier beschäftigen können Und ich finde, es ist auch immer eine Gelegenheit Sachen aktiv mitzugestalten.

00:04:01: Dadurch dass dieses Feld wie arbeitig mit Language-Modellen jetzt noch im Grunde sich gerade erst entwickelt.

00:04:09: was sind die Best Practices dabei?

00:04:12: Dadurch kann man ganz viel selbst herausfinden und...

00:04:17: Noch viel Einfluss nehmen!

00:04:19: Wir implementieren manchmal Sachen bei großen Kunden.

00:04:22: Wenn man da jetzt irgendwie früh dabei ist, beim Grundlagen schaffen dann hat man wirklich viel Einfluss auch über die nächsten Jahre wahrscheinlich.

00:04:30: Ja definitiv ich bin sehr gespannt was sich in den nächsten Jahren so als die Standard-Methoden herausstellen werden.

00:04:37: Das stimmt!

00:04:39: Du bist ja auch frisch hierher gezogen nach Regensburg?

00:04:41: Du bist eigentlich ein Weidner sag' ich mal und bist jetzt auch im wunderschönen Regensberg.

00:04:47: wie gefällt dir das?

00:04:49: War eine gute Entscheidung.

00:04:51: Also Regensburg ist definitiv für mich persönlich eine Verbesserung gegenüber beiden.

00:05:01: Ich mag die Vielfalt, die es hier gibt, ich mag das kulturelle Angebot.

00:05:05: Die Stadt ist sehr schön, wunderschöne mittelalterliche Altstadt und gerade für jüngere Menschen gibt es hier einfach ganz viel zu erleben und deswegen machen wir eine Superbescheidung.

00:05:18: Bröt mich!

00:05:18: Dann lasst uns mal gleich in das Thema kommen.

00:05:20: Wir haben heute ein bisschen ein größeres Thema vorbereitet, müssen wir auch mal schauen wie man es über die zwei Folgen dann tatsächlich aufteilen.

00:05:29: Aber wir haben heute das große Thema Context Engineering dabei.

00:05:32: Jeder der mit LLMs schon einmal zu tun hatte weiß dass es ein riesengroßes Thema ist.

00:05:38: Es hat sich so.

00:05:39: über die Jahre haben sich die Kontextfenster erhöht aber viele Best Practices haben sich nämlich verändert einfach weil Die Intelligenz, die in diesen Modellen steckt einfach doch limitiert ist und weil eben eine riesige Ressource immer dieses Kontext ist.

00:05:54: Dieses Kontextfenster!

00:05:55: Und wir wollen heute noch ein bisschen quatschen mit euch.

00:05:57: Du hast gerade vorher schon erwähnt, dass du dich auch etwas mit der Herkunft beschäftigt hast.

00:06:02: Erzähl mal gerne ein bisschen was davon bekommt im Kontext-Engineering eigentlich her?

00:06:06: Ja also man... Einfach gesagt ist Context Engineering die Weite Entwicklung des Prompt Engineerings.

00:06:18: Prompt-Engineering im Grunde ist die Beschreibung, wie ich möglichst effektiv einen Prompt formulieren sollte um mein Modell zu motivieren dass es das tut was ich möchte und Das hat nur Wirkung innerhalb des Prompts den ich gerade schreibe Und innerhalb der Sessionen in der ich mich gerade befinde.

00:06:42: Und Context Engineering bezeichnet im Grund alles alle Systeme, die ich etabliere.

00:06:51: Alle Strukturen, die Ich etabiliere um über eine Session hinausgehend auch das den Kontext oder das Wissen was sich in meinem Modell zur Verfügung stelle zu managen.

00:07:04: Das heißt der Prompt ist natürlich immer auch ein Bestandteil davon.

00:07:09: also Prompt-Engineering bleibt relevant aber nur als Teil vom Kontext Engineering während ich beim Context Engineering auch darauf achten muss, wenn ich in einem Softwareprojekt arbeite dann habe ich einen Software Repository und darin lege ich gewisse Dokumente ab die für dieses Repositories relevant sind.

00:07:29: Und da muss ich mich mit der Frage beschäftigen wie strukturiere ich diese Dokumenten in dem Repositorie?

00:07:34: Damit mein Modell – wenn ich immer eine Aufgabe gebe – auch die relevanten Informationen finden kann!

00:07:41: Ich glaube so ein ganz praktisches Beispiel, für jemanden der irgendwie jetzt nicht ganz versteht warum brauche ich eigentlich mehr von so einer Context Power?

00:07:49: Wenn man zum Beispiel ChatGPT einfach benutzt wie Google dann ist es eigentlich irrelevant was du davor gesucht hast.

00:07:54: Es geht ja nicht nur darum dass das Modell einfach jedes mal deine Frage beantwortet und du danach dann irgendwie mit mehr Wissen weggehst.

00:08:01: aber sobald mal in einem Kontext ist wo vergangene Entscheidungen wo vielleicht auch Code Richtlinien wo alle solche Sachen bei jedem einzelnen Prompt den Du abschickst relevant sind Dann muss man sich damit beschäftigen, wie füttert man all dieses Wissen möglichst effizient in das Modell rein?

00:08:17: Dass man nicht jedes Mal – vielleicht kennt man das bei Chatchi Pinty.

00:08:20: Man weiß okay wenn ich es in eine gewisse Weise prompte dann funktioniert's besser und du machst das jedes mal gleich so.

00:08:26: aber du kannst zum Beispiel produktiv in der Codebase damit arbeiten, nicht jedesmal dem Modell alles erklären.

00:08:34: also man könnte schon oder wird mal wahnsinnig.

00:08:36: deswegen ist genau Context Engineering die Kunst dahinter, wie man das möglichst effiziert da rein bekommt

00:08:41: Ja.

00:08:42: Und du hast jetzt gerade eben Richtlinien angesprochen, beispielsweise.

00:08:47: Richtlinie umfassen ja meist ganz viele verschiedene Aufgaben.

00:08:50: und da kommt noch ein anderer Aspekt beim Context Engineering mit dazu nicht nur welches Wissen sondern auch Wand also je nachdem welche Aufgabe ich möchte dass das Modell löst muss sich im unterschiedliches Wissen zur Verfügung stellen alle Richtlinien auf einmal zur Verfügung zu stellen, dann ist das Wissen zwar auch da aber es ist möglicherweise zu viel.

00:09:15: Es könnte sein dass gar nicht alles in das Kontextfenster passt oder es könnte sein unter der Menge an Informationen die ich dem Modell gebe das Modellnicht in der Lage ist die zu finden die jetzt gerade wichtig sind.

00:09:26: und es zeigt sich immer mehr dass tendenziell je weniger Kontext ich für eine Aufgabe verbrauche desto besser ist die Qualität ... des Ergebnisses.

00:09:39: Das bedeutet, ich möchte eigentlich die Information... ...die ich dem Modell gebe auf gerade das zu schneiden was das Modell in dem Moment wirklich herraucht!

00:09:47: Wir sind auch noch in so einer komisch paradoxen Welt wo die Modelle immer besser werden.

00:09:51: Man aber gerade im Moment schon noch eben so Richtlinien und sowas braucht vor allem im produktiven Umfang dann ist es immer so eine Balance wie viel, wie du grad schon meintest, wieviel gebe ich dem denn eigentlich mit um zu dem Ergebnis zu kommen dass sich eigentlich will?

00:10:04: Wie viel überlasse ich dem eigentlich schon sehr intelligenten Modell an Entscheidungen und wo beschneide ich es dann womöglich?

00:10:11: Und das entscheidet sich für vielleicht was objektiv Schlechteres auch, weil ich eine Regel ins Leben gerufen habe.

00:10:18: Das Modell sich daran hält aber nicht hinterfrägt hey macht diese Regel eigentlich Sinn.

00:10:22: Was man ja eigentlich auch nicht will.

00:10:23: wenn du eine Regel aufstellst wirst du ja dass sich immer dran hält.

00:10:26: Also dieses Einschneiden ist ja auch ein ganz interessanter Punkt dabei.

00:10:29: Ja,

00:10:29: das stimmt Da fällen mir sofort zwei Dinge ein.

00:10:33: Das eine ist ein Blogartikel von Anthropic über Context Engineering.

00:10:38: Anthropics ist eine ganz bekannte Firma, die Firma hinter Cloud Code und in dem Artikel über Contxt Engineering schreiben sie auch darüber dass man wenn man einen System prompt für ein Modell designt dann gibt es genau ein gewisses Maß das man treffen sollte kann sehr spezifische und detaillierte Regeln definieren in dem Promt, die dann aber diese Kreativität des Modells auch rausnehmen.

00:11:07: Und möglicherweise auch am Ziel vorbei gehen.

00:11:10: weil ich ja dann wenn ich die Regeln schon so detailler aufschreibe, ist das quasi als würde ich ein Programm direkt schreiben.

00:11:17: Nehmen wir eigentlich den Vorteil der Modelle dadurch raus.

00:11:20: Sparen wir nicht wirklich Arbeit!

00:11:23: Und auf der anderen Seite, wenn ich aber zu lose an die Sache rangehe.

00:11:27: Dann ist das Modell nicht motiviert genug sozusagen, die Dinge auch wirklich zu tun.

00:11:34: Deswegen haben sich so gewisse Muster herausgestellt wie man quasi das Verhalten von dem Modell gezielt triggert.

00:11:43: Gewisse Begriffe zu verwenden, die das Model motivierend in bestimmten Situationen sich an die Regel zu halten, zu näher spülen.

00:11:52: Sag mal so ein Beispiel für die Zuhörer vielleicht auch was, weil es hört sich sehr abitär an.

00:11:59: Benutzen bestimmtes Keyword und auf einmal verhält sie das Modell besser aber es ist tatsächlich so, weil dieses Modell auf einmal irgendwie anfängt etwas kritischer zu hinterfragen.

00:12:08: oder was ist aus deiner Erfahrung hier also die besten Begriffe die du da benutzen kannst?

00:12:14: Also etwas was sich sehr gut bestätigt hat für mich ist dass man gewisse Dokumente, die ein Modell so bearbeitet, explizit aufführt.

00:12:25: Also zum Beispiel möchte ich das in meinem Modell für Commit Nachrichten immer ein bestimmtes Format finden.

00:12:33: Also je nachdem welchen Hintergrund jetzt ein Zugrass haben kann, ein Commit ist quasi immer dann wenn ich meinen Source Code ins Repository einschecke und sagt bei dieses Stück Arbeit möchte ich jetzt dauerhaft sozusagen im Repositories aufheben.

00:12:48: Und jeder Commit bekommt eine Nachricht die beschreibbarste Inhalter von.

00:12:52: und viele Unternehmen haben Richtlinien, wie sowas auszusehen hat.

00:12:56: Und jetzt könnte ich eine Regel einführen, die einfach nur sagt haltet dich an alle Richtlinie.

00:13:02: Aber das könnte zu allgemein sein weil in den Richtlinen ist eben viel drin.

00:13:07: aber es gibt ja bestimmte Dinge, die beim Software Engineering immer wieder vorkommen zum Beispiel Commits und wenn ich dann dieses Triggerwort verwende uns sagen Verifiziere alles, was du tust gegen die Regeln.

00:13:21: Insbesondere dann wenn du dich mit folgenden Dingen beschäftigst und eines dieser Dinge, die ich dann aufliste ist, Komet Nachrichten zu schreiben.

00:13:30: Das motiviert das Modell dann gezielt in so einem Fall

00:13:34: auch

00:13:35: zu verifizieren, was dann das Verhalten auslöst.

00:13:37: Das Modell sucht die Richtlinien und findet dass die Unternehmen spezifischen Regeln um die Kometnachricht zu verfassen.

00:13:46: Ja, es ist gerade noch eine witzige Analogie eingefallen.

00:13:48: Wir sind ja auch in der Nähe zur Uni Regensburg, die ist gleiche daneben bzw.

00:13:53: hier ist die OTH Die Uni ist ein bisschen weiter oben.

00:13:57: und weil du gerade vorher so beschrieben hast dass man nicht alles an Wissen mitnehmen will bei jedem Prompt kam mir bloß ne Klausur von mir in den Kopf wo ich dachte auch dieses mal... Man darf ganz oft so einen Dinovierzettel mitnehmen wo wir dann irgendwie Notizen drauf haben darf.

00:14:11: Und dann gibt's hin und wieder mal Professoren ... die einem erlauben, alles mitzunehmen.

00:14:16: Was man will!

00:14:17: Und man denkt sich erst, wow voll cool... Ich kann alles jetzt mitnehmen was ich mir nur vorstellen kann.

00:14:21: Ich nehme jetzt drei Bücher mit und ich nehme noch irgendwie meine Hausaufgabenhefte mit wo ich dann irgendwie die ganzen Übungen und sowas gemacht habe.

00:14:28: Das hab' ich eben bei der Klosso auch mal gemacht und saß dann in einer Prüfung... ...und dann musste ich erstmal anfangen zu suchen.

00:14:33: Dann hatte ich da drei Büche dabei und wusste irgendwo steht das hier?

00:14:36: Aber verdammt, wo ist denn das

00:14:37: jetzt?!

00:14:38: Ich glaube das ist ein ganz guter Vergleich.

00:14:40: es lohnt sich eben diesen ... Spickzettel zu haben, wo man ganz kontext-awares eigentlich mal drauf stehen hat was relevant ist.

00:14:49: Im Vergleich zu vier Bücher, wo du erstmal anfangen musst zu suchen... ... das habe mich um endlich viel Zeit gekostet.

00:14:54: Ich glaube ich kann nicht mehr unser Ergebnis der Klasse erinnern aber gut weiß es nicht.

00:14:58: Das kam mir bloß irgendwie da noch.

00:15:00: Nee, aber es ist super interessant wie du meintest.

00:15:04: Was gibt's denn für verschiedene Möglichkeiten?

00:15:06: ... Context Engineering an sich, haben wir jetzt irgendwie schon ein bisschen rausgefunden.

00:15:11: Es ist ein sehr großes Fell.

00:15:13: Du weißt auch so viele verschiedene Möglichkeiten gibt das Ganze irgendwie zu beeinflussen.

00:15:18: Ja und da gibt es, vielleicht vorgreifen darf, ja?

00:15:23: Es gibt verschiedene Werkzeuge die manche etablieren sich so als Industrieweiter Standard scheinbar... ...und andere sind etwas spezifischer je nach Anbieter.

00:15:33: Diejenigen die sich so richtig als Standard etabliert haben sind Einmal Kontext für das Modell, der immer aktiv ist.

00:15:43: Das Konzept von Skills und das Model-Context-Protocol, würde ich sagen.

00:15:49: Das sind so die drei Ebenen oder drei Werkzeuge, die wirklich gängig und bereit von allen unterstützt werden.

00:15:56: Und dann gibt es Dinge, die wieder nicht mehr in der gleichen Ausbringung überall existieren wie zum Beispiel Books.

00:16:03: Books ist soweit ich weiß etwas was in Cloud Code existiert Und da gibt es halt verschiedene Events, bei denen ich sagen kann wenn dieser Event auftritt zum Beispiel das Modell editiert eine Datei.

00:16:15: Dann soll... So was ausgeführt werden?

00:16:17: Genau, soll ein Hook ausgeführten werden und dann kann ich über den Hook, kann nicht dem Modell zusätzliche Anweisungen geben oder ich kann einen Skript ausführen dass dann irgendetwas machen soll.

00:16:27: Und diese Hooks sind eben spezifischer für den Anbieter.

00:16:33: Cloudcode hat dieses Konzept von Hooks und bei anderen gibt's dann andere Konzepte Ähnliche vielleicht, aber nicht mehr der gleichen Ausprägung.

00:16:40: Dieses spannende

00:16:41: Sorry Kurs Plus um damit reinzuschmeißen ist spannend und finde ich auch das sich alles so schnell entwickelt... ...und dass es teilweise dann auch Konzepte gibt die finden andere Frontierlabs ganz furchtbar,... ...aber dann entdecken sie dann irgendwie auf ihrer eigenen Reise irgendwann erst mal... ...das macht irgendwie doch Sinn!

00:16:55: Und dann wird's doch Standard.

00:16:56: also ich finde auch dieses... ...dieses aneinander reiben von den verschiedenen Forschungsunternehmen super spannend, was passiert?

00:17:04: Es etablieren sich bereits... Organisationen, die versuchen das wirklich als Standards einzubringen.

00:17:12: Für Skills zum Beispiel ist eine Organisation, die das als Standard definiert tatsächlich.

00:17:17: Die muss Skills als Standards definieren?

00:17:20: Das geht glaube ich über... Also der Fokus scheint sehr klar auf Skills zu sein kann jetzt aber nicht mehr gewissheit sagen ob das wirklich da aufhört.

00:17:30: Aber um vielleicht.

00:17:32: wir könnten ja nochmal auf diese drei Dinge die vorher stand hat aufgezählt habe eingehen.

00:17:37: Also dieser Kontext, der immer aktiv ist – das ist ja sehr einfach zu verstehen – wird, dass es Kontext in jede Session geladen wird.

00:17:45: Den kann ich tatsächlich je nach Anbieter auch auf unterschiedliche Art und Weise zur Verfügung stellen.

00:17:50: Aber das Konzept ist überall da!

00:17:54: Bei den meisten Anbieten gibt es irgendwo eine Datei die ich global oder projektspezifisch hinterlegen kann und da schreibe ich Text rein,

00:18:06: Was hast du da zum Beispiel drinstehen?

00:18:08: Ich versuche meinen tatsächlich möglichst schlank zu halten, wenig drinstehend zu haben.

00:18:12: Ja ich habe dann nur die Dinge drinnen stehen von denen nicht weiß dass sie immer gelten.

00:18:17: sollen das für egal was das Modell macht immer eingehalten werden.

00:18:21: Zum Beispiel?

00:18:22: Zum Beispiel hab' ich eine Regel definiert in der drin steht wie dieses Modell mit sensiblen Informationen umzugehen hat.

00:18:29: es sollte nie einen Secret liegen.

00:18:33: Ein Secret sollte nie nach außen gehen, ein Secret sollte in der Session auftauchen und ein Secret soll nie committed werden.

00:18:40: Das ist etwas was ich immer möchte sozusagen oder ich habe auch eine Regelung da drin steht wenn du Änderungen im Repository machst dann schreibe Kommitte nichts was spezifisch für die Maschine des Uses ist weil in Repositories immer für Teamübergreifende Zusammenarbeit da.

00:18:59: also sollten da nur Dringe drin sein.

00:19:03: Naja, unabhängig vom Gerät.

00:19:05: Das ist Entwickler's Funktionen oder Relevanz in solchen Dingen.

00:19:08: Oder diese Regel von der ich vorher erzählt habe dass das Modell seine eigenen Handlungen und Annahmen immer verifizieren sollte?

00:19:15: Das Modell sollte mir nichts präsentieren als Fakt was es nicht selbst überprüft hat.

00:19:20: Ja auch aus absurdes.

00:19:21: Ich meine das kennt man auch.

00:19:22: deswegen gesagt hey checkt das mal immer bevor du es mir dann am Ende durchgibst.

00:19:26: aber da so eine Kleinigkeit wie verifiziert bitte deinen eigenen Output wo man ja eigentlich davon ausgeht, das geht irgendwie so einen Denkprozess durch und am Ende hinterfragt es das Ganze vielleicht noch mal kritisch.

00:19:37: Sollte eigentlich automatisch passieren ist ein erstaunlicher Unterschied im Output wenn man so Kleinigkeiten mit dazu packt.

00:19:46: Man merkt auf einmal oh der dreht vielleicht doch dann tatsächlich nochmal eine Extraschleife, wo er einfach nochmal eine Ebene tiefer denkt?

00:19:54: Ja und... Es ist halt dann doch leider oft so dass die Informationen die in dem Modelle gespeichert sind und abgerufen werden entweder veraltet sind oder dass dort auch falsche Rückschlüsse vorhanden sind.

00:20:11: Wenn man es oberflächlich betrachtet, dann ist das gespeicherte Wissen ja sozusagen der Durchschnitt über alles was so verfügbar ist.

00:20:17: Der durchschnitt ist nun mal nicht exzellent!

00:20:20: Und wenn man aber Exzellenz möchte, dann sollte man das Modell dazu motivieren, dass er seine eigenen Annahmen überprüft um halt zu wirklich guten Schlussfolge herunterzukommen ... dann

00:20:30: haben wir sich überlegt, wo die ganzen Quellen herkommen.

00:20:32: Das ist wirklich wie du schon meintest einfach ein ... ... Durchschnitt durch alles was da so draußen war im Internet und alles was die... ... Was die großen iLabs auch so gefunden haben eben.

00:20:41: Die brauchen extrem viel Daten und da kann man dann nicht verifizieren ob alles davon noch wirklich so topmatched ist wie mir das eigentlich bräuchte.

00:20:47: Ja, das stimmt.

00:20:48: Okay, dann haben jetzt den klassischen Kontext der bei jeder Session dabei ist.

00:20:52: oder was gibt's denn noch?

00:20:54: Ja, dann Skills.

00:20:57: Skills sind.

00:21:00: Dabei gibt es ein Konzept, das nennt sich Progressive Disclosure.

00:21:06: Das Konzept beschreibt dass man nicht jedes Wissen dem Modell immer zur Verfügung stellen will sondern es wird progressiv also nach und nach erst aufgedeckt oder zur Verfügung gestellt.

00:21:19: Und die Idee dabei ist Zunächst beim Session Start nur die minimalen Informationen zur Verfügung gestellt werden, damit das Modell weiß für welche Aufgabe in welchem Kontext ist dieses Skill relevant.

00:21:38: Wann ist der Skill für mich nützlich?

00:21:41: Und wenn diese Situation eintritt dann kann das Modeller selbst entscheiden den Skill zu benutzen und wenn das passiert bekommt das Model alle Anweisungen präsentiert, die in dem Skill definiert sind.

00:21:54: Ich kann als Entwickler oder als User in den meisten Umgebungen wie auch Cloud Code, kann ich einen Skill auch proaktiv aufrufen und sagen hey binde uns bitte diesen Skill.

00:22:05: Wenn ich weiß dass der gerade relevant ist.

00:22:07: Es sind also quasi so Werkzeuge die für spezielle Situationen gedacht sind, die eben nicht wieder Kontext der immer aktiv ist, immer gebraucht werden.

00:22:19: Und das ist genau dieser Punkt von wann ständig Informationen zur Verfügung?

00:22:24: Ich kann durch diesen Skill, wie Modelle sind sicherlich so trainiert darauf dass sie diesen Anweisungen die in Skills gegeben werden auch folgen sollen.

00:22:36: Und diesen Mechanismus kann ich benutzen um quasi das Modell besonders stark zu motivieren indem ich etwas als Skill verpacke dass es diesen Anweisen genau folgt.

00:22:45: Ja!

00:22:47: Ich musste direkt an ein Beispiel denken.

00:22:48: mein Vater ist Elektriker und wenn nicht ein.

00:22:51: was aus meiner Kindheit vor allem noch weiß ist wie sehr immer über Azubis geschimpft hat und eine Sache zum Beispiel dabei war immer, dass die halt viele Werkzeuge dabei haben jetzt vielleicht mal die Analogie zu Skills.

00:23:03: Und das dann eben Auszubildenden wegen einfach weniger Erfahrung oft einfach zum falschen Tool greifen und vielleicht auch gar nicht verstehen, dass sie in gewissen Situationen vielleicht auch einen Tool benutzen könnten und es dann vielleicht eher manuell oder in einen anderen Weise machen.

00:23:20: und so ist es ja ein bisschen auch mit dem Modell.

00:23:22: Entweder versuchst du zu hoffen, dass das Modell irgendwie drauf kommt.

00:23:25: Ich will eigentlich, dass du das hier benutzt.

00:23:28: ich sag's jetzt nicht explizit sondern nur so review doch bitte mal den Code und dann hoffe ich, dass ihr doch eigentlich diesen Skill benutzt, den ich schon extra geschrieben habe.

00:23:36: oder du sagst eben hey nimm bitte den Akkuschrauber in die Hand wo die Schraube da rein und dann ist der Wahrscheinlichkeit, dass er den richtigen Akkuschrauber nimmt ziemlich hoch.

00:23:47: Ich denke es kommt immer ganz darauf an wer ist der lösendliche User, der mit dem Modell gerade interagiert?

00:23:54: Und wie viel Autonomie möchte ich dem Modeller geben?

00:23:59: also wenn ich ihm eine große umfangreiche Aufgabe gebe für die viele Skills zu unterschiedlichen Zeitpunkten relevant sind macht das wahrscheinlich durchaus Sinn, wenn das Modell selbst entscheidet es zu benutzen.

00:24:12: Aber wenn ich die Aufgabe runterbreche und weiß dass für diese Aufgabe dieser Skillgranne perfekt ist dann weiß sich das Modellen natürlich gerne darauf hin.

00:24:26: Für einen Endnutzer ist das Konzept von Skills vermutlich nicht zumutbar sozusagen aktiv aufrufen muss.

00:24:38: und wenn ich jetzt zum Beispiel mit meinem Amazon Chatbot kommuniziere, dann will ich ihm einfach nur irgendwelche Fragen stellen.

00:24:45: Und die solle mir beantworten effektiv und ich will ihn nicht auf einen ganz bestimmten Skill hinweisen ein bisschen, den er jetzt dafür benutzen soll.

00:24:51: Das ist dann eben auch wichtig wie du gerade vorher schon meintest dass vor allem wenn du es nicht explizit machst sondern inexplizit das dann auch die Menge des Gays einfach nicht überwältigend ist weil je mehr da irgendwie liegt auch bereit legt für den Agenten dass du schwerer ist, es dann auch das Richtige auszusuchen.

00:25:06: Was wenn du zwei Skills hast die sich in der Beschreibung eigentlich ziemlich ähnlich anhören?

00:25:11: Welchen soll er denn benutzen?

00:25:12: Also auch da ist dann wieder relevant Thema Context Engineering, dass man wirklich versucht das ganze so schlank wie das vorher auch schon meintest zu halten wie möglich um die Wahrscheinlichkeit, dass der Agent das richtige Auswelt so hoch wie möglich zu

00:25:25: halten.

00:25:26: Ja und zugeschnitten auf die Domäne sagen wir in der der Agent aktiv ist Also für die Domäne-Software-Entwicklung gibt es bestimmte Skills, die passend zu den unterschiedlichen Phasen der Softwareentwicklung relevant sind.

00:25:40: Da kann man sie ganz gut voneinander abtrennen.

00:25:42: Wenn ich jetzt einen Agentin in einem anderen Domäner einsetzen möchte – in dem Unternehmen als Assistenten für den Einkauf oder sowas?

00:25:49: Dann kann es sein dass es der Domänel auch Phasens gibt, die klar vonebeneinander abgrenzen kann.

00:25:54: aber die haben halt dann nichts mit Softwareentwirkungen zu tun natürlich!

00:25:57: Und so möchte ich halt dann, wenn ich einen Agenten als Ganzes wiederum baue.

00:26:03: Dann möchte ich diesen Agenten auch nur die Werkzeuge geben, die ihr gerade braucht.

00:26:06: Ja

00:26:07: cool!

00:26:07: Jetzt haben wir noch ein Thema.

00:26:09: Das wird glaube ich von...wird das von Anthropic angestoßen als erstes?

00:26:13: Soweit ich weiß.

00:26:14: ja, jetzt haben sie das noch nach Rotokoll ins Leben gerufen aber auch dann ging es in eine Foundation später lieber.

00:26:21: Ich glaube Sie haben da nicht mehr die komplette Hand rüber sondern das hat mittlerweile Community gemanagt.

00:26:27: Ich kann mich bloß noch erinnern, dass am Anfang... Also wir reden jetzt über MCPs.

00:26:30: Model Context Provider?

00:26:33: Model Contxt Protocol.

00:26:36: Wo eben wie schon angeschnitten am Anfang eins der großen Unternehmen ganz überzeugt war davon und gab es ganz viele Skeptiker.

00:26:44: Kann ich mir noch erinnern das ganz viele meinten hey!

00:26:47: Das widerspricht all diesen Context Engineering Regeln die wir eigentlich ins Leben gerufen haben, dass es möglich schlank bleiben soll.

00:26:54: du bist ... so Deterministischheiten wie du eigentlich kannst.

00:26:59: Viele, viele Punkte habe ich da oft gelesen und mittlerweile gibt's eigentlich die Konsensus dass es vielleicht nicht immer die perfekte Lösung ist aber das so als grundlegende Technik schon seine Daseinsberechtigung hat.

00:27:10: Wie siehst Du das?

00:27:13: Ich hab auch mitbekommen, dass es da am Anfang viel Kritik gab.

00:27:17: Und ich weiß noch, dass im Anfang dies diese Tools würden das Kontext Fenster total überfordern.

00:27:23: Für dich

00:27:23: springen!

00:27:24: Ja

00:27:24: Und ich denke, dieses Argument ist nicht mehr so relevant wie es mal war.

00:27:35: Über das Model-Context Protocol kann ich einem Agenten auch Werkzeuge zur Verfügung stellen, wenn man an der Stelle anfängt.

00:27:43: Das kann noch mehr als das aber das ist die wichtigste und verbreiteste Funktion.

00:27:49: Auch da ist es ähnlich wie bei einem Skill – Ich habe für einen Werkzeug eine Beschreibung, die im Grunde definiert was, wofür ist dieses Werkzeug da und mit welchen wie kann ich es benutzen?

00:28:05: Und was erwartet dieses Werkzeuge für Input damit das seine Arbeit verrichten kann.

00:28:11: Ja und hinter diesem Werkzeug kann sich alles verstecken.

00:28:15: Der Kerngedanke bei dem Protokoll ist ja dass es ermöglicht eine Abstraktion ermöglicht, hinter der ich beliebige Software auch unabhängig von der Maschine auf dem die Umgebung des Modells installiertes Verfügung stehen.

00:28:40: Es war vielleicht ein bisschen zu abstrakt und muss noch etwas konkret dazu machen.

00:28:46: einen Skill muss ich mir stand heute auf meinem System installieren, wenn ich ihn in meiner Entwicklungsumgebung benutzen will.

00:28:54: Und das Model-Context Protocol ermöglicht mir dass sich diese Werkzeuge auf einem Server definiere und für in meine Entwicklungsungebung muss ich dann nur einen kleinen Konfigurations Schnipsel hinterlegen.

00:29:09: da steht drin wo ist dieses Server zu finden?

00:29:11: Dann kann sich meine Umgebung damit verbinden.

00:29:18: Werkzeuge und die Beschreibungen usw.

00:29:20: Und wie es zu benutzen ist, bekommt man alles vom Server geliefert.

00:29:23: Da findet quasi diese Trennung statt.

00:29:25: Ich muss mir das nicht mehr lokal installieren ich muss mich nicht mehr meine Umgebung lokal vorbereiten Sondern ich kann das alles zentral administriert und zentrale Deployt an einem Ort verwalten und von dort aus bekommt das Modell dann alle Werkzeugen zur Verfügung.

00:29:42: Soweit ich weiß, ist es so dass das ein bisschen ineffektiver ist was den Kontext angeht weil die Prozedur die notwendig ist um diese Werkzeuge dann aufzurufen.

00:29:52: Die verbraucht etwas mehr Token als für einen Skill der Vollwähre.

00:29:57: Das macht es ein wenig ineffizienter aber es hat den Vorteil dass sich eben das ganze übers Internet zur Verfügung stellen kann oder halt nicht auf derselben Maschine halten muss wie das wie der Entwickler das gerade.

00:30:10: Also man kann auch Sachen dahinter abschrehen, also man kann ja auch komplex die Trät quasi dadurch vereinfachen indem er dem Agenten einfach nur sagt hey du hast diesen einen Befehl den du ausführen kannst und dahinten ist dann ganz viel Logik.

00:30:21: Die hat den Agenten aber gar nichts angeht.

00:30:24: Ja genau das stimmt.

00:30:25: ich kann hinter diesem Server hinter so einem Werkzeug können sich alles verstecken.

00:30:28: Genau Ich könnte da ein Werkzeug definieren dass im Grunde sagt zum Beispiel wie mach eine Buchung für mich in meinem SAP System oder sowas.

00:30:39: vielleicht liegt das Werkzeug los und wenn es aufgerufen wird verbindet er sich mit SAP, macht alle Einträge die notwendig sind.

00:30:46: Und am Ende kriegt das Modell nur noch das Ergebnis hier ab den Eintrag gemacht.

00:30:50: Vielleicht als Beispiel was könnte das sein?

00:30:53: weil wir gerade schon Buchen ansprechen?

00:30:54: Wenn du zum Beispiel in den Flug von deinem Agenten buchen lassen willst also du benutzt ein AI-Modell dann hast du etwas auf dem Laptop laufen und willst ihm sagen hey ich will einen Flug buchen Dann bringst dir nicht recht viel.

00:31:09: dann in der Vergangenheit irgendwie in den Trainingsdaten, das es vielleicht zur Verfügung stehen hat nach Flügen von einem Jahr sucht.

00:31:16: Sondern du willst ja dass es nachschauen kann.

00:31:17: hey wann nächsten Freitag?

00:31:19: Wann geht dein Flug nach Mallorca zum Beispiel?

00:31:21: Deswegen was so ein MCP-Tool einem dann erlauben kann ist... ...das Sky Scanner jetzt einfach mal als Beispiel so einen Tool zur Verfügung stellt und der Agent kann dann einfach der weiß dann okay wenn ich nach nem Flug suchen will nächsten freitag, dann benutze ich diesen Endpunkt.

00:31:37: Das braucht diesen Parameter, der Tag zum Beispiel die Uhrzeit vielleicht doch eine Spanne vom Preis.

00:31:42: Was bin ich bereit für so einen Flug zu zahlen?

00:31:44: Und dann kann der Agent es benutzen und die tatsächliche Abfrage macht aber dann zum Beispiel Skyscanner und Skiescanner liefert ihr dann zurück bzw dem Agenten die Ergebnisse von der Suche und das kann dann soweit gehen.

00:31:55: Ich meine man könnte nur suchen machen oder man könnte auch wie du gerade schon meintest Die ganze Buchung dadurch irgendwie abwickeln.

00:32:00: wenn Du dann dich zum Beispiel Wenn der Agent sich danach wirklich einloggen kann und dann zum beispiel mit deinem Benutzerkonto da drinnen ist, dann könnt ihr auch diesen Flug buchen nachdem du ihm das bestätigt hast und das Ganze dann ja also wirklich end-to-end abwickeln kommt eben darauf an wie viel man dazu zur Verfügung stellen will.

00:32:22: aber dahinter könnte rein theoretisch alle stecken.

00:32:25: Ja das stimmt es gibt andere Möglichkeiten wie man was Ähnliches erreichen kann.

00:32:30: ... gab ja bereits vor, der vor MCP gab es auch schon ... ... Services die so was machen können.

00:32:39: Wer den nicht in dem Flug buchen könnte oder sowas.

00:32:42: Die hatten auch schon Schnittstellen... ...die man ansprechen kann und die dann die Aktion durchführen.

00:32:51: Das kann ein Modell auch?

00:32:55: Nicht direkt allerdings.

00:32:56: also bei MCP ist es so dass das soweit quasi integriert ist, dass das Modell nur ... nur eine Nachricht, einen Output-Text erzeugen muss, wo drin steht.

00:33:06: Hey ich möchte bitte dieses Tool aufrufen und die Harness... Die Umgebung in der ich arbeite mit den Modellen interagiere, die macht dann den Rest, ihr ruft das Werkzeug auf,... ...und dann wird es ausgeführt und dann kommt das Ergebnis zurück usw.

00:33:23: Und die klassischen Schnittstellen sozusagen, die erfordern dann zum Beispiel eine Interaktion damit über ... über HTT P mit CURL als Klein oder so.

00:33:35: Und dann kann ich da meine REST-API, könnte ich dann ansprechen und irgendwelche Aktionen machen... ...und das ist auch eine alternative Möglichkeit wie so ein Modell quasi in der Welt interagieren kann.

00:33:47: Das sind auch Maßnahmen die Leute verwendet haben.

00:33:50: Die Leute haben sich dann im Grunde auch in einem Skill verpackt möglicherweise,... ...die Anleitung beschrieben, wie ich mit einer gewissen API zu interagiern habe.

00:34:00: ... gebt dann, stellt denn dem Modell... ... einen Client zur Verfügung mit dem es diese API benutzen kann.

00:34:09: Ich glaube ist angenehme bei.

00:34:10: so was ich meine der Name Protokoll steckt ja schon drin in MCP.

00:34:14: das Schöne dran ist dass man versucht irgendwie sowas Einheitliches zu schaffen um dann halt eben auch Tools zu entwickeln die nicht gebunden sind an gewisses Modell zum Beispiel.

00:34:26: also gerade entwickelt sich so viel und so viele verschiedene Richtungen.

00:34:29: ein paar dieser großen KI-Unternehmen wird es wahrscheinlich irgendwann nicht mehr geben.

00:34:34: und dann willst du nicht, sag ich mal mit der Tatsache dass die dann ihre Modelle abschalten.

00:34:39: Daran gebunden sein das du all deine Tools und all dein Wissen und all deinen... Dein Context Engineering damit verlierst sondern du willst möglichst portabel dein ganzes Setup bauen wie das schon immer der Fall war in der Softwareentwicklung vor allem Und ein Tool davon ist eben so Protokolle wo man dann weiß hey!

00:34:56: Ich kann das Protokold jetzt bei Anthropic benutzt genauso aber auch bei bei OpenAI, bei ChatGBT benutzen und bekommen vergleichbare Ergebnisse.

00:35:06: Wahrscheinlich nicht immer identisch weil die das natürlich dann alle immer noch mal ein bisschen anders interpretieren aber es ist sehr vergleichbar.

00:35:12: Ja genau darum geht's definitiv einen Standard zu etablieren wie so ein Modell mit der Welt interagieren kann.

00:35:22: Ne cool!

00:35:22: Dann haben wir jetzt ein bisschen so'n generellen Überblick davon.

00:35:28: Du warst jetzt die letzten Wochen ... auch recht stark damit beschäftigt, so ein MCP... ... auch wirklich in dem Kontext von einem Unternehmen zu entwickeln.

00:35:38: Kreift doch damals vielleicht kurz auf wie denn jetzt so einen Protokoll?

00:35:44: Wenn es jetzt vielleicht nicht gerade um Flugbuchen geht sondern wenn's wirklich darum geht... ...ein Entwicklungsteam im Unternehmen Wie da so eine Variation ausschauen könnte die den vielleicht helfen kann beim Entwickeln.

00:35:55: Ja

00:35:55: gerne Ja.

00:35:59: warum gehts dabei?

00:36:02: Das Unternehmen, für das wir das Ganze machen hat genau solche Richtlinien.

00:36:07: Wie Software entwickelt werden sollte?

00:36:09: Mehr noch heißt es!

00:36:10: Sondern auch wie sehen Diploments aus, wie muss ich meine Commit-Nachrichten befassen... ...wie sollte die Architektur des Systems aufgebaut sein und noch viele andere Dinge.

00:36:25: Und diese Richtlinie möchten das Unternehmen gerne den Modellen, den Agenten die für das Unternehmen arbeiten sollen zu Verfügung stellen damit.

00:36:37: Software die von Agenten geschrieben wird diesen Richtlinien entspricht.

00:36:42: doch wenn Agent ein Review durchführen soll der Code der von dem Agenten überprüft wird soll sichergestellt werden dass sich das an die Richtlinie hält.

00:36:53: und das ist genau dieses Problem von dem wir gesprochen haben.

00:36:57: Wir müssen sicherstellen führt eine gegebene Aufgabe zur richtigen Zeit, der richtige Kontext zur Verfügung steht.

00:37:04: Vielleicht um

00:37:04: kurz zu verstehen auch für die Zuhörer was passiert denn wenn das eben nicht der Fall ist?

00:37:08: Was sind denn dann... ...was ist in des Negatives dran?

00:37:10: also warum braucht man dieses unbedingt...?

00:37:12: Ja nun ja also Für den Fall dass ein Agent Code schreiben soll oder an Deployment machen soll oder eine Architektur im Bläfen soll was auch immer Das Modell würde diese Richtlinien nicht kennen und hätte keine Möglichkeit, sich die zu besorgen.

00:37:30: Müsste ich als User den Modell genau beschreiben was es machen soll damit das Richtlinium konform handeln kann?

00:37:39: oder wenn ich das nicht mache dann macht das halt irgendwas.

00:37:43: Dann produziert es halt Code oder versucht Deployment zu machen oder dieses in jenes was nicht dementspricht wie das Unternehmen das braucht.

00:37:51: Naja, dann habe ich im Endeffekt nicht viel gewonnen durch meine Ergänien.

00:37:54: Genau!

00:37:54: Also es wird vielleicht kodgenerierend, der trotzdem funktioniert und der valide ist und der in dem anderen Unternehmen vielleicht auch so in die Produktion gehen könnte aber der eben nicht den Anforderungen entspricht dass das Unternehmen jetzt in unserem Wahl eben genau will.

00:38:08: Dadurch hast du dann durch KI nicht wirklich was gewonnen weil am Ende muss da jemand da sitzen ... drüber gehen über jede einzelne Zeile Koti geschrieben wurde und sagen, ja das passt und es passt nicht.

00:38:19: Und es ist fast zeitaufwendiger als einfach selber zu tun.

00:38:21: Ja

00:38:21: vor allem bei der Menge an Koti von Modellen geschrieben wird... ... ist das sehr zeitaufwändig!

00:38:31: Ja und deswegen hat dieses Unternehmen einen Bedarf dafür dass diese Richtlinien effektiv durchsucht werden können.

00:38:40: Und ein Mittel der Wahl um das zu tun ist einen Server zu entwickeln, der diese Richtlinien in aktueller Form an alle Agenten durchsuchbar zur Verfügung stellt.

00:38:55: Und das Mittel über den diese Agenten darauf zugreifen können ist das Model-Context Protocol NCP.

00:39:05: Das heißt mit MCP als Interface stellt dieser Server zwei Werkzeuge zur Verfügung eine Suchfunktion und eines um dann gezielt ein Dokument abzurufen.

00:39:20: Und hinter der Suchfunction versteckt sich dann eine auf Rack basierende Technologie, Retrieval Augmented Generation.

00:39:32: Das ist ein Verfahren bei dem man die Inhalte eines Suchbegriffes semantisch zuordnen kann zu den Inhalten eines Dokumentes Und dadurch kann ich gezielt ein Dokument, das gerade für meinen Suchbegriff relevant ist finden.

00:39:54: Auch wenn ich keinen nicht exakt den Begriff verwende der in dem Dokument vorkommt.

00:39:59: Das sind Methode die sich in den letzten Jahren integriert hat, die schon aus Sicht einen gewissen Fonds standardisiert hat was sich Werkzeugasen umgebildet haben und es ist für denen Anwendungsfeilen super... Ja, super Grundlage, auf dem man sowas aufmachen kann.

00:40:15: Ja genau so wie wenn du das Beispiel für Menschen die sie damit nicht so stark beschäftigen.

00:40:20: Wenn du auf Google Maps nach Asiaten suchst, asiatisches Restaurant kommt ein japanisches Restaurant, kommt ein kinesisches Restaurant und ein koreanisches Restaurant weil sie alle irgendwie zur gleichen Übergruppe gehören.

00:40:31: Das ist vielleicht ein bisschen vereinfachtes Beispiel aber... ...die Theorie dahinter dass man nach nicht konkret einer Sache suchen muss sondern nach was und das dann mehrere Ergebnisse, die aber trotzdem was damit zu tun haben dabei rauskommen.

00:40:48: Das ist so ein bisschen Rack genau.

00:40:50: Und wir benutzen es jetzt in einem MCP?

00:40:52: Genau!

00:40:52: Wir haben quasi einen Rack-System gebaut, dass die Dokumente diese Richtlinien einliest, den die Datenbank speichert und dann über so eine NCP Interface durchsucht mal zur Verfügung stellt.

00:41:09: Die Vision am Ende ist sozusagen, dass jeder Entwickler für seinen Agenten nur noch so ein kleines Schnipsel an Konfiguration braucht.

00:41:17: Mit drin steht hier findest du den Server das Modell verbindet sich und hat dann kann jederzeit die Dokumente durchsuchen, kann die relevanten Informationen finden für die Aufgabe, die es gerade verrichtet und sich auch daran halten.

00:41:32: Genau!

00:41:33: Das heißt, die eine Seite der Medaille ist das Entwicklung von diesem Server um die Richtlinien durchsufbar zur Verfügung zu stellen.

00:41:43: Die andere Seite der medaille isst das Modell dann auch zum motivieren und diese Werkzeuge zu benutzen.

00:41:49: Ja,

00:41:50: das ist sehr valide ja.

00:41:53: Wie versucht man den Modell dem möglichst nett hinzuweisen?

00:41:59: Schau doch mal bitte hier nach wenn du jetzt dir unsicher bist!

00:42:03: Naja, wir haben vorhin schon darüber gesprochen welche Möglichkeiten es gibt.

00:42:09: Zum einen kann ich so eine Regel für das Modell definieren die immer aktiv ist für alles was das Model macht und drückt unten drin steht.

00:42:19: Unser Code den wir entwickeln muss Richtlinien entsprechen.

00:42:27: Wenn du eine Aufgabe verrichtest dann durchsuche die Richtlinie nach relevanten Informationen und berücksichtige die für die Umsetzung oder für das Review.

00:42:39: Da muss man dann natürlich darauf achten, dass man diese Regel so formuliert, dass das Modell motiviert ist quasi diesen MCP Server zu benutzen aber möglichst nicht so zu formulieren, dass sich diese Regel ständig aktualisieren muss sondern Also jedes Mal wenn sich was in den Richtlingen ändert, möchte ich nicht diese Regel aktualisieren.

00:43:06: Sondern ich möchte einmal sozusagen diesen Trigger formulieren und der sollte halt stark genug sein dass das Modell motiviert sich auch dieser Werk diesen NCP Server zu benutzen.

00:43:17: aber ich möchte da eigentlich dass sich nur die NCP server damit beschäftigen muss die Dokumente auch aktuell zu halten, die Richtlinien aktuell zu haben.

00:43:26: Das ist dann

00:43:26: eben das coole mit dieser Abstraktion ...

00:43:28: eigentlich

00:43:29: wirklich dem Modell an sich nur sagt, hey hier kannst du suchen und wir uns im Hintergrund dann drum kümmern können was mich denn eigentlich zur Verfügung stellen.

00:43:39: Ja cool!

00:43:40: Jetzt sind wir hier schon relativ lang dabei.

00:43:44: wie siehst Du so Context Engineering vielleicht auch in der Zukunft so ein bisschen weiter wandern?

00:43:51: Ich meine Sie haben ziemlich großes ich sage mal nicht Probleme aber eine große Thematik mit der wir uns heute beschäftigen.

00:43:57: Glaubst du, das wird so relevant bleiben?

00:43:59: Glaubste die Modelle... Wie ist zum Beispiel ganz viel der Modell-Provider auch eine Mümme versuchen zu verkaufen?

00:44:05: Irgendwann brauchst du das alles nicht.

00:44:06: Die Modelle werden so gut.

00:44:08: Wie ist die Story Zukunft ein bisschen?

00:44:10: Ja da gibt es denke ich einen Gedanken, der ganz interessant ist und zwar... ...Context Engineering ist ja letztendlich nicht nur die Kunst mit den aktuellen Modellen überhaupt arbeiten zu können weil sie limitiert sind sondern eigentlich ist es die Kunst mit so wenig Informationen wie möglich effektiv zu arbeiten.

00:44:28: Und wenn ich Context Engineering gut kann, bin ich in der Lage große Aufgaben so runterzubrechen, dass sich sie auch mit Modellen umsetzen kann, die nicht die mächtigsten Modelle sind, die's da draußen am Markt gibt.

00:44:43: und dadurch bin ich dann in der Lage zukünftig vielleicht die Modelle, mit denen ich arbeite selbst zu betreiben indem die Aufgaben so runterbreche, damit ich nicht mehr von Anbietern wie Anthropic und dergleichen abhängig bin um zu effektiven Ergebnissen zu kommen.

00:45:02: Das ist ein sehr, sehr belieber Punkt.

00:45:03: Ich meine dann muss sich die Modelle anschaut werden gerade stärker und sie werden auch intelligenter was auch immer das bedeutet.

00:45:09: aber es wird zurzeit sehr stark vor allem dadurch erreicht dass das mehr Computation Power einfach darauf gepfeffert wird.

00:45:16: Es werden mehr Datencenters gebaut Es wird ja einfach investiert ohne Ende.

00:45:23: Das kann nicht immer so weitergehen, also irgendwann werden all diese großen Unternehmen anfangen müssen zumindest Schwarze Zahlen zu schreiben.

00:45:31: und spätestens an dem Punkt wenn wir dann nicht abhängig davon sein dass du dieses allerbeste alle teuerste Modell eben brauchst.

00:45:39: und das coolen Context Engineering ist eben dass man dann eben versuchen kann auch mit Modellen die günstiger sind oder wie schon meintest vielleicht lokal bei einem auf einem Laptop oder vielleicht auf einer Grafikkarte, die wir zu Hause noch umliegen hat laufen können und dann sehr vergleichbare Ergebnisse wirklich erzielen kann wie mit diesen großen mächtigen Modellen.

00:46:00: Da arbeiten wir jeden Tag, also ein ganz wesentlicher Teil von dem was ich im Moment tue ist zu planen, die Aufgaben, die ich machen möchte runterzubrechen Und ich stelle fest, dass wenn die Midas gut gelingt dann kann ich eine Aufgabe, die ich vorher für dich Opus-Fünf gebraucht hätte.

00:46:17: Da kann ich dann auch Sonnet oder sogar Heiko geben im kleineren Modell von den Vorgaben.

00:46:22: Ja das funktioniert wirklich gut und zeigt auch wie wichtig diese Planung und Vorbereitung ist.

00:46:30: Ich glaube auf der einen Seite verspüren viele Unternehmen diesen Drangrat einfach mit den großen Springen, die AI gemacht hat irgendwie mit auf den Zug zu springen.

00:46:40: Auf der anderen Seite darf man nicht vergessen dass das... ...das man vor allem als Unternehmer in die Zukunft schauen muss und dass man trotzdem versuchen muss auch wenn es gerade sehr verlockend ist ganz schnell ganz viel auf die Beine zu stellen,... ...dass er trotzdem nachhaltig sein muss sondern dass er trotzdem auch in der Zukunft irgendwann noch zuverlässig funktionieren muss.

00:46:57: Und da wollen wir uns v.a.

00:46:59: auch als eine deutsche Industrie sage ich mal nicht davon abhängig machen irgendein amerikanischer Anbieter auf einmal die Preise verdreifachen kann und wir auf einmal dann hier nicht mehr weiterarbeiten können, weil wir uns denken oh... ...die letzten zwei Jahre habe ich mich aber jetzt voll drauf verlassen dass das Modell genau das macht was ich will.

00:47:16: Und auf einmal tut es es nicht mehr.

00:47:18: und jetzt?

00:47:19: Ja deswegen

00:47:20: ja unsere transatlantischen Beziehungen wirklich mir das was sie mal waren.

00:47:24: Das

00:47:25: ist korrekt!

00:47:26: Cool!

00:47:27: Hast du noch irgendwelche abschließenden Gedanken?

00:47:34: Ich finde, wir haben das Thema erst mal ganz gut beleuchtet.

00:47:39: Wir haben so einen gewissen Einblick in alles gegeben was es ungefähr ausmacht.

00:47:46: Ich glaube man könnte so viel über dieses Thema noch sagen und in die Details gehen und unendlich weit einsteigen.

00:47:52: Aber naja... Unendlich viel Zeit haben wir leider

00:47:55: auch.

00:47:56: Vielleicht wachsen wir irgendwann noch über ein anderes Thema.

00:47:58: Es gibt schon mal sehr viele Themen, die rund um LLMs und AI interessant sind.

00:48:04: vielleicht quatschen wir in ein paar Monaten noch mal und dann für irgendetwas anderes cooles Thema.

00:48:08: Ich kann es vielleicht auch uns berichten, wie zufriedene Kunde mit unserem MCPs-Server ist... ...und wie gut es denn auch funktioniert?

00:48:17: Also ich bin sehr gespannt aber ich bin auch sehr zuversichtlich!

00:48:21: Danke Lukas!

00:48:22: Danke fürs hier sein und wird auch das nächste Mal wieder zu!