Prompts optimieren

Notebook

Wenn Sie den Vertex AI-Prompt-Optimierer über das Notebook ausführen möchten, erstellen Sie Systemanweisungen und eine Prompt-Vorlage. Gehen Sie dazu so vor:

1. Öffnen Sie in Colab Enterprise das Vertex AI-Notebook für den Prompt-Optimierer.

   Zum Vertex AI-Notebook für den Prompt-Optimierer

2. Führen Sie im Abschnitt Vorlage für Prompts und außerdem Systemanweisungen erstellen die folgenden Schritte aus:

   1. Geben Sie im Feld SYSTEM_INSTRUCTION Ihre Systemanweisungen ein. Beispiel:

      Based on the following images and articles respond to the questions.'\n' Be concise,
      and answer \"I don't know\" if the response cannot be found in the provided articles or images.
      

   2. Geben Sie im Feld PROMPT_TEMPLATE Ihre Prompt-Vorlage ein. Beispiel:

      Article 1:\n\n{article_1}\n\nImage 1:\n\n{image_1} @@@image/jpeg\n\nQuestion: {question}
      

   3. Wenn Sie Ihre Prompts mit question_answering_correctness oder auf Berechnungen basierenden Auswertungen optimieren möchten, müssen Sie einen der folgenden Schritte ausführen:

   • Fügen Sie der Promptvorlage die Variable {target} hinzu, um die Grundwahrheit-Antwort des Prompts darzustellen. Beispiel:

     Article 1:\n\n{article_1}\n\nImage 1:\n\n{image_1} @@@image/jpeg\n\nQuestion: {question}\n\n Answer: {target}
     

   • Wenn Sie keine Grundwahrheit-Antworten für Ihre Prompts haben, die Prompts aber bereits mit einem Google-Modell verwendet und die gewünschten Ergebnisse erzielt haben, können Sie Ihrer Konfiguration den Parameter source_model hinzufügen, anstatt Grundwahrheit-Antworten hinzuzufügen. Wenn der Parameter source_model festgelegt ist, führt der Vertex AI-Prompt-Optimierer Ihre Beispielprompts auf dem Quellmodell aus, um die Grundwahrheit-Antworten für Sie zu generieren.

SDK

Wenn Sie den Vertex AI Prompt Optimizer über das SDK ausführen möchten, ohne das Notebook zu verwenden, erstellen Sie Textdateien für Ihre Promptvorlage und Systemanweisungen. Gehen Sie dazu so vor:

1. Erstellen Sie eine Textdatei für Ihre Systemanweisungen.

2. Definieren Sie in der Textdatei Ihre Systemanweisungen an die Textdatei. Beispiel:

   Based on the following images and articles respond to the questions.'\n' Be concise, and answer \"I don't know\" if the response cannot be found in the provided articles or images.
   

3. Erstellen Sie eine Textdatei für Ihre Prompt-Vorlage.

4. Definieren Sie in der Textdatei eine Promptvorlage, die eine oder mehrere Variablen enthält. Beispiel:

   Article 1:\n\n{article_1}\n\nImage 1:\n\n{image_1} @@@image/jpeg\n\nQuestion: {question}
   

5. Wenn Sie Ihre Prompts mit question_answering_correctness oder auf Berechnungen basierenden Auswertungen optimieren möchten, müssen Sie einen der folgenden Schritte ausführen:

   • Fügen Sie der Promptvorlage die Variable {target} hinzu, um die Grundwahrheit-Antwort des Prompts darzustellen. Beispiel:

     Article 1:\n\n{article_1}\n\nImage 1:\n\n{image_1} @@@image/jpeg\n\nQuestion: {question}\n\n Answer: {target}
     

   • Wenn Sie keine Grundwahrheit-Antworten für Ihre Prompts haben, die Prompts aber bereits mit einem Google-Modell verwendet und die gewünschten Ergebnisse erzielt haben, können Sie Ihrer Konfiguration den Parameter source_model hinzufügen, anstatt Grundwahrheit-Antworten hinzuzufügen. Wenn der Parameter source_model festgelegt ist, führt der Vertex AI-Prompt-Optimierer Ihre Beispielprompts auf dem Quellmodell aus, um die Grundwahrheit-Antworten für Sie zu generieren.

JSONL-Datei

1. Erstellen Sie eine JSONL-Datei.

2. Fügen Sie der JSONL-Datei die Prompt-Daten hinzu, die jede Variable ersetzen. Beispiel:

   {"article_1": "The marine life …", "image_1": "gs://path_to_image", "Question": "What are some most effective ways to reduce ocean pollution?", "target": "The articles and images don't answer this question."}
   
   {"article_1": "During the year …", "image_1": "gs://path_to_image", "Question": "Who was the president in 2023?", "target": "Joe Biden"}
   

3. JSONL-Datei in einen Cloud Storage-Bucket hochladen

CSV-Datei

1. CSV-Datei erstellen
2. Fügen Sie in der ersten Zeile die Variablen aus Ihrer Promptvorlage ein.
3. Fügen Sie in den folgenden Zeilen die Beispieldaten hinzu, die die einzelnen Variablen ersetzen.
4. CSV-Datei in einen Cloud Storage-Bucket hochladen

Notebook

Wenn Sie den Vertex AI-Prompt-Optimierer über das Notebook ausführen möchten, erstellen Sie eine Konfiguration, indem Sie Folgendes tun:

1. Öffnen Sie in Colab Enterprise das Vertex AI-Notebook für den Prompt-Optimierer.

   Zum Vertex AI-Notebook für den Prompt-Optimierer

2. Führen Sie im Abschnitt Projekteinstellungen konfigurieren die folgenden Schritte aus:

   1. Geben Sie im Feld PROJECT_ID Ihre Projekt-ID ein.
   2. Geben Sie im Feld LOCATION den Standort ein, an dem Sie den Vertex AI-Prompt-Optimierer ausführen möchten.
   3. Geben Sie im Feld OUTPUT_PATH den URI für den Cloud Storage-Bucket ein, in den der Vertex AI-Prompt-Optimierer die optimierten Systemanweisungen und/oder Few-Shot-Beispiele schreiben soll. Beispiel: gs://bucket-name/output-path.
   4. Geben Sie im Feld INPUT_PATH den URI für die Beispielprompts in Ihrem Cloud Storage-Bucket ein. Beispiel: gs://bucket-name/sample-prompts.jsonl

3. Führen Sie im Abschnitt Optimierungseinstellungen konfigurieren die folgenden Schritte aus:

   1. Geben Sie im Feld TARGET_MODEL das Modell ein, für das Sie Prompts optimieren möchten.
   2. Geben Sie in OPTIMIZATION_MODE den gewünschten Optimierungsmodus ein. Muss instruction oder demonstration oder instruction_and_demo sein.
   3. Geben Sie im Feld EVAL_METRIC einen Bewertungs-Messwert ein, für den Sie Ihre Prompts optimieren möchten.
   4. Optional: Geben Sie im Feld SOURCE_MODEL das Google-Modell ein, mit dem die Systemanweisungen und Prompts zuvor verwendet wurden. Wenn der Parameter source_model festgelegt ist, führt der Vertex AI-Prompt-Optimierer Ihre Beispielprompts auf dem Quellmodell aus, um die Grundwahrheit-Antworten für Sie zu generieren. Das ist für Bewertungsmesswerte erforderlich, für die Grundwahrheit-Antworten erforderlich sind. Wenn Sie Ihre Prompts noch nicht mit einem Google-Modell ausgeführt haben oder Ihre Zielergebnisse nicht erreicht haben, fügen Sie dem Prompt stattdessen Grundwahrheit-Antworten hinzu. Weitere Informationen finden Sie in diesem Dokument im Abschnitt Prompt und Systemanweisungen erstellen.

4. Optional: Im Abschnitt Erweiterte Optimierungseinstellungen konfigurieren können Sie Ihrer Konfiguration zusätzlich einen der optionalen Parameter hinzufügen.

Optionale Parameter ansehen
• Geben Sie im Feld NUM_INST_OPTIMIZATION_STEPS die Anzahl der Iterationen ein, die der Vertex AI-Prompt-Optimierer im Optimierungsmodus für Anleitungen verwendet. Die Laufzeit steigt linear, wenn Sie diesen Wert erhöhen. Muss eine Ganzzahl zwischen 10 und 20 sein. Wenn nicht festgelegt, ist der Standardwert 10.
• Geben Sie im Feld NUM_TEMPLATES_PER_STEP die Anzahl der Systemanweisungen ein, die der Vertex AI-Prompt-Optimierer generiert und bewertet. Wird mit dem Optimierungsmodus instruction und instruction_and_demo verwendet. Muss eine Ganzzahl zwischen 1 und 4 sein. Wenn nicht festgelegt, ist der Standardwert 2.
• Geben Sie im Feld NUM_DEMO_OPTIMIZATION_STEPS die Anzahl der Demonstrationen ein, die der Vertex AI-Prompt-Optimierer bewertet. Wird mit dem Optimierungsmodus demonstration und instruction_and_demo verwendet. Muss eine Ganzzahl zwischen 10 und 30 sein. Wenn nicht festgelegt, ist der Standardwert 10.
• Geben Sie im Feld NUM_DEMO_PER_PROMPT die Anzahl der Demonstrationen ein, die pro Prompt generiert werden. Muss eine Ganzzahl zwischen 3 und 6 sein. Wenn nicht festgelegt, ist der Standardwert 3.
• Geben Sie im Feld TARGET_MODEL_QPS die Abfragen pro Sekunde (QPS) ein, die der Vertex AI-Prompt-Optimierer an das Zielmodell sendet. Die Laufzeit nimmt linear ab, wenn Sie diesen Wert erhöhen. Muss ein Gleitkommazahl sein, der mindestens 3.0 beträgt, aber kleiner als das QPS-Kontingent ist, das Sie für das Zielmodell haben. Wenn nicht festgelegt, ist der Standardwert 3.0.
• Geben Sie im Feld SOURCE_MODEL_QPS die Anzahl der Abfragen pro Sekunde (QPS) ein, die der Vertex AI-Prompt-Optimierer an das Quellmodell sendet. Muss ein Gleitkommazahl sein, der mindestens 3.0, aber kleiner als das Abfragekontingent pro Sekunde für das Quellmodell ist. Wenn nicht festgelegt, ist der Standardwert 3.0.
• Geben Sie im Feld EVAL_QPS die Anzahl der Abfragen pro Sekunde (Queries per Second, QPS) ein, die der Vertex AI-Prompt-Optimierer an das Bewertungsmodell gemini-1.5-pro sendet.
  • Bei modellbasierten Messwerten muss es sich um eine Gleitkommazahl handeln, die mindestens 3.0 beträgt, aber kleiner als das Kontingent ist, das Sie für gemini-1.5-pro haben. Wenn nicht festgelegt, ist der Standardwert 3.0.
  • Bei benutzerdefinierten Messwerten muss es sich um eine Gleitkommazahl handeln, die 3.0 oder größer ist. Damit wird die Häufigkeit festgelegt, mit der der Vertex AI-Prompt-Optimierer Ihre Cloud Run-Funktionen mit benutzerdefinierten Messwerten aufruft.
• Wenn Sie mehr als einen Bewertungs-Messwert verwenden möchten, gehen Sie so vor:
  1. Geben Sie im Feld EVAL_METRIC_1 einen zu verwendenden Evaluierungs-Messwert ein.
  2. Geben Sie im Feld EVAL_METRIC_1_WEIGHT das Gewichtung ein, das der Vertex AI-Prompt-Optimierer bei der Optimierung verwenden soll.
  3. Geben Sie im Feld EVAL_METRIC_2 einen zu verwendenden Evaluierungs-Messwert ein.
  4. Geben Sie im Feld EVAL_METRIC_2_WEIGHT das Gewichtung ein, das der Vertex AI-Prompt-Optimierer bei der Optimierung verwenden soll.
  5. Geben Sie optional im Feld EVAL_METRIC_3 einen Bewertungs-Messwert ein, den Sie verwenden möchten.
  6. Geben Sie optional im Feld EVAL_METRIC_3_WEIGHT das Gewichtung ein, das der Vertex AI-Prompt-Optimierer bei der Optimierung verwenden soll.
  7. Geben Sie im Feld METRIC_AGGREGATION_TYPE das Gewichtung ein, das der Vertex AI-Prompt-Optimierer bei der Optimierung verwenden soll.
• Geben Sie im Feld PLACEHOLDER_TO_VALUE die Informationen ein, die alle Variablen in den Systemanweisungen ersetzen. Informationen, die in diesem Flag enthalten sind, werden nicht vom Vertex AI-Prompt-Optimierer optimiert.
• Geben Sie im Feld RESPONSE_MIME_TYPE den MIME-Antworttyp ein, der vom Zielmodell verwendet wird. Muss text/plain oder application/json sein. Wenn nicht festgelegt, ist der Standardwert text/plain.
• Geben Sie im Feld TARGET_LANGUAGE die Sprache der Systemanweisungen ein. Wenn nicht festgelegt, ist die Standardsprache Englisch.

SDK

Wenn Sie den Vertex AI Prompt Optimizer über das SDK ausführen möchten, erstellen Sie eine JSON-Datei mit den Parametern, die Sie zum Optimieren von Prompts verwenden möchten. Gehen Sie dazu so vor:

1. Erstellen Sie eine JSON-Datei mit den Parametern, die Sie zum Optimieren Ihrer Prompts verwenden möchten. Für jede Konfigurationsdatei sind die folgenden Parameter erforderlich:

   {
    "project": "PROJECT_ID",
    "system_instruction_path": "SYSTEM_INSTRUCTION_PATH",
    "prompt_template_path": "PROMPT_TEMPLATE_PATH",
    "target_model": "TARGET_MODEL",
    EVALUATION_METRIC_PARAMETERS,
    "optimization_mode": "OPTIMIZATION_MODE",
    "input_data_path": "SAMPLE_PROMPT_URI",
    "output_path": "OUTPUT_URI"
   }
   

   Ersetzen Sie Folgendes:

   • PROJECT_ID: Ihre Projekt-ID.
   • SYSTEM_INSTRUCTION_PATH: Der URI für die Systemanweisungen in Ihrem Cloud Storage-Bucket. Beispiel: gs://bucket-name/system-instruction.txt
   • PROMPT_TEMPLATE: Der URI für die Promptvorlage in Ihrem Cloud Storage-Bucket. Beispiel: gs://bucket-name/prompt-template.txt
   • TARGET_MODEL: Das Modell, für das Sie Prompts optimieren möchten.

   • EVALUATION_METRIC_PARAMETERS: Die von Ihnen angegebenen Parameter hängen davon ab, wie viele Auswertungs-Messwerte Sie verwenden und ob es sich um Standard- oder benutzerdefinierte Messwerte handelt:

     Einzelner Standardmesswert

     Wenn Sie einen einzelnen Standardmesswert für die Bewertung verwenden, nutzen Sie den folgenden Parameter:

      "eval_metric": "EVALUATION_METRIC",
      

     Ersetzen Sie EVALUATION_METRIC durch die Messgröße, für die Sie Ihre Prompts optimieren möchten.

     Einzelner benutzerdefinierter Messwert

     Wenn Sie einen einzelnen benutzerdefinierten Bewertungsmesswert verwenden, nutzen Sie die folgenden Parameter:

     "eval_metric": "custom_metric",
     "custom_metric_name": "CUSTOM_METRIC_NAME",
     "custom_metric_cloud_function_name": "FUNCTION_NAME",
     

     Ersetzen Sie Folgendes:

     • CUSTOM_METRIC_NAME: Der Name des Messwerts, wie er durch den Schlüssel definiert wird, der mit dem final_score übereinstimmt. Beispiel: custom_accuracy.
     • FUNCTION_NAME: der Name der Cloud Run-Funktion, die Sie zuvor bereitgestellt haben.

     Mehrere Standardmesswerte

     Wenn Sie mehrere Standardbewertungsmesswerte verwenden, nutzen Sie die folgenden Parameter:

     "eval_metrics_types": [EVALUATION_METRIC_LIST],
     "eval_metrics_weights": [EVAL_METRICS_WEIGHTS],
     "aggregation_type": "METRIC_AGGREGATION_TYPE",
     

     Ersetzen Sie Folgendes:

     • EVALUATION_METRIC_LIST: Eine Liste mit Messwerten für die Bewertung. muss ein Array sein. Beispiel: "bleu", "summarization_quality"
     • EVAL_METRICS_WEIGHTS: das Gewicht für jeden Messwert. muss ein Array sein.
     • METRIC_AGGREGATION_TYPE: Der Typ der Aggregation, die für die Bewertungsstatistiken verwendet wird. Muss weighted_sum oder weighted_average sein. Wenn nicht festgelegt, ist der Standardwert weighted_sum.

     Mehrere Standard- und benutzerdefinierte Messwerte

     Wenn Sie mehrere Bewertungskennzahlen verwenden, die eine Mischung aus einem einzelnen benutzerdefinierten Messwert und einem oder mehreren Standardmesswerten enthalten, verwenden Sie die folgenden Parameter:

     "eval_metrics_types": ["custom_metric", EVALUATION_METRIC_LIST],
     "eval_metrics_weights": [EVAL_METRICS_WEIGHTS],
     "aggregation_type": "METRIC_AGGREGATION_TYPE",
     "custom_metric_name": "CUSTOM_METRIC_NAME",
     "custom_metric_cloud_function_name": "FUNCTION_NAME",
     

     Ersetzen Sie Folgendes:

     • EVALUATION_METRIC_LIST: Eine Liste der Standardmesswerte für die Bewertung. muss ein Array sein. Beispiel: "bleu", "summarization_quality"
     • EVAL_METRICS_WEIGHTS: das Gewicht für jeden Messwert. muss ein Array sein.
     • METRIC_AGGREGATION_TYPE: Der Typ der Aggregation, die für die Bewertungsstatistiken verwendet wird. Muss weighted_sum oder weighted_average sein. Wenn nicht festgelegt, ist der Standardwert weighted_sum.
     • CUSTOM_METRIC_NAME: Der Name des Messwerts, wie er durch den Schlüssel definiert wird, der mit dem final_score übereinstimmt. Beispiel: custom_accuracy
     • FUNCTION_NAME: der Name der Cloud Run-Funktion, die Sie zuvor bereitgestellt haben.

   • OPTIMIZATION_MODE: Der Optimierungsmodus. Muss instruction oder demonstration oder instruction_and_demo sein.

   • SAMPLE_PROMPT_URI: Der URI für die Beispielprompts in Ihrem Cloud Storage-Bucket. Beispiel: gs://bucket-name/sample-prompts.jsonl

   • OUTPUT_URI: Der URI für den Cloud Storage-Bucket, in den der Vertex AI-Prompt-Optimierer die optimierten Systemanweisungen und/oder Few-Shot-Beispiele schreiben soll. Beispiel: gs://bucket-name/output-path.

2. Sie können Ihrer Konfigurationsdatei auch einen der optionalen Parameter hinzufügen.

   Optionale Parameter sind in fünf Kategorien unterteilt:

   • Parameter für den Optimierungsprozess: Diese Parameter steuern den gesamten Optimierungsprozess, einschließlich seiner Dauer und der Anzahl der Optimierungsiterationen, die ausgeführt werden. Dies wirkt sich direkt auf die Qualität der Optimierungen aus.
   • Modellauswahl und Standortparameter: Mit diesen Parametern wird angegeben, welche Modelle der Vertex AI-Prompt-Optimierer verwendet und an welchen Standorten er diese Modelle einsetzt.
   • Parameter für die Latenz (Abfragen pro Sekunde, QPS) Diese Parameter steuern die Anfragen pro Sekunde und wirken sich auf die Geschwindigkeit des Optimierungsprozesses aus.
   • Sonstige Andere Parameter, die die Struktur und den Inhalt von Prompts steuern.
     Optionale Parameter ansehen

     "num_steps": NUM_INST_OPTIMIZATION_STEPS,
     "num_template_eval_per_step": NUM_TEMPLATES_PER_STEP,
     "num_demo_set_candidates": "NUM_DEMO_OPTIMIZATION_STEPS,
     "demo_set_size": NUM_DEMO_PER_PROMPT,
     "target_model_location": "TARGET_MODEL_LOCATION",
     "source_model": "SOURCE_MODEL",
     "source_model_location": "SOURCE_MODEL_LOCATION",
     "target_model_qps": TARGET_MODEL_QPS,
     "eval_qps": EVAL_QPS,
     "source_model_qps": SOURCE_MODEL_QPS,
     "response_mime_type": "RESPONSE_MIME_TYPE",
     "language": "TARGET_LANGUAGE",
     "placeholder_to_content": "PLACEHOLDER_TO_CONTENT",
     "data_limit": DATA_LIMIT
     

     Ersetzen Sie Folgendes:

     • Parameter für den Optimierungsprozess:

       • NUM_INST_OPTIMIZATION_STEPS: Die Anzahl der Iterationen, die der Vertex AI-Prompt-Optimierer im Modus zur Optimierung von Anleitungen verwendet. Die Laufzeit steigt linear, wenn Sie diesen Wert erhöhen. Muss eine Ganzzahl zwischen 10 und 20 sein. Wenn nicht festgelegt, ist der Standardwert 10.
       • NUM_TEMPLATES_PER_STEP: die Anzahl der Systemanweisungen, die der Vertex AI-Prompt-Optimierer generiert und bewertet. Wird mit dem Optimierungsmodus instruction und instruction_and_demo verwendet. Muss eine Ganzzahl zwischen 1 und 4 sein. Wenn nicht festgelegt, ist der Standardwert 2.
       • NUM_DEMO_OPTIMIZATION_STEPS: Die Anzahl der Demonstrationen, die der Vertex AI-Prompt-Optimierer auswertet. Wird mit dem Optimierungsmodus demonstration und instruction_and_demo verwendet. Muss eine Ganzzahl zwischen 10 und 30 sein. Wenn nicht festgelegt, ist der Standardwert 10.
       • NUM_DEMO_PER_PROMPT: Die Anzahl der Demonstrationen, die pro Prompt generiert werden. Muss eine Ganzzahl zwischen 3 und 6 sein. Wenn nicht festgelegt, ist der Standardwert 3.

     • Modellauswahl und Standortparameter:

       • TARGET_MODEL_LOCATION: Standort, an dem das Zielmodell ausgeführt werden soll. Wenn nicht festgelegt, ist der Standardwert us-central1.
       • SOURCE_MODEL: Das Google-Modell, mit dem die Systemanweisungen und Prompts zuvor verwendet wurden. Wenn der Parameter source_model festgelegt ist, führt Vertex AI Ihre Beispielprompts im Quellmodell aus, um die Grundwahrheit-Antworten für Sie zu generieren. Das ist für Bewertungsmesswerte erforderlich, für die Grundwahrheit-Antworten erforderlich sind. Wenn Sie Ihre Prompts zuvor nicht mit einem Google-Modell ausgeführt haben oder die gewünschten Ergebnisse nicht erzielt haben, fügen Sie Ihrem Prompt stattdessen Grundwahrheit-Antworten hinzu. Weitere Informationen finden Sie in diesem Dokument im Abschnitt Prompt und Systemanweisungen erstellen.
       • SOURCE_MODEL_LOCATION: Standort, an dem das Quellmodell ausgeführt werden soll. Wenn nicht festgelegt, ist der Standardwert us-central1.

     • Parameter für die Latenz (Abfragen pro Sekunde, QPS):

       • TARGET_MODEL_QPS: die Anfragen pro Sekunde (Queries per Second, QPS), die der Vertex AI-Prompt-Optimierer an das Zielmodell sendet. Die Laufzeit nimmt linear ab, wenn Sie diesen Wert erhöhen. Muss ein Gleitkommazahl sein, der mindestens 3.0 beträgt, aber kleiner als das QPS-Kontingent ist, das Sie für das Zielmodell haben. Wenn nicht festgelegt, ist der Standardwert 3.0.
       • EVAL_QPS: die Anfragen pro Sekunde (QPS), die der Vertex AI-Prompt-Optimierer an das Bewertungsmodell gemini-1.5-pro sendet.
         • Bei modellbasierten Messwerten muss es sich um eine Gleitkommazahl handeln, die mindestens 3.0 beträgt, aber kleiner als das Kontingent ist, das Sie für gemini-1.5-pro haben. Wenn nicht festgelegt, ist der Standardwert 3.0.
         • Bei benutzerdefinierten Messwerten muss es sich um eine Gleitkommazahl handeln, die 3.0 oder größer ist. Damit wird die Häufigkeit festgelegt, mit der der Vertex AI-Prompt-Optimierer Ihre Cloud Run-Funktionen mit benutzerdefinierten Messwerten aufruft.
       • SOURCE_MODEL_QPS: die Anfragen pro Sekunde (Queries per Second, QPS), die der Vertex AI-Prompt-Optimierer an das Quellmodell sendet. Muss ein Gleitkommazahl sein, der mindestens 3.0, aber kleiner als das Abfragekontingent pro Sekunde für das Quellmodell ist. Wenn nicht festgelegt, ist der Standardwert 3.0.

     • Sonstige Parameter:

       • RESPONSE_MIME_TYPE: Der MIME-Antworttyp, der vom Zielmodell verwendet wird. Muss text/plain oder application/json sein. Wenn nicht festgelegt, ist der Standardwert text/plain.
       • TARGET_LANGUAGE: die Sprache der Systemanweisungen. Wenn nicht festgelegt, ist die Standardsprache Englisch.
       • PLACEHOLDER_TO_CONTENT: Die Informationen, die alle Variablen in den Systemanweisungen ersetzen. Informationen, die in diesem Flag enthalten sind, werden nicht vom Vertex AI Prompt Optimizer optimiert.
       • DATA_LIMIT: die Menge der für die Validierung verwendeten Daten. Die Laufzeit steigt linear mit diesem Wert. Muss eine Ganzzahl zwischen 5 und 100 sein. Wenn nicht festgelegt, ist der Standardwert 100.

3. Laden Sie die JSON-Datei in einen Cloud Storage-Bucket hoch.

Notebook

Wenn Sie die Ergebnisse des Vertex AI-Prompt-Optimierers über das Notebook aufrufen möchten, gehen Sie so vor:

1. Öffnen Sie das Vertex AI-Notebook für den Prompt-Optimierer.

2. Führen Sie im Abschnitt Ergebnisse prüfen folgende Schritte aus:

   1. Fügen Sie dem Feld RESULT_PATH den URI des Cloud Storage-Buckets hinzu, in den der Vertex AI-Prompt-Optimierer Ergebnisse schreiben soll. Beispiel: gs://bucket-name/output-path.

   2. Klicken Sie auf play_circle Zelle ausführen.

Console

1. Wechseln Sie in der Google Cloud Console unter „Vertex AI“ zur Seite Trainingspipelines.

   Zur Trainingspipeline

2. Klicken Sie auf den Tab Benutzerdefinierte Jobs. Der benutzerdefinierte Trainingsjob des Vertex AI-Prompt-Optimierers wird zusammen mit seinem Status in der Liste angezeigt.

Wenn der Job abgeschlossen ist, können Sie die Optimierungen so überprüfen:

1. Wechseln Sie in der Google Cloud Console unter „Cloud Storage“ zur Seite Buckets:

   Buckets aufrufen

2. Klicken Sie den Name Ihres Cloud Storage-Buckets

3. Rufen Sie den Ordner auf, der den Namen des Optimierungsmodus hat, mit dem Sie die Prompts bewertet haben, also entweder instruction oder demonstration. Wenn Sie den Modus instruction_and_demo verwendet haben, werden beide Ordner angezeigt. Der Ordner instruction enthält die Ergebnisse der Systemanweisungsoptimierung, während der Ordner demonstration die Ergebnisse der demonstration-Optimierung und die optimierten Systemanweisungen enthält.

   Der Ordner enthält die folgenden Dateien:

   • config.json: die vollständige Konfiguration, die der Vertex AI-Prompt-Optimierer verwendet hat.
   • templates.json: jede Gruppe von Systemanweisungen und/oder Few-Shot-Beispielen, die der Vertex AI-Prompt-Optimierer generiert hat und deren Bewertung.
   • eval_results.json: Die Antwort des Zielmodells für jeden Beispiel-Prompt, für jeden Satz generierter Systemanweisungen und/oder Few-Shot-Beispiele und deren Bewertungsbewertung.
   • optimized_results.json: Die leistungsstärksten Systemanweisungen und/oder Few-Shot-Beispiele und deren Bewertungsbewertung.

4. Die optimierten Systemanweisungen finden Sie in der Datei optimized_results.json.