Parametri di campionamento

Panoramica

Nessuno di questi è obbligatorio. Omettere del tutto un campo significa che il modello usa il proprio valore predefinito per quell'impostazione, che è la scelta giusta per la maggior parte delle richieste; ricorra a questi campi quando una richiesta specifica ha davvero bisogno di più determinismo, più varietà, o una condizione di arresto netta. Ogni valore qui viene validato in ingresso: un valore del tipo sbagliato, o un numero fuori dall'intervallo accettato, viene ignorato silenziosamente solo per quel campo invece di far fallire l'intera richiesta, quindi un parametro di campionamento malformato non trasforma mai una richiesta funzionante in una non funzionante. Se una richiesta si comporta come se un parametro inviato non avesse avuto alcun effetto, la prima cosa da verificare è che rientri nell'intervallo accettato indicato sotto.

Campo	Tipo	Intervallo	Effetto
temperature	number	0–2	Valori più alti rendono l'output più vario e meno prevedibile; valori più bassi lo rendono più mirato e deterministico. 0 equivale quasi a scegliere sempre il token successivo più probabile.
top_p	number	0–1	Nucleus sampling: limita le scelte al più piccolo insieme di token la cui probabilità combinata raggiunge questo valore. Una leva alternativa a temperature per controllare la varietà; la maggior parte delle richieste dovrebbe impostarne uno o l'altro, non entrambi.
presence_penalty	number	-2–2	Valori positivi riducono la probabilità di un token già comparso in qualsiasi punto della risposta finora, incoraggiando il modello a introdurre nuovi argomenti invece di soffermarsi su quelli già menzionati.
frequency_penalty	number	-2–2	Valori positivi riducono la probabilità di un token in proporzione a quante volte è già comparso, scoraggiando la ripetizione delle stesse parole e frasi.
seed	integer	qualsiasi intero	Richiedere lo stesso seed con una richiesta altrimenti identica rende l'output più riproducibile da un'esecuzione all'altra. Non è una garanzia stretta di output identico byte per byte ogni volta, ma riduce in modo significativo la variazione per test e debug.
stop	string o array di stringhe	fino a poche sequenze brevi	La generazione si interrompe nel momento in cui una qualsiasi di queste sequenze comparirebbe nell'output. La sequenza stessa non è inclusa nel testo restituito.

Esempio

{
  "model": "tai-4.1",
  "messages": [{"role": "user", "content": "Bir ürün açıklaması yaz"}],
  "temperature": 0.3,
  "presence_penalty": 0.4,
  "stop": ["###"]
}

Quando usare cosa

Per tutto ciò in cui la coerenza conta più della varietà, estrazione, classificazione, output strutturato, codice, mantenere temperature basso (da 0 a circa 0,3) è di solito la mossa giusta. Per la scrittura a ruota libera, il brainstorming, o qualsiasi cosa in cui preferisce vedere una gamma di output plausibili su chiamate ripetute, un temperature più alto (da 0,7 a 1,0 o oltre) tende a produrre una varietà più interessante. presence_penalty e frequency_penalty vale la pena usarli specificamente quando un modello sta producendo testo ripetitivo, si blocca sulla stessa frase, o ripete lo stesso concetto; sono meno utili come impostazione predefinita generica rispetto a temperature. seed è utile soprattutto durante lo sviluppo e i test, dove riprodurre lo stesso output tra esecuzioni diverse rende il debug di una modifica al prompt molto più semplice rispetto a dover capire se una differenza nell'output derivi dalla sua modifica o dalla normale varianza del campionamento.

Attualmente non supportati

Alcuni campi affini al campionamento presenti nell'API di OpenAI non sono attualmente accettati: n (più completamenti candidati per richiesta; tAI restituisce sempre esattamente uno), logprobs / top_logprobs, e response_format (output in modalità JSON strutturata). Inviare uno qualsiasi di questi non ha alcun effetto; non vengono né validati né applicati. Consulti la pagina Compatibilità con l'SDK OpenAI per l'elenco completo di ciò che è e non è supportato se sta migrando un'integrazione esistente.