Örnekleme Parametreleri

Genel bakış

Bunların hiçbiri zorunlu değildir. Bir alanı tamamen atlamak, modelin o ayar için kendi varsayılanını kullanacağı anlamına gelir; bu da çoğu istek için doğru seçimdir. Belirli bir isteğin gerçekten daha fazla belirlilik, daha fazla çeşitlilik veya kesin bir durdurma koşuluna ihtiyacı olduğunda bunlara başvurun. Buradaki her değer girişte doğrulanır: yanlış türde bir değer veya kabul edilen aralığın dışında bir sayı, tüm isteğin başarısız olmasına neden olmak yerine yalnızca o alan için sessizce yok sayılır; bu yüzden hatalı biçimlendirilmiş bir örnekleme parametresi, çalışan bir isteği asla bozuk bir isteğe dönüştürmez. Bir istek, gönderdiğiniz bir parametrenin hiçbir etkisi yokmuş gibi davranıyorsa, kontrol edilecek ilk şey onun aşağıdaki kabul edilen aralıkta olup olmadığıdır.

Alan	Tür	Aralık	Etki
temperature	number	0–2	Daha yüksek değerler çıktıyı daha çeşitli ve daha az öngörülebilir yapar; daha düşük değerler onu daha odaklı ve belirlenimci (deterministic) yapar. 0, her zaman bir sonraki en olası token'ı seçmeye yakındır.
top_p	number	0–1	Nucleus sampling: seçimleri, birleşik olasılığı bu değere ulaşan en küçük token kümesiyle sınırlar. Çeşitliliği kontrol etmek için temperature'a alternatif bir kontrol; çoğu istek ikisinden birini ayarlamalı, ikisini birden değil.
presence_penalty	number	-2–2	Pozitif değerler, yanıtta şimdiye kadar herhangi bir yerde zaten görünmüş bir token'ın olasılığını azaltır; bu, modeli halihazırda bahsedilen konularda takılıp kalmak yerine yeni konular getirmeye teşvik eder.
frequency_penalty	number	-2–2	Pozitif değerler, bir token'ın olasılığını daha önce kaç kez göründüğüyle orantılı olarak azaltır; bu, aynı kelime ve ifadelerin tekrarını caydırır.
seed	integer	herhangi bir tam sayı	Aksi takdirde aynı olan bir istekle aynı seed'i istemek, çıktıyı çalıştırmadan çalıştırmaya daha yeniden üretilebilir yapar. Her seferinde bayt bayt aynı çıktının kesin bir garantisi değildir, ancak test ve hata ayıklama için değişkenliği anlamlı şekilde azaltır.
stop	string ya da string'lerden oluşan array	birkaç kısa diziye kadar	Üretim, bu dizilerden herhangi biri çıktıda görüneceği anda durur. Dizinin kendisi döndürülen metne dahil edilmez.

Örnek

{
  "model": "tai-4.1",
  "messages": [{"role": "user", "content": "Bir ürün açıklaması yaz"}],
  "temperature": 0.3,
  "presence_penalty": 0.4,
  "stop": ["###"]
}

Hangi durumda hangisine başvurulur

Tutarlılığın çeşitlilikten daha önemli olduğu her şey için, çıkarım (extraction), sınıflandırma, yapılandırılmış çıktı, kod, temperature'ı düşük tutmak (0 ile yaklaşık 0.3 arası) genellikle doğru harekettir. Açık uçlu yazım, beyin fırtınası veya tekrarlanan çağrılarda makul çıktılardan oluşan bir yelpaze görmeyi tercih edeceğiniz her şey için, daha yüksek bir temperature (0.7 ile 1.0 veya ötesi) genellikle daha ilginç bir çeşitlilik üretir. presence_penalty ve frequency_penalty, özellikle bir model tekrarlayan metin üretiyorsa, aynı ifade üzerinde döngüye giriyorsa veya aynı noktayı tekrar ediyorsa başvurmaya değer; genel amaçlı bir varsayılan olarak temperature kadar kullanışlı değillerdir. seed, öncelikle geliştirme ve test sırasında kullanışlıdır; çalıştırmalar arasında aynı çıktıyı yeniden üretmek, bir çıktıdaki farkın sizin değişikliğinizden mi yoksa sıradan örnekleme varyansından mı geldiğini araştırmaktan çok daha kolay bir şekilde bir prompt değişikliğinde hata ayıklamayı sağlar.

Şu anda desteklenmeyenler

OpenAI'nin kendi API'sinde bulunan, örneklemeye yakın birkaç alan şu anda kabul edilmiyor: n (istek başına birden fazla aday tamamlama; tAI her zaman tam olarak bir tane döndürür), logprobs / top_logprobs ve response_format (yapılandırılmış JSON modu çıktısı). Bunlardan herhangi birini göndermenin hiçbir etkisi yoktur; ne doğrulanır ne de uygulanır. Mevcut bir entegrasyonu taşıyorsanız, nelerin desteklenip nelerin desteklenmediğinin eksiksiz listesi için OpenAI SDK Uyumluluğu sayfasına bakın.