LLM-as-judge

„AI ocenia AI. Tanie i skalowalne – z poprawkami na bias.”

Klasyk evalowania chatbotów: pytasz judge'a, czy odpowiedź spełnia kryteria (faktyczność, ton, długość). Narzędzia: OpenAI Evals, Promptfoo, Braintrust, LangSmith.

🥚LLM-as-judge to AI w roli mistrza ceremonii: ocenia, kto lepszy. Tylko nie zapomnij, że ma swoje uprzedzenia.