Narzędzia i protokoły
Streaming output
„Tekst pojawia się słowo po słowie, nie czekasz 20 sekund na block.”
API: parametr stream: true. UX: użytkownik czuje, że coś się dzieje. Trudność: nie znasz pełnej odpowiedzi na końcu – trzeba akumulować i parsować streamem.
Po co Ci to: Perceived latency – największy wpływ na user experience.
🥚Streaming = 'gada zanim skończy myśleć'. Lepiej tak niż 8s ciszy.