MoE· Mixture of Experts

Architektura modeli, w której zamiast jednej gigantycznej sieci masz wiele mniejszych 'ekspertów'. Router wybiera tych 2-3, którzy najlepiej pasują do pytania. Efekt: model jest ogromny, ale tani w inferencji.