MoE

Mixture of Experts

È uun acronimo utilizzato per indicare una tecnica di machine learning che, a differenza della ensemble learning (tecnica d’insieme) utilizza più reti di esperti (learners) per dividere uno spazio in più regioni omogenee; questo comporta l’esecuzione di uno o pochi modelli di esperti e non una combinazione totale di tutti i modelli.

Inizialmente veniva utilizzato prima del deep learning poi, data la sua semplicità ed economicità nei costi di elaborazione, ha trovato applicazioni nell’esecuzione dei model Transformer (machine learning model), come un modo semplice per eseguire calcoli condizionali (classe di algoritmi in cui ciascun campione di input utilizza una parte diversa del modello, in modo tale che in media il calcolo, la latenza o la potenza, a seconda del nostro obiettivo, siano ridotti).

Un esempio di applicazione pratica sono i modelli linguistici utilizzati da Google.