Entropia

Entropia: Misura dell’incertezza media di una distribuzione di probabilità, massima quando gli esiti sono equamente distribuiti. In bit usa il logaritmo in base due; in nat quello naturale. È alla base di cross-entropy, information gain e valutazione della diversità delle predizioni.