A amostragem baseada em entropia é uma técnica de amostragem baseada na teoria da entropia, usada para melhorar a diversidade e a precisão de modelos de linguagem na geração de texto. Essa técnica avalia a incerteza do modelo calculando a entropia e a entropia da variância da distribuição de probabilidade, ajustando assim a estratégia de amostragem quando o modelo pode cair em um ótimo local ou ficar excessivamente confiante. Este método ajuda a evitar repetições monótonas na saída do modelo, ao mesmo tempo em que aumenta a diversidade da saída quando a incerteza do modelo é alta.