SafeEar est un cadre innovant de détection approfondie audio qui permet de détecter les audios manipulés sans se baser sur le contenu vocal. Ce cadre, grâce à la conception d'un codec audio neuronal, sépare les informations sémantiques et acoustiques des échantillons audio, n'utilisant que les informations acoustiques (telles que le rythme et le timbre) pour la détection approfondie, protégeant ainsi la confidentialité du contenu vocal. SafeEar améliore les capacités du détecteur en renforçant le codec en conditions réelles, lui permettant d'identifier divers types d'audios manipulés. Des expériences menées sur quatre ensembles de données de référence montrent l'efficacité remarquable de SafeEar dans la détection de diverses techniques de manipulation, avec un taux d'erreur égal (EER) aussi bas que 2,02 %. Il protège simultanément le contenu vocal de cinq langues contre le décryptage par analyse auditive humaine et machine, prouvé par notre étude utilisateur et un taux d'erreur de mots (WER) supérieur à 93,93 %. De plus, SafeEar établit une référence pour l'évaluation de la contre-manipulation et de la contre-restauration de contenu, jetant les bases de futures recherches dans les domaines de la protection de la vie privée audio et de la détection approfondie.