Le problème n'est pas exactement que vous pouvez supprimer les morceaux une fois qu'ils sont dans iTunes : c'est que la configuration par défaut d'iTunes laisse votre fichier original là où il était et en fait une nouvelle copie dans le dossier musical d'iTunes. La première chose à faire est donc de déterminer si c'est ainsi que votre iTunes est configuré, c'est-à-dire si vous avez réellement des doublons des fichiers. Dans iTunes, ouvrez les Préférences (menu "iTunes" --> Préférences), allez dans l'onglet Avancé, et voyez si "Copier les fichiers " est coché.
Si c'est le cas, et que vous ajoutez des fichiers en les faisant glisser dans iTunes, vous avez raison : vous avez beaucoup de doublons qui traînent. Dans ce cas, vous devez rechercher tous les fichiers musicaux en double sur votre ordinateur. Il y a beaucoup d'applications qui font cela cherchez sur Google "mac duplicate remover" ou cherchez "duplicate" sur l'App Store. J'aime personnellement DupeGuru ME - Il est très puissant et vous donne la possibilité de passer en revue tous les doublons supposés avant de les éliminer.
Pour l'avenir, iTunes a en fait une solution à ce problème elle est simplement mal implémentée. Dans le dossier iTunes Media (peut-être appelé dossier iTunes Music, si vous êtes sur une ancienne version d'iTunes - l'emplacement par défaut est Music/iTunes/iTunes Media), il y a un dossier "Ajouter automatiquement à iTunes". Tout ce qui est déposé dans ce dossier sera ajouté à iTunes sans être dupliqué. Je garde ce dossier dans la barre latérale de ma fenêtre Finder pour qu'il soit toujours à portée de main.