0 votes

Comment les appareils iOS peuvent-ils effectuer un apprentissage automatique sur les photos alors que la plupart d'entre elles sont téléchargées sur iCloud ?

Lorsque l'option iCloud photo est activée, toutes les photos sont téléchargées sur iCloud et seule une copie en basse résolution est enregistrée sur le téléphone pour la navigation, la photo en haute résolution étant téléchargée à la demande si l'utilisateur clique dessus.

L'application Photos effectue un apprentissage automatique sur l'appareil lorsque celui-ci n'est pas utilisé et qu'il est en charge (généralement pendant que vous dormez) afin de détecter les visages dans votre photothèque et de créer ainsi des "albums de personnes". Il ne s'agit là que d'un exemple de l'utilisation de l'apprentissage automatique par l'application.

Ce qui me perturbe, c'est que les images basse résolution ne sont tout simplement pas assez bonnes pour effectuer une analyse ML, en particulier pour la détection des visages. Alors comment peut-il analyser ces photos à faible résolution et donner une prédiction correcte ?

J'ai deux hypothèses :

  • Peu importe que la résolution soit basse ou haute, il suffit d'analyser ce qui se trouve sur l'appareil. (Je ne crois pas vraiment que ce soit le cas car la détection des visages est trop précise pour que l'on puisse croire qu'ils sont le résultat d'un ML sur des photos 480p).

  • Chargement à la demande, téléchargement de la photo originale à partir d'iCloud pendant que l'algorithme de ML fonctionne, et suppression de la photo originale de l'appareil lorsque l'algorithme est terminé. (Ne s'agit-il pas d'un gaspillage de bande passante pour les serveurs iCloud ?)

Editer 1 : Je suis intéressé par la façon dont il va gérer le cas où j'ai ajouté manuellement une photo à une personne (cette action entraîne un changement du modèle, enfin, un changement éventuel après qu'il ait appris les nouvelles photos qui n'avaient pas été détectées auparavant), toutes les photos doivent être analysées à nouveau en utilisant le nouveau modèle. À l'heure actuelle, la plupart des images haute résolution (disons 199 Go/200 Go) se trouvent uniquement sur iCloud. Le système va-t-il les extraire une par une pour effectuer une nouvelle analyse ML à l'aide du nouveau modèle ? Et si je "modifie" régulièrement le ML (en ajoutant une photo non détectée à l'album d'une personne, mais pas toutes en même temps) ? si c'est le cas, cela pourrait représenter une charge énorme pour les serveurs iCloud... n'oubliez pas que certaines personnes ont plus de 1TB de photos dans iCloud.

Editer 2 :

Ne vous méprenez pas, je m'intéresse purement et simplement à la manière dont tout cela fonctionne, car je trouve que c'est très bien fait. Et pour être clair, je fais entièrement confiance à Apple sur la promesse "on-device", et c'est exactement la raison pour laquelle j'ai posé cette question pour comprendre les détails techniques qui permettent à la fois de respecter la vie privée et de donner des résultats précis.

2voto

Jose Chavez Points 645

Il est évident que le téléphone ne peut pas faire son travail sans les données - il effectue donc le ML sur l'appareil juste après que la photo a été prise, avant qu'elle ne soit téléchargée sur iCloud et supprimée sur l'appareil - ou, si cela n'était pas possible, il télécharge les données de la photo depuis iCloud et effectue le ML sur l'appareil (sans nécessairement stocker la photo sur l'appareil).

La question de savoir s'il s'agit ou non d'un "gaspillage de bande passante" est totalement subjective. Si vous vous souciez des avantages en termes de respect de la vie privée liés à l'exécution de ML sur l'appareil, il ne s'agit pas d'un gaspillage - si vous ne vous en souciez pas, cela peut être considéré comme un gaspillage.

MISE À JOUR : Lors de votre modification, vous avez ajouté une question sur ce qui se passe si vous ajoutez de nouvelles informations après coup - par exemple, si vous changez un nom, si vous ajoutez une photo à une personne détectée spécifique, etc. En fait, le téléphone n'a pas besoin de télécharger à nouveau toutes les photos pour recommencer l'opération.

Lorsque le téléphone dispose de l'image originale, il peut extraire des caractéristiques de la photo à l'aide de l'apprentissage automatique. On ne sait pas exactement quelles caractéristiques iPhoto prend en compte, mais imaginez l'extraction de nombres tels que la distance entre les yeux, la couleur de l'œil, etc. Un autre type d'apprentissage automatique permet ensuite de regrouper ces chiffres en classifications d'individus, que vous pouvez ensuite nommer.

Ces numéros sont stockés sur le téléphone et vous permettent de mettre à jour certaines informations et de "recalculer" les personnes détectées sans avoir besoin de toutes les données de l'image.

0voto

Oskar Points 1242

Je parierais que les vignettes présentes et les métadonnées sont suffisantes pour que les modèles fonctionnent sur votre appareil. Il s'agit plutôt d'une question indirecte. Si cela fonctionne, quel est le problème avec la façon dont Apple l'implémente ? Si vous essayez de savoir si Apple ment ou se trompe sur la façon dont elle gère la vie privée, nous devrions répondre clairement à cette question.

Je pense que votre hypothèse n'est pas tout à fait correcte en ce qui concerne la nécessité de télécharger quoi que ce soit. Les modèles fonctionnent avec les données de l'appareil. Vous pouvez le tester en ajoutant des photos à partir des fichiers de stockage alors que l'appareil est hors ligne en mode AirPlane et sans WiFi et en laissant les tâches nocturnes s'exécuter lorsqu'il est connecté à l'alimentation.

LesApples.com

LesApples est une communauté de Apple où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres utilisateurs d'appareils Apple, poser vos propres questions ou résoudre celles des autres.

Powered by:

X