Introduction
Lorsque Apple a livré l’iPhone 5s avec un processeur 64 bits conçu sur mesure, cela a pris l’industrie mobile par surprise. Le passage au 64 bits était inévitable, mais personne ne s’attendait à ce qu’Apple y parvienne si rapidement, y compris Qualcomm dont le processeur 64 bits n’était qu’un point sur une feuille de route à long terme. Sans son propre cœur conçu sur mesure, Qualcomm a adopté l’année dernière les cœurs d’origine Cortex-A53 et Cortex-A57 d’ARM pour son processeur phare Snapdragon 810.
Travailler à partir d’une position moins qu’idéale a entraîné un SoC moins qu’idéal. Avant même que le Snapdragon 810 ne fasse son apparition publique, il y avait des rumeurs de surchauffe et de problèmes de contrôleur de mémoire. Nos propres tests ont validé les rumeurs de surchauffe – un produit du couplage du noyau A57 gourmand en énergie avec le processus HKMG 20 nm de TSMC – et nous n’avons pas encore vu un 810 utiliser toute la bande passante disponible à partir de la mémoire LPDDR4-1600, même la révision v2.1.
Même si le 810 était un palliatif, tout n’était pas mauvais. Le GPU Adreno 430 a amélioré l’Adreno 420 dans Snapdragon 805, maintenant l’avance de Qualcomm en termes de performances ALU, et un modem LTE de catégorie 9 X10 plus rapide a été déplacé à côté du processeur après avoir été démarré à partir de l’îlot SoC dans le 805.
Pourtant, il est difficile de ressentir autre chose que de la déception en ce qui concerne le 810. Une limitation thermique excessive a freiné les performances, forçant les cœurs du processeur A57 à rester inactifs. Dans certains scénarios, les anciens SoC Snapdragon 801 et 805, ainsi que certaines conceptions A53 de milieu de gamme, offraient des performances équivalentes ou supérieures. Une position peu enviable pour un produit phare.
Qualcomm espère surmonter ces problèmes avec le Snapdragon 820 et Kryo, son premier processeur 64 bits conçu sur mesure. Cependant, l’objectif de Qualcomm pour le 820 n’est pas seulement d’améliorer les performances. Il s’agit également de permettre des expériences utilisateur innovantes en tirant parti du calcul hétérogène, qui combine les capacités uniques de chaque processeur (CPU, GPU, DSP et ISP) pour maximiser les performances et minimiser la consommation d’énergie. La vision par ordinateur, l’imagerie avancée et la réalité virtuelle sont toutes des applications ciblées.
Zéro
Bon nombre de ces nouvelles fonctionnalités seront rendues possibles par Zeroth, une API d’apprentissage automatique et de vision par ordinateur que les développeurs peuvent utiliser pour tirer parti du matériel du Snapdragon 820. Cette « plate-forme d’informatique cognitive », comme l’appelle Qualcomm, devrait encore améliorer les capacités des assistants virtuels sur les smartphones et aussi tout ce qui nécessite une intelligence plus humaine. L’une des façons d’y parvenir est d’imiter la façon dont les humains apprennent par le renforcement positif. Nous avons déjà commencé à voir des appareils mobiles intégrer des comportements intelligents, mais ceux-ci tirent généralement parti de la puissance de traitement du cloud computing. Avec le 820, Qualcomm pense que ce traitement peut désormais être effectué localement sur l’appareil, améliorant ainsi la confidentialité, car toutes ces données utilisateur uniques n’auront pas à être traitées sur les serveurs de quelqu’un d’autre.
La technologie Scene Detect de Qualcomm est l’application de Zeroth à la vision par ordinateur. Profitant à nouveau de l’informatique hétérogène, il utilise des réseaux de neurones pour la détection de scènes, la reconnaissance d’objets et la correspondance de modèles pour les images fixes et les vidéos capturées par la caméra de l’appareil. Il existe de nombreuses utilisations de cette technologie, notamment le marquage automatique des photos pour une recherche plus facile et la réalité augmentée. La vidéo ci-dessus montre les capacités de base de ce système.
Smart Protect sera l’une des toutes premières « killer applications » de Zeroth. Une technologie qui va au-delà de la protection antivirus traditionnelle basée sur la signature, elle sera capable d’identifier les « comportements anormaux », comme remarquer que le téléphone prend des photos lorsque l’écran est verrouillé ou envoyer des SMS sans interaction de l’utilisateur, en utilisant l’apprentissage automatique et le comportement une analyse. Cette fonctionnalité peut être utilisée pour identifier soit les logiciels malveillants zero-day, soit les « logiciels malveillants transformationnels », qui sont des logiciels malveillants créés pour contourner les logiciels antivirus populaires.
Cette fonctionnalité comporte un composant s’exécutant à bas niveau dans le noyau Android et une autre partie s’exécutant dans l’environnement d’exécution sécurisé SecureMSM de Qualcomm, ce qui devrait rendre le contournement beaucoup plus difficile pour les logiciels malveillants. Cela permet également à Smart Protect de surveiller efficacement les ressources système, la communication des applications, etc.
Exemples de calcul hétérogène
Au-delà de Zeroth, Snapdragon 820 utilise l’informatique hétérogène pour activer une multitude de fonctionnalités d’imagerie avancées. Un exemple tire parti des API OpenCL 1.2 et FastCV pour post-traiter un flux vidéo en temps réel, en séparant et en brouillant l’arrière-plan pour augmenter la confidentialité lors d’une vidéoconférence. En combinant la puissance de traitement du CPU et du GPU, Qualcomm affirme que les performances sont multipliées par plus de 2 par rapport à l’utilisation du CPU seul et réduisent également la consommation d’énergie jusqu’à 40 %. Cette même technologie est également utilisée pour améliorer la qualité des images panoramiques, en supprimant les coutures et en nettoyant les artefacts fantômes causés par les objets en mouvement. D’autres applications pourraient inclure la fourniture d’un aperçu en temps réel des effets vidéo lors de l’enregistrement ou de l’amélioration des expériences de réalité augmentée.
La fonction ImproveTouch de Qualcomm, qui est également présente dans le SoC Snapdragon 810, déplace les fonctionnalités d’un contrôleur d’écran tactile externe à bord du SoC. Utilisant le DSP et l’îlot CPU basse consommation, cela améliore la latence tactile et permet des algorithmes de rejet de bruit plus sophistiqués. Le traitement amélioré permet un rejet sophistiqué des gouttelettes d’eau, rendant essentiellement l’écran utilisable lorsqu’il est mouillé, et améliore la sensibilité au toucher lors de la charge de l’appareil en filtrant les EMI. Il existe également une fonction de réveil de l’écran à double pression ultra-basse consommation.
Relier tous les processeurs spécialisés ensemble de manière efficace est le travail du Symphony System Manager de Qualcomm. Selon Qualcomm, « Symphony est conçu pour gérer l’ensemble du système sur puce dans différentes configurations afin que la combinaison la plus efficace et la plus efficace de processeurs et de cœurs spécialisés soit choisie pour faire le travail le plus rapidement possible, avec le moins de temps possible. Puissance ». Ce n’est pas une tâche facile, nous sommes donc impatients de voir à quoi ressemble la durée de vie réelle de la batterie lorsque les produits commencent à être expédiés.
Maintenant que nous comprenons la vision de Qualcomm pour Snapdragon 820 et ses futurs SoC (c’est de l’informatique hétérogène si vous ne l’avez pas compris) et certaines des expériences qu’il permet, il est temps d’examiner de plus près le matériel.
