AI Caméra Raspberry Pi - IMX500 - 12.3 MegaPixels - Focus Manuel

Une caméra haute résolution 12.3 MegaPixels avec réseau neuronal d'inférence

La camera AI est avant tout une caméra capable de capturer une image avec une résolution de 12.3 mégapixels. Cette caméra est donc capable de prendre des photos ou capturer un flux vidéo.
Cette caméra, qui utilise le capteur IMX500, dispose d'un réseau neuronal capable de développer 2 TOPS pour réaliser des tâches d'inférence.

Lorsque le support AI est activé, le module caméra identifie les objets en "sur impression" de la capture vidéo. Ce traitement est réalisé en temps réel par la caméra.

Basé sur le même principe de modèles pré-entraînés qu'utilise l'AI HAT. Il est donc possible de téléverse un modèle sur l'AI Caméra puis récupérer les données produite par le modèle pour l'exploiter dans vos propres applications. L'AI Caméra est supporté par la bibliothèque libcamera et PiCamera2, il est donc très simple d'identifier des objets, détection de posture et autres modèles puis de récupérer l'information dans vos scripts Python. Les exemples d'applications rpicam-apps permettent de découvrir facilement les possibilités offertes par l'AI Cam, ce qu'apprécieront les débutants tandis que les utilisateurs plus expérimentés pourrons explorer la puissance et la flexibilité offerte par cette solution.

AI Cam est compatible avec tous les Raspberry-pi et dispose de la même taille de carte et le même emplacement des trous. A noter cependant que l'épaisseur de l'ensemble n'est pas identique.

Comme la caméra V3 normale, le Field of View est similaire (76° en moyenne, 78.3° selon spécification).
A la différence de la Cam V3, il n'y pas d'auto-focus. Le réglage du focus se fait donc à la main (réglage manuel).

La caméra est préchargée avec le modèle de détection d'objets (MobileNet SSD object detection model) mais vous pouvez charger l'un des modèles disponibles dans les exemples, créer votre propre modèle, importer un modèle TensorFlow ou PyTorch préalablement converti avec utilitaire.
La création de modèle peut permettre de créer une application capable de reconnaître le modèle de Raspberry-Pi. C'est l'exemple que nous avons eu l'occasion de voir en action.

La caméra est fournie avec un ruban CSI standard (le plus répandu sur les Raspberry-Pi).

Quel intérêt pour une telle solution ?

Effectivement, nous serions en droit de nous demander pourquoi développer une telle solution alors que nous pouvons utiliser un AI Hat et une des caméra existante!

Si les AI Hat sont nettement plus puissants en terme de traitement --ce qui permettra d'identifier plus d'objets -- les bus du Raspberry-pi sont lourdement mis a contribution pour transférer d'énormes quantités de données de la caméra vers le SoC, du SoC vers le Hat AI (via PCIe) puis récupérer les informations du HAT et éventuellement réaliser une "sur-impression" des identifications objets dans l'image. Cela représente beaucoup de ressources qui ne sont plus disponibles pour les applications.

L'utilisation d'une caméra AI déporte tout le traitement sur la caméra, ce qui éviter de charger les bus, le SoC et le bus PCIe avec un trafic intensif de données. Le bus PCIe encore libre sur un Pi5 permettra l'utilisation d'un disque NVMe. Cela permettra aussi d'ajouter un support AI sur un Pi 4 qui, lui, ne dispose pas d'un bus PCIe pour y brancher un AI hat.
Si la puissance de traitement AI est plus limitée sur la AI Cam, celle-ci reste largement suffisante pour de nombreux types de traitement focalisé (guidage, détection des objets les plus proches, la posture du personnage en premier plan, identification d'un objet présenté à la caméra/chaîne de production). Bref, idéal pour la mise en oeuvre d'une solution orienté efficacité.

Détails techniques

• Sony IMX500
• 12.3 MegaPixels
• Intelligent Vision Sensor with a powerful neural network accelerator
• Capture:
  - 2028×1520 à 30fps (10 bits)
  - 4056×3040 à 10fps (10 bits)
• Dimension capteur: 7.857 mm
• Taille d'un pixel: 1.55 μm * 1.55 μm
• FoV : 78.3° (+/-3)
• Focus: ajustement manuel/mécanique
• Rapport focal: F1.79
• Dimensions: 25 × 24mm (épaisseurs 11.9 mm)
• RP2040 avec firmware de gestion du réseau neuronal.
• Fonctionne avec tous les Raspberry Pi utilisant le connecteur caméra standard
• Résumé produit (Raspberry, Anglais)