GStreamer
GStreamer is a library for constructing graphs of media-handling components. The applications it supports range from simple Ogg/Vorbis playback, audio/video streaming to complex audio (mixing) and video (non-linear editing) processing
Introduction
GStreamer est un Framework multimédia avec une license GNU LGPL. Il permet la manipulation de flux audio et vidéos. Cette biblothèque logcielle est développé en C, depuis plus de 10 ans. Avec une première version sortie le 31 octobre 1999, la version 1.0 de GStreamer est attendue pour fin 2011. Fonctionnant complètement sous UNIX, ce framework est également utilisable sous windows et macOS mais de façon limitée.
GStreamer works on all major operating systems such as Linux, Android, Windows, Max OS X, iOS, as well as most BSDs, commercial Unixes, Solaris, and Symbian. It has been ported to a wide range of operating systems, processors and compilers. It runs on all major hardware architectures including x86, ARM, MIPS, SPARC and PowerPC, on 32-bit as well as 64-bit, and little endian or big endian.
Fonctionnalité
Principe
- Manipulation de flux audio, vidéo,via des pipelines. Ces pipelines sont composés d’éléments ayant une fonction qui leur est propre. Il existe trois types d'éléments:
- les éléments sources ("source element"). Ils produisent des données. Par exemple une webcam qui enregistre une vidéo ou un micro avec un flux audio.
- les éléments de sorties ("sink element"). Ils ne produisent pas de donnée. Ils sont donc souvent en bout de pipeline. Par exemple, l'affichage sur une écran, ou la diffusion d'un son avec des hauts parleurs.
- les éléments de filtrage ("filter element"). Ils ont une ou plusieurs entrées et une ou plusieurs sorties. Ils effectuent des traitements sur les données et les réinjecte dans le pipeline. Par exemple, convertir un flux pour qu'il soit lisible par la sortie, ou effectuer une déformation de l'image.
- Streaming: GStreamer propose les briques suivantes pour gérer le streaming:
- Encapsultation RTP
- Gestion fine de streaming RTP avec gstrtpsession
- Gestion des protocoles de controles RTSP et RTCP
- Diffusion IP en UDP, TCP…
- Il est également possible de récupérer des flux venant de serveur HTTP et de WebCam IP
- Encodage:
- Le nombre (et les propriétés) des codecs disponibles dépendent des systèmes d'exploitation.(87 encodeurs et 226 decodeurs pour linux)
- Présence des codecs standards comme innovants. (MPEG1/2/3/4FLV,H.264, Speex, Theora, Vorbis...)
API
Liste des fonctions : Full API
- Java: librairie gstreamer-java
- Python: librairie gst-python
- Android
Plus d'information: http://gstreamer.freedesktop.org/bindings/
Un premier coup d'oeil avec l'exemple "HelloWorld" de l'AI Gtreamer http://gstreamer.freedesktop.org/data/doc/gstreamer/head/manual/html/chapter-helloworld.html#section-hello-img
Installation
Linux/Ubuntu
Le paquet existe dans les dépôts courants, il suffit donc de l'installer avec apt-get :
# sudo apt-get install gstreamer0.10-tools gstreamer0.10-plugins-base gstreamer0.10-plugins-good gstreamer0.10-plugins-ugly gstreamer0.10-plugins-bad gstreamer0.10-ffmpeg
MacOS X
Téléchargez et installez le package .pkg, de la version la plus récent : Toutes les versions.
Les sources et les exécutables sont dans : /Library/Frameworks/GStreamer.framework
Pour avoir les exécutables directement en ligne de commandes, ajouter à votre PATH : /Library/Frameworks/GStreamer.framework/Commands
La version 1.0 donne des commandes différentes entre MacOS et Ubuntu, il faut donc ajouter des aliases pour compenser.
Exemples:
- alias gst-launch='gst-launch-1.0'
- alias gst-inspect='gst-inspect-1.0'
Outils
gst-inspect
print info about a GStreamer plugin or element
# gst-inspect audiotestsrc
A savoir
Avec Gstreamer on utilisera non pas “|” mais “!” pour ne pas interférer avec le shell.
gst-launch
assemblage des pipelines en ligne de commande
Exemple
Récupérez premièrement la vidéo gratuite Big Buck Bunny sur http://www.bigbuckbunny.org/index.php/download/
TODO commentaire
# gst-launch filesrc location=./videos/big_buck_bunny_1080p_stereo.ogg ! oggdemux ! theoradec ! xvimagesink
TODO commentaire
# gst-launch filesrc location=./videos/big_buck_bunny_1080p_stereo.ogg ! oggdemux ! theoradec ! xvimagesink
TODO commentaire
# gst-launch filesrc location=./videos/big_buck_bunny_1080p_stereo.ogg ! oggdemux ! theoradec ! xvimagesink
TODO commentaire
# gst-inspect filesrc # gst-launch filesrc location=./videos/big_buck_bunny_1080p_stereo.ogg ! oggdemux ! theoradec ! xvimagesink
TODO commentaire
# gst-launch filesrc location=./videos/big_buck_bunny_1080p_stereo.ogg ! oggdemux ! theoradec ! xvimagesink
TODO commentaire
# gst-launch filesrc location=./videos/myvideo_480p_stereo.ogg ! oggdemux ! theoradec ! xvimagesink
TODO commentaire
# gst-launch filesrc location=../videos/big_buck_bunny_1080p_stereo.ogg ! oggdemux ! theoradec ! videoscale ! video/x-raw-yuv,height=240 ! xvimagesink
gst-launch v4l2src ! videoscale ! video/x-raw-yuv,height=240 ! xvimagesink
Remarque : v4l2src signifie "video-for-linux (ver.2) source".
gst-launch v4l2src ! videoscale ! video/x-raw-yuv,height=240 ! ffmpegcolorspace ! quarktv ! ffmpegcolorspace ! xvimagesink
gst-launch filesrc location=./videos/big_buck_bunny_1080p_stereo.ogg ! oggdemux name=demux
demux. ! queue ! vorbisdec ! audioconvert ! audioresample ! osssink
demux. ! queue ! theoradec ! xvimagesink
gst-launch filesrc location=./videos/big_buck_bunny_1080p_stereo.ogg ! oggdemux name=demux
demux. ! queue ! vorbisdec ! audioconvert ! audioresample ! autoaudiosink
demux. ! queue ! theoradec ! autovideosink
Gst-launch en réseau (multicast)
TODO commentaire
Pour le serveur
# gst-launch ???
Pour le récepteur
# gst-launch ???
gst-inspect
GstEditor
éditeur graphique
gst-launch sur MacOS
Pour ne pas avoir de problèmes de compatibilités, il faut faire des alias pour certaine commandes.
alias gst-launch='/Library/Frameworks/GStreamer.framework/Commands/gst-launch-1.0' alias gst-inspect='/Library/Frameworks/GStreamer.framework/Commands/gst-inspect-1.0'
Generally I suggest to check which elements are installed on your machine when you are looking for a a specific functionality, e.g.:
gst-inspect | more
La recherche d'une source passe par un inspect :
gst-inspect | grep -i source
La première comande à lancer pour savoir si GStreamer est bien installé :
gst-launch videotestsrc ! autovideosink
Si elle ne marche pas vous pouvez changer la sortie pour spécifier que vous voulez l'écran :
gst-launch videotestsrc ! osxvideosink
Pour accéder à la caméra :
gst-launch wrappercamerabinsrc mode=2 ! video/x-raw, width=320, height=240 ! osxvideosink sync=false
Catch flow form desktop : StackOverFlow. For other OS :
- Ubuntu/linux : v4l2src means "video-for-linux (ver.2) source"
- Windows : dx9screencapsrc