Difference between revisions of "Continuous Deliver"

From air
Jump to navigation Jump to search
 
(70 intermediate revisions by 2 users not shown)
Line 1: Line 1:
Avant de parler du continous delivery, il est important dans un premier temps de rappeler l’intégration continue :
 
   
==Integration contine ===
 
L''''intégration continue''' est un ensemble de pratiques utilisées en génie logiciel consistant à vérifier à chaque modification de [[code source]] que le résultat des modifications ne produit pas de régression dans l'application développée.
 
Bien que le concept existât auparavant
 
, l'intégration continue se réfère généralement à la pratique de l'extreme programming.
 
   
  +
== Le Continous Delivery : Click and Deploy ==
Pour appliquer cette technique, il faut d'abord que<span id="mwDQ"> </span>:
 
  +
'''En combien de temps votre entreprise peut-elle déployer une application dans laquelle une seule ligne de code a été modifiée?'''
* le code source soit partagé (en utilisant des logiciels de gestion de versions tels que CVS,Subversion, git, Mercurial, etc)
 
* les développeurs intègrent des commit quotidiennement (au moins) leurs modifications
 
* des [[Test d'intégration|tests d'intégration]] soient développés pour valider l'application (avec [[JUnit]] par exemple)
 
   
Un outil d'intégration continue est ensuite nécessaire, tel que [[TeamCity]], [[CruiseControl]] ou [[Jenkins (informatique)|Jenkins]] ([[Fork (développement logiciel)|fork]] de [[Hudson (Informatique)|Hudson]]) pour le langage [[Java (langage)|Java]] par exemple.
 
   
  +
Cette problématique répond à l’utilité du concept du Continous Delivery (C.D).
Les principaux avantages d'une telle technique de développement sont<span id="mwIQ"> </span>:
 
  +
Le C.D est un ensemble de technique permettant que pour chaque modification du code, d’effectuer un ensemble de tests automatisé, pour que le code que soit prêt à être déployé directement à l'équipe de production.
  +
Si pour chaque commit le code :
  +
*Compilé, testé, déployé sur un environnement d’intégration = Continuous Integration
  +
*Compilé, testé, livré à l’équipe suivante (Tests, Qualification, Mise En Production, Ops) = Continuous Delivery
   
* le test immédiat des modifications
 
* la notification rapide en cas de code incompatible ou manquant
 
* les problèmes d'intégration sont détectés et réparés de façon continue, évitant les problèmes de dernière minute
 
* une version est toujours disponible pour un test, une démonstration ou une distribution
 
   
=== Pratiques ===
 
* Maintenir un Dépôt unique de code source versionné
 
* Automatiser les compilations
 
* Rendre les compilations auto-testantes
 
* Tout le monde commit tous les jours
 
* Tout commit doit compiler le tronc trunk sur une machine d'intégration
 
* Maintenir un cycle de compilation court
 
* Tester dans un environnement de production cloné
 
* Rendre disponible facilement le dernier exécutable
 
* Tout le monde doit voir ce qui se passe
 
* Automatiser le déploiement
 
   
   
  +
[[File:Fonctionnement_Deploiement.png]]
   
   
  +
Ainsi le C.D est une évolution de l’intégration Continue. Comme nous l'avons vu en Génie Logiciel, l’intégration continue consiste à vérifier automatiquement et à chaque modification de code source que le résultat des modifications ne produit pas de régression. C'est à dire que si votre commit produit des erreurs sur les résultats, celui-ci ne va pas être accepté. (T'as le droit de tout péter, mais t'es obligé d'être au courant). L’intégration Continue permet de détectés rapidement les problèmes d’intégration et de les corrigés au fur et à mesure. Aussi grâce au test automatisés mis en place permette de d'identifier les changements problématique. Enfin de connaître et obtenir rapidement la dernière version stable de l'application
   
   
== Le Continuous Delivery : Qu’est ce que c’est ? ==
 
   
Il est déjà opportun de différencier deux notions : le Continuous Deployment du Continuous Delivery (Déploiement vs Livraison).
 
   
Le déploiement continue consiste à mettre en production à chaque changement, quelque soit le changement. La livraison continue, quand à elle, s’attache à raccourcir le cycle d’obtention de la valeur, en s’intéressant à l’intégralité de la chaîne (pipeline) permettant de créer cette valeur.
 
   
  +
Un petit rappel concernant l’intégration continue:
Afin de délivrer cette valeur, il est alors question d’automatiser les différentes étapes de son pipeline de façon à pouvoir déployer en production à tout moment. Car en premier lieu, il est surtout question d’être capable de déployer dès qu’on le souhaite, rapidement, souvent et ceci avec un risque minimal lié à la procédure (erreur humaine, problème lié à l’environnement, problème de package…).
 
  +
*Le code source soit partagé (en utilisant des logiciels de gestion de versions tels que CVS, Subversion, git, Mercurial, etc)
  +
* les développeurs commit quotidiennement (au moins une fois par jour) leurs modifications
   
  +
Pour ce faire, il nécessite de contrôler plusieurs points:
[[File:rad1.jpg]]
 
  +
*Contrôler l'intégrité de l'application a chaque commit
  +
*S'assurer de l'absence de régressions
  +
*Mesurer la couverture du code
  +
*Surveiller le respect des conventions de codage
  +
*Signaler les erreurs de codage
   
   
  +
Un exemple d'outils permettant l’intégration continue est Jenkins, souvent utilisé dans les projets Java développés avec maven, Jenkins est un serveur d’intégration qui s'interface avec des systèmes de gestion de versions tels que CVS, Git et Subversion, et exécute des projets basés sur Apache Ant, Maven...
Ainsi les grands acteurs du web (facebook, google, instagram, Netflix…) déploient en production plusieurs fois par jour, ce qui leur donnent une grande capacité de réaction et une optimisation du Time To Market.
 
  +
Jenkins fonctionne avec l'utilisation de Job, on peut configurer des jobs pour que celui-ci par exemple exécute un script à chaque commit ou bien permet de vérifier le bon fonctionnement du code.
  +
Une fois le job configuré, Jenkins permet d'obtenir des courbes de tests, d'analyse statique du code, un historique des productions effectuées. Et le tout de manière claire et simple:
   
A noter que de façon à pouvoir mettre en place le Continuous Delivery, il est indispensable d’assurer une grande qualité du code source produit et d’avoir confiance en la qualité de ce code source (et donc d’avoir des métriques) . Et ceci, par la mise en place au sein de son projet des pratiques telles que les tests unitaires, le Behaviour Driven Development, l’intégration continue…
 
   
  +
[[File:Hudson-job-main-page.png]]
Pour permettre le Continuous Delivery, vous devez ainsi passer un certain nombre d’étapes comme une course d’obstacle. Ces obstacles peuvent être soit de type organisationnels, soit de type techniques. Certains de ces obstacles pourront être passés grâce à des méthodes bien connues, ou que l’on adaptera pour répondre précisément aux problématiques rencontrées. Pour d’autres, il sera nécessaire de mettre en place des outils spécifiques ou d’adopter des infrastructures plus moderne pouvant répondre à ces problématiques.
 
   
  +
Un build représente sur Jenkis la creation d'un Job. Maintenant revenant au Continous Delivery, celui-ci est simplement:
== Le Continuous Delivery : Pourquoi ? ==
 
   
“Quand ça fait mal, il faut le faire souvent (if it hurts, do it more often)”
 
   
  +
[[File:Automate.png]]'''Le Continuous Delivery = C.I + des automates de test entièrement automatisé'''
Il est effectivement important de souligner que la construction du livrable et son déploiement, même quand cela est fait automatiquement, sont des moments chargés “d’émotions” et lourd de sens. Il est même courant d’espacer au maximum ces livraisons afin d’atténuer la souffrance. On est alors en droit de se demander : A-t-on vraiment besoin de souffrir ? Comment gérer ces prises de risque afin de les supprimer ?
 
   
  +
En effet, le but est d'automatiser l'ensemble des dépendances, des build, des test...
Livrer aussi souvent que possible, livrer du matin au soir, que chaque commit soit immédiatement mis en production est le but ultime. Plus vous livrez, plus vos packages seront petits et les risques amoindris. Plus vous livrez et plus votre rigueur sera grande, car il n’est plus question de réaliser certaines tâches “plus tard” ou de laisser des choses à faire qu’on oublie parfois et qui rendent les phases de livraisons plus complexes que prévues.
 
   
  +
*Les tests de type "White-box". Ces tests vérifie la structure interne de l'application(code). Il s'agit de tester les implémentations.( donc on vérifie la compétence du programmeur)
Alors vous vous dites peut être oui, mais… Si je n’ai pas envie de livrer cette fonctionnalité ?
 
  +
*logiciel: Fitnesse, Greenpepper, etc.
Ma réponse : Vous n’avez pas envie de livrer cette fonctionnalité ou vous n’avez pas envie de l’activer ?
 
   
  +
*Les tests de type "Black-box". Ces tests vérifie eu la structure externe de l'application, on testera donc uniquement les entrées-sorties de l'application, et sa stabilité.
Une des approches est de découpler la livraison de l’activation. On parle du pattern toggle feature pattern. La fonctionnalité est présente dans le logiciel qui est mis en production mais elle n’est pas disponible, ni utilisable. L’activation de la fonctionnalité est rendu paramétrable dans la configuration du logiciel. Bien évidemment cette approche a aussi ses défauts et donne lieu à du refactoring régulier afin d’enlever le code conditionnel une fois que la fonctionnalité est validée et utilisée. Le toggle feature permet aussi d’être au plus près du besoin métier : activer une feature à la demande. Cela permet par exemple de gérer au niveau du produit une activation de service plutôt que de porter cette complexité au niveau d’une organisation / coordination d’équipe et des plannings éventuels. Aussi vite que ce besoin n’est plus exprimé par le métier, le code d’activation/désactivation est supprimé, permettant de rester en adéquation avec le besoin fonctionnel.
 
  +
*Logiciel: Gatling, OpenSTA, etc.
   
  +
L’automatisation des tests peut sembler assez coûteuse car assez complexe à mettre en place. Mais lorsque ceux-ci sont exécutés plusieurs fois par jour (Certain test peuvent être lancé 1 millions de fois par jour), l'investissement est vite amortie
== Le continuous delivery : Comment ? ==
 
   
  +
== But du Continuous Delivery ==
===Etat des lieux et définition du pipeline de votre projet===
 
  +
En plus de tous les avantages de l’intégration Continue une des premières utilité du C.D est de réduire ce qu'on appel le" time to market.". De nos jours, de nombreuse applications ont besoin de se mettre rapidement à jour pour suivre les besoins des utilisateus. Par exemple un site de commerce à besoin de rapidement suivre les nouveautés ou de rajouter de nouvelles fonctionnalités. Le C.D permet de faire de faire ces déploiements rapides et sans sans risque. Le site Etsy (site de commerce en ligne), a investi énormément dans ses tests automatisés et ses outils de déploiement et effectue plus de 25 déploiements par jour. Facebook, très agressif sur l’automatisation des tests, effectue 2 déploiements par jour.
   
  +
Ensuite comme le C.D permet des cycles rapides, grâce à des déploiements rapides et peu risqués on peut envisager des mises à jour fréquentes des applications installées.
Une première étape lorsque vous voulez mettre en place le Continuous Delivery dans votre projet/entreprise est de faire un état des lieux de votre Pipeline (constitué par toutes les étapes à partir du besoin jusqu’à la mise en production) et d’estimer le temps passé lors de chaque étape. Il n’est pas question de faire un bing-bang : il faut faire évoluer étape par étape adressant les goulots d’étranglement les uns après les autres et savoir s’adapter au contexte de votre projet/entreprise.
 
   
  +
[[File:ContinuousDelivery-Fig-2.png]]
   
  +
Aussi, on peut voir dans cette courbe issue du site http://www.slideshare.net/jallspaw/ops-metametrics-the-currency-you-pay-for-change-4608108, que plus les déploiements sont fréquent (donc les modifications sont moins important), plus le Time To Repair est important. Ainsi avec le C.D le TTR est réduit et donc un grand gain de temps pour l'entreprise.
  +
  +
== Exemple Avec circleci et HEROKU ==
  +
  +
  +
Nous allons dans créer une application dans laquelle nous allons faire un peu d’intégration continue. Pour se faire nous alors utilisé Heroku qui permet de stocker notre application sur le cloud (Heroku est un service de cloud computing de type plate-forme en tant que service). CircleCi permet quand à lui d’effectuer des jobs de test, ou de cherchée les dépendances des fichiers.
  +
  +
Pour ce faire, prenons les fichiers contenue dans le Tutorial d’exemple d'Heroku https://devcenter.heroku.com/articles/getting-started-with-python#introduction. Notre applis consiste simplement à afficher des mots à l'écran.:
  +
from flask import Flask
  +
app = Flask(__name__)
  +
@app.route("/")
  +
def hello():
  +
return "Hello World, I love continuous delivery a lot!"
  +
if __name__ == "__main__":
  +
app.run()
  +
  +
Lorsqu'on nous avons finis de configurer notre application Heroku, nous allons maintenant crée un test unitaire simple qui consiste à vérifier si hello est compris dans la phrase.
  +
  +
import unittest
  +
from .hello_app import app
  +
class HelloTest(unittest.TestCase):
  +
def setUp(self):
  +
self.app = app.test_client()
  +
def test_root(self):
  +
assert 'Hello' in self.app.get('/').data
  +
  +
Maintenant, modifiant la phrase mais gardant le mot hello dans la phrase :
  +
[[File:Demo_1.PNG]]
  +
  +
Lors du commit, un build est lancé automatiquement sur Circleci:
  +
  +
[[File:Demo_2.PNG]]
  +
  +
  +
  +
Quelques minutes plus tard:
  +
  +
  +
  +
[[File:Demo 3.PNG]]
  +
  +
On peut voir que le build à été un succès, et ainsi notre application stockée sur Heroku à été mise à jour. Pour vérifier on lance la commande:
  +
heroku open
  +
[[File:Data 6.PNG]]
  +
  +
Maintenant modifiant la phrase de tel maniéré à ce que "Hello" n’apparaisse plus et donc que le test ne fonctionne plus:
  +
[[File:Data 9.PNG]]
  +
  +
  +
  +
Resultat: lorsque l'on commit le code, le build à échoué à cause de l’exécution du test:
  +
[[File:Data_10.PNG]]
  +
  +
Et lorsqu'on lance l'application heroku:
  +
  +
On remarque qu'il n'y a eu aucun changement, tant que le build n'est pas correct, aucune modification de l'application n'est effectué.
  +
[[File:Data 12.PNG]]
   
 
== Voir aussi ==
 
== Voir aussi ==
Line 89: Line 136:
 
* [http://www.jetbrains.com/teamcity/index.html TeamCity]
 
* [http://www.jetbrains.com/teamcity/index.html TeamCity]
 
* [https://travis-ci.org/ Travis CI] propose un service d'intégration continue gratuit aux projets open sources.
 
* [https://travis-ci.org/ Travis CI] propose un service d'intégration continue gratuit aux projets open sources.
  +
  +
== Source Image==
  +
  +
* http://blog.octo.com/devops-de-lintegration-continue-au-deploiement-continu/
  +
* http://igm.univ-mlv.fr/~dr/XPOSE2010/Lecharpentier_Jenkins/images/hudson-job-main-page.png

Latest revision as of 18:28, 5 February 2015


Le Continous Delivery : Click and Deploy

En combien de temps votre entreprise peut-elle déployer une application dans laquelle une seule ligne de code a été modifiée?


Cette problématique répond à l’utilité du concept du Continous Delivery (C.D). Le C.D est un ensemble de technique permettant que pour chaque modification du code, d’effectuer un ensemble de tests automatisé, pour que le code que soit prêt à être déployé directement à l'équipe de production. Si pour chaque commit le code :

  • Compilé, testé, déployé sur un environnement d’intégration = Continuous Integration
  • Compilé, testé, livré à l’équipe suivante (Tests, Qualification, Mise En Production, Ops) = Continuous Delivery



Fonctionnement Deploiement.png


Ainsi le C.D est une évolution de l’intégration Continue. Comme nous l'avons vu en Génie Logiciel, l’intégration continue consiste à vérifier automatiquement et à chaque modification de code source que le résultat des modifications ne produit pas de régression. C'est à dire que si votre commit produit des erreurs sur les résultats, celui-ci ne va pas être accepté. (T'as le droit de tout péter, mais t'es obligé d'être au courant). L’intégration Continue permet de détectés rapidement les problèmes d’intégration et de les corrigés au fur et à mesure. Aussi grâce au test automatisés mis en place permette de d'identifier les changements problématique. Enfin de connaître et obtenir rapidement la dernière version stable de l'application



Un petit rappel concernant l’intégration continue:

  • Le code source soit partagé (en utilisant des logiciels de gestion de versions tels que CVS, Subversion, git, Mercurial, etc)
  • les développeurs commit quotidiennement (au moins une fois par jour) leurs modifications

Pour ce faire, il nécessite de contrôler plusieurs points:

  • Contrôler l'intégrité de l'application a chaque commit
  • S'assurer de l'absence de régressions
  • Mesurer la couverture du code
  • Surveiller le respect des conventions de codage
  • Signaler les erreurs de codage


Un exemple d'outils permettant l’intégration continue est Jenkins, souvent utilisé dans les projets Java développés avec maven, Jenkins est un serveur d’intégration qui s'interface avec des systèmes de gestion de versions tels que CVS, Git et Subversion, et exécute des projets basés sur Apache Ant, Maven... Jenkins fonctionne avec l'utilisation de Job, on peut configurer des jobs pour que celui-ci par exemple exécute un script à chaque commit ou bien permet de vérifier le bon fonctionnement du code. Une fois le job configuré, Jenkins permet d'obtenir des courbes de tests, d'analyse statique du code, un historique des productions effectuées. Et le tout de manière claire et simple:


Hudson-job-main-page.png

Un build représente sur Jenkis la creation d'un Job. Maintenant revenant au Continous Delivery, celui-ci est simplement:


Automate.pngLe Continuous Delivery = C.I + des automates de test entièrement automatisé

En effet, le but est d'automatiser l'ensemble des dépendances, des build, des test...

  • Les tests de type "White-box". Ces tests vérifie la structure interne de l'application(code). Il s'agit de tester les implémentations.( donc on vérifie la compétence du programmeur)
  • logiciel: Fitnesse, Greenpepper, etc.
  • Les tests de type "Black-box". Ces tests vérifie eu la structure externe de l'application, on testera donc uniquement les entrées-sorties de l'application, et sa stabilité.
  • Logiciel: Gatling, OpenSTA, etc.

L’automatisation des tests peut sembler assez coûteuse car assez complexe à mettre en place. Mais lorsque ceux-ci sont exécutés plusieurs fois par jour (Certain test peuvent être lancé 1 millions de fois par jour), l'investissement est vite amortie

But du Continuous Delivery

En plus de tous les avantages de l’intégration Continue une des premières utilité du C.D est de réduire ce qu'on appel le" time to market.". De nos jours, de nombreuse applications ont besoin de se mettre rapidement à jour pour suivre les besoins des utilisateus. Par exemple un site de commerce à besoin de rapidement suivre les nouveautés ou de rajouter de nouvelles fonctionnalités. Le C.D permet de faire de faire ces déploiements rapides et sans sans risque. Le site Etsy (site de commerce en ligne), a investi énormément dans ses tests automatisés et ses outils de déploiement et effectue plus de 25 déploiements par jour. Facebook, très agressif sur l’automatisation des tests, effectue 2 déploiements par jour.

Ensuite comme le C.D permet des cycles rapides, grâce à des déploiements rapides et peu risqués on peut envisager des mises à jour fréquentes des applications installées.

ContinuousDelivery-Fig-2.png

Aussi, on peut voir dans cette courbe issue du site http://www.slideshare.net/jallspaw/ops-metametrics-the-currency-you-pay-for-change-4608108, que plus les déploiements sont fréquent (donc les modifications sont moins important), plus le Time To Repair est important. Ainsi avec le C.D le TTR est réduit et donc un grand gain de temps pour l'entreprise.

Exemple Avec circleci et HEROKU

Nous allons dans créer une application dans laquelle nous allons faire un peu d’intégration continue. Pour se faire nous alors utilisé Heroku qui permet de stocker notre application sur le cloud (Heroku est un service de cloud computing de type plate-forme en tant que service). CircleCi permet quand à lui d’effectuer des jobs de test, ou de cherchée les dépendances des fichiers.

Pour ce faire, prenons les fichiers contenue dans le Tutorial d’exemple d'Heroku https://devcenter.heroku.com/articles/getting-started-with-python#introduction. Notre applis consiste simplement à afficher des mots à l'écran.:

from flask import Flask
app = Flask(__name__)
@app.route("/")
def hello():
   return "Hello World, I love continuous delivery a lot!"
if __name__ == "__main__":
    app.run()

Lorsqu'on nous avons finis de configurer notre application Heroku, nous allons maintenant crée un test unitaire simple qui consiste à vérifier si hello est compris dans la phrase.

import unittest
from .hello_app import app
class HelloTest(unittest.TestCase):
def setUp(self):
   self.app = app.test_client()
def test_root(self): 
   assert 'Hello' in self.app.get('/').data

Maintenant, modifiant la phrase mais gardant le mot hello dans la phrase : Demo 1.PNG

Lors du commit, un build est lancé automatiquement sur Circleci:

Demo 2.PNG


Quelques minutes plus tard:


Demo 3.PNG

On peut voir que le build à été un succès, et ainsi notre application stockée sur Heroku à été mise à jour. Pour vérifier on lance la commande:

heroku open

Data 6.PNG

Maintenant modifiant la phrase de tel maniéré à ce que "Hello" n’apparaisse plus et donc que le test ne fonctionne plus: Data 9.PNG


Resultat: lorsque l'on commit le code, le build à échoué à cause de l’exécution du test: Data 10.PNG

Et lorsqu'on lance l'application heroku:

On remarque qu'il n'y a eu aucun changement, tant que le build n'est pas correct, aucune modification de l'application n'est effectué. Data 12.PNG

Voir aussi

Liens externes

Source Image