Si vous avez plongé dans le monde de la programmation asynchrone non bloquante, vous avez du vous heurter aux callbacks. Si ce n’est pas le cas, aller lire l’article, et faites vos armes sur jQuery, je vais m’en servir en exemple.
Signalement de rigueur que l’article est long :
Un callback, ça va.
Deux callbacks, pour un seul appel, ça commence à être chiant, mais c’est compréhensible.
Quand les callbacks appellent eux aussi des callbacks, ça donne des codes imbitables :
$(function(){
$.post('/auth/token', function(token){
saveToken(token);
$.get('/sessions/last', function(session){
if (session.device != currentDevice){
$.get('/session/ ' + session.id + '/context', function(context){
loadContext(function(){
startApp(function(){
initUi()
})
})}
)}
else {
startApp(function(){
initUi()
})
}}
)
})
});Il y a pire que de lire ce code : le modifier ! Retirez un bloc, pour voir. Oh, et histoire de vous faire partager l’expérience complète, j’ai volontairement déplacé l’indentation d’une parenthèse et de deux brackets.
Or les codes asynchrones ont besoin de callback afin d’enchainer certaines opérations dans le bon ordre, sinon on ne peut pas récupérer le résultat d’une fonction et l’utiliser dans une autre, puisqu’on ne sait pas quand l’opération se termine.
Dans notre exemple, $.post et $.get font des requêtes POST et GET, et comme on ne sait pas quand le serveur va répondre, il faut mettre un callback pour gérer la réponse quand elle arrive. C’est plus performant que de bloquer jusqu’à ce que la première requête soit terminée car pendant ce temps, notre programme peut faire autre chose. Mais c’est aussi super relou à écrire et comprendre.
Entre en jeu les promesses (promises). Ou les deferred. Ou les futures.
Typiquement, on retrouve des deferreds dans Twisted, des promises pour l’AJAX avec jQuery, des futures pour asyncio… Mais il y en a un peu partout de nos jours, et une lib peut utiliser plusieurs de ces concepts.
En fait c’est la même chose, un nom différent donné au même concept, par des gens qui l’ont réinventé dans leur coin. Les puristes vous diront qu’il y a des différences dans l’implémentation, ou alors que la promesse est l’interface tandis que le deferred est l’objet retourné, bla, bla, bla.
Fuck it, on va considérer que c’est tout pareil.
Les promesses sont une des manières de rendre un code asynchrone plus facile à gérer. On dit : ce groupe de fonctions doit s’exécuter dans un ordre car elles sont dépendantes les unes des autres.
Il y a d’autres moyens de gérer le problème de l’asynchrone: des événements, des queues, etc. L’avantage des promesses c’est que c’est assez simple, et ça marche là où on utilisait des callbacks avant, donc on a pu les rajouter aux libs qui étaient blindés de callbacks.
Le principe
La promesse est un moyen de dire que certaines fonctions, bien que non bloquantes et asynchrones, sont liées entre elles, et doivent s’exécuter les unes à la suite des autres. Cela permet de donner un ordre d’exécution à un groupe de fonctions, et surtout, que chaque fonction puisse accéder au résultat de la fonction précédente. Tout ceci sans bloquer le reste du système asynchrone.
En résumé, cela donne un gout de programmation synchrone, à quelque chose qui ne l’est pas.
Cela se passe ainsi :
- La fonction asynchrone retourne un objet immédiatement : la promesse.
- On ne passe pas de callback à la fonction. On rajoute un callback à la promesse.
- Le callback prend en paramètre le résultat de la fonction asynchrone.
- Le callback retourne le résultat de son traitement.
- On peut rajouter autant de callbacks qu’on veut à la promesse, chacun devant accepter le résultat du callback précédent et retourner son propre résultat.
- Si un des callbacks retourne une promesse, elle est fusionnée avec la promesse initiale, et c’est son résultat que le prochain callback va récupérer
Voilà un exemple :
// $.get est asynchrone. On a pas le résultat tout de suite, mais en attendant
// on a une promesse tout de suite.
var $promesse = $.get('/truc/machin');
// premier callback. Il sera appelé quand $.get aura récupéré son
// résultat
$promesse.then(function(resultat){
// faire un truc avec le résultat
// puis on retourne le nouveau résultat
return nouveau_resultat;
});
// deuxième callback. Il sera appelé quand le premier callback
// aura retourné son résultat.
$promesse.then(function(nouveau_resultat){
// faire un truc
});Notez bien que c’est TRES différent de ça (en Python):
resultat = request.get('/truc/marchin')
def function(resultat):
# faire un truc
return nouveau_resultat
nouveau_resultat = function(resultat)
def autre_function(nouveau_resultat):
# faire un truc
autre_function(nouveau_resultat)En Python, le code est bloquant par défaut. Ça va marcher, mais pendant que le code attend la réponse du serveur, votre ordinateur est en pause et ne travaille pas.
Un plus beau code
On se retrouve avec un code asynchrone, mais qui s’exécute dans l’ordre de lecture. Et comme on peut chainer les then() et donc ne pas réécrire $promesse à chaque fois, on obtient quelque chose de beaucoup plus lisible :
$.get('/truc/machin')
.then(function(resultat){
// faire un truc
return nouveau_resultat;
})
.then(function(nouveau_resultat){
// faire un truc
});Si on reprend notre premier exemple, ça donne ça :
$(function(){
// create new token
$.post('/auth/token')
// then save token and get last session
.then(function(token){
saveToken(token);
return $.get('/sessions/last');
})
// then init session
.then(function(session){
if (session.device != currentDevice){
$.get('/session/ ' + session.id + '/context')
.then(function(context){
loadContext(function(){
startApp(function(){
initUi()
})
})
})
}
else {
startApp(function(){
initUi()
})
}}
})
});Tout ça s’exécute de manière non bloquante (d’autres fonctions ailleurs dans le programme peuvent s’exécuter pendant qu’on attend la réponse du serveur), mais dans l’ordre de lecture, donc on comprend bien ce qui se passe. Si on veut retirer un bloc, c’est beaucoup plus facile.
Comment ça marche à l’intérieur ?
Histoire d’avoir une idée de comment une promise marche, on va faire une implémentation, simpliste et naïve, mais compréhensible, d’une promesse en Python. Pour rendre l’API un peu sympa,je vais utiliser les décorateurs.
class Promise:
# La promesse contient une liste de callbacks, donc une liste de fonctions.
# Pas le résultat des fonctions, mais bien les fonctions elles mêmes,
# puisque les fonctions sont manipulables en Python.
def __init__(self):
self.callbacks = []
# Point d'entrée pour ajouter un callback à la promesse
def then(self, callback):
self.callbacks.append(callback)
# Cette méthode est celle qui sera appelée par le code asynchrone
# quand il reçoit son résultat.
def resolve(self, resultat):
# Ici, on obtient le résultat du code asycnhrone, donc on boucle
# sur les callbacks pour les appeler
while self.callbacks:
# On retire le premier callback de la liste, et on l'appelle
# avec le résultat
resultat = self.callbacks.pop(0)(resultat)
# Si le resultat est une promesse, on dit à cette nouvelle promesse
# de nous rappeler quand a elle a reçu ses résultats à elle avant
# d'aller le reste de nos callbacks a nous : on fusionne les deux
# promesses :
# Promesse 1
# - callback1
# - callback2
# - Promesse 2
# * callback 1
# * callback 2
# - callback 3
if isinstance(resultat, Promise):
resultat.then(self.resolve)
breakMaintenant, créons un code asynchrone:
from threading import Timer
def func1(v1):
# On dit complètement artificiellement d'afficher le résultat
# de la fonction dans 3 secondes, sans bloquer histoire d'avoir
# un peu de nonbloquitude dans notre code et justifier l'asynchrone.
def callback1():
print(v1)
t = Timer(3, callback1)
t.start()
def func2(v2):
# Le même, mais pour 2 secondes
def callback2():
print(v2)
t = Timer(2, callback2)
t.start()
# Deux fonctions normales
def func3(v3):
print(v3)
def func4(v4):
print(v4)
# Et si on les enchaines...
print('Je commence')
func1(1)
print('Juste après')
func2(2)
func3(3)
func4(4)
# ... le résultat est bien désordonné :
## Je commence
## Juste après
## 3
## 4
## 2
## 1Parfois c’est ce que l’on veut, que les choses s’exécutent dans le désordre, sans bloquer.
Mais quand on a des fonctions qui dépendent les unes des autres, au milieu d’un code asynchrone, on veut qu’elles se transmettent le résultat les unes aux autres au bon moment. Pour cela, utilisons notre promesse :
from threading import Timer
# La mise en place de promesses suppose que le code
# écrit en fasse explicitement usage. Notre code est
# définitivement lié à cette manière de faire.
def func1(v1):
# Notre fonction doit créer la promesse et la retourner
p = Promise()
def callback1():
print(v1)
# Dans le callback, elle doit dire quand la promesse est tenue
p.resolve(v1)
t = Timer(3, callback1)
t.start()
return p
# On lance la première fonction.
print('Je commence')
promise = func1(1)
print('Juste après')
# On ajoute des callbacks à notre promesse.
@promise.then
def func2(v2):
p = Promise()
def callback2():
# Pour justifier l’enchainement des fonctions, on fait en sorte que
# chaque fonction attend le résultat de la précédente, et
# l'incrémente de 1.
print(v2 + 1)
p.resolve(v2 + 1)
t = Timer(2, callback2)
t.start()
# Ce callback retourne lui-même une promesse, qui sera fusionnée
return p
# Ces callbacks ne retournent pas de promesses, et seront chainés
# normalement
@promise.then
def func3(v3):
print(v3 + 1)
return v3 + 1
@promise.then
def func4(v4):
print(v4 + 1)
# Nos fonctions s'exécutent dans le bon ordre, mais bien de manière
# asynchrone par rapport au reste du programme.
## Je commence
## Juste après
## 1
## 2
## 3
## 4Notez bien :
- Le résultat “1″ n’apparait que trois secondes après “Juste après”. Les fonctions sont donc bien non bloquantes.
- Le resultat “2″ apparait deux secondes après “1″: c’est aussi asynchrone, MAIS, n’est lancé que quand la première fonction a terminé son travail.
- La deuxième fonction retourne une promesse, qui est fusionnée: tous ses callbacks vont s’exécuter en file avant que
func3 soit lancé.
Évidement, n’utilisez pas cette implémentation de promise à la maison, c’est pédagogique. Ça ne gère pas les erreurs, ni le cas où le callback est enregistré après l’arrivée du résultat, et tout un tas d’autres cas tordus.
Syntaxe alternative
En Python, beaucoup de frameworks ont une approche plus agréable pour gérer les promesses à grand coup de yield. Twisted fait ça avec son @inlineCallback, asyncio avec @coroutine. C’est juste du sucre syntaxique pour vous rendre la vie plus facile.
Il s’agit de transformer une fonction en générateur, et à chaque fois qu’on appelle yield sur une promesse, elle est fusionnée avec la précédente. Ça donne presque l’impression d’écrire un code bloquant normal :
# un appel de fonction asyncrone typique de twisted
@inlineCallback
def une_fonction(data):
data = yield func1(data)
data = yield func2(data)
data = yield func3(data)
une_fonction(truc)
Les fonctions 1, 2 et 3 vont ainsi être appelées de manière asynchrone par rapport au reste du programme, mais bien s’enchainer les unes à la suite des autres.
Ouai, tout ce bordel parce que l’asynchrone, c’est dur, donc on essaye de le faire ressembler à du code synchrone, qui lui est facile.
