Définition - Que signifie le chaînage des tâches?
Le chaînage de tâches est un terme de MapReduce qui fait référence au lancement de plusieurs étapes dans la même tâche MapReduce. Avec le chaînage des tâches, la première tâche envoie la sortie à une tâche, qui envoie la sortie à la tâche suivante de la chaîne, et ainsi de suite jusqu'à ce que la tâche soit terminée. Il s'agit d'une forme de pipelining des tâches MapReduce pour les rendre plus gérables.
Definir Tech explique le Job Chaining
Le chaînage de tâches dans MapReduce fait référence à l'exécution de plusieurs tâches dans un seul travail MapReduce.
Par exemple, une chaîne de tâches peut comprendre:
Carte1> Réduire1> Carte2> Réduire2
L'avantage du chaînage des tâches est qu'il élimine le besoin de données intermédiaires entre toutes les étapes d'un pipeline. En ce sens, le chaînage des tâches est similaire à la redirection d'entrée / sortie dans le shell Unix. La sortie d'un maillon de la chaîne est acheminée vers l'entrée de la tâche suivante de la chaîne. MapReduce permet aux développeurs de spécifier les dépendances, ou les travaux à terminer avant de traiter les travaux suivants de la chaîne via l'utilisation de l'appel de méthode addDependingJob ().
Cela permet à un développeur d'écrire plus facilement un programme MapReduce capable de traiter de grandes quantités de données.