Définition - Que signifie JobTracker?
JobTracker est un démon qui s'exécute sur le moteur MapReduce d'Apache Hadoop. JobTracker est un service essentiel qui ferme toutes les tâches MapReduce vers les différents nœuds du cluster, idéalement vers les nœuds qui contiennent déjà les données, ou à tout le moins sont situés dans le même rack que les nœuds contenant les données.
Definir Tech explique JobTracker
JobTracker est le service de Hadoop qui est responsable de la prise en charge des demandes des clients. Il les affecte aux TaskTrackers sur les DataNodes où les données requises sont présentes localement. Si cela n'est pas possible, JobTracker essaie d'affecter les tâches aux TaskTrackers dans le même rack où les données sont localement présentes. Si, pour une raison quelconque, cela échoue également, JobTracker affecte la tâche à un TaskTracker où une réplique des données existe. Dans Hadoop, les blocs de données sont répliqués sur les DataNodes pour assurer la redondance, de sorte que si un nœud du cluster échoue, le travail n'échoue pas non plus.
Processus JobTracker:
- Les demandes de travail des applications client sont reçues par le JobTracker,
- JobTracker consulte le NameNode afin de déterminer l'emplacement des données requises.
- JobTracker localise les nœuds TaskTracker qui contiennent les données ou au moins sont à proximité des données.
- Le travail est soumis au TaskTracker sélectionné.
- Le TaskTracker exécute ses tâches tout en étant étroitement surveillé par JobTracker. Si le travail échoue, JobTracker soumet simplement le travail à un autre TaskTracker. Cependant, JobTracker lui-même est un point de défaillance unique, ce qui signifie qu'en cas de défaillance, tout le système tombe en panne.
- JobTracker met à jour son état une fois le travail terminé.
- Le demandeur client peut désormais interroger les informations de JobTracker.