Η έξοδος μιας εργασίας χαρτογράφησης ή χάρτη (ζεύγη κλειδιών-τιμών) είναι είσοδος στο Reducer Ο μειωτήρας λαμβάνει το ζεύγος κλειδιού-τιμής από πολλές εργασίες χάρτη. Στη συνέχεια, ο μειωτής συγκεντρώνει αυτές τις ενδιάμεσες πλειάδες δεδομένων (ενδιάμεσο ζεύγος κλειδιού-τιμής) σε ένα μικρότερο σύνολο πλειάδων ή ζευγών κλειδιών-τιμών που είναι η τελική έξοδος.
Τι κάνουν οι χαρτογράφοι και οι μειωτήρες;
Hadoop Mapper είναι μια συνάρτηση ή εργασία που χρησιμοποιείται για την επεξεργασία όλων των εγγραφών εισόδου από ένα αρχείο και τη δημιουργία της εξόδου που λειτουργεί ως είσοδος για τον Reducer Παράγει την έξοδο επιστρέφοντας νέα ζεύγη κλειδιού-τιμής. … Ο αντιστοιχιστής δημιουργεί επίσης μερικά μικρά μπλοκ δεδομένων κατά την επεξεργασία των εγγραφών εισόδου ως ζεύγος κλειδιού-τιμής.
Ποια είναι η διαφορά μεταξύ χαρτογράφου και μειωτήρα;
Ποια είναι η κύρια διαφορά μεταξύ Mapper και Reducer; Η εργασία Mapper είναι η πρώτη φάση επεξεργασίας που επεξεργάζεται κάθε εγγραφή εισόδου (από το RecordReader) και δημιουργεί ένα ενδιάμεσο ζεύγος κλειδιού-τιμής. Η μέθοδος μείωσης καλείται ξεχωριστά για κάθε ζεύγος λίστας κλειδιών/τιμών.
Πώς υπολογίζετε τον αριθμό των αντιστοιχιστών και των μειωτήρων;
Εξαρτάται από πόσους πυρήνες και πόση μνήμη έχετε σε κάθε slave. Γενικά, ένας χαρτογράφος πρέπει να έχει 1 έως 1,5 πυρήνες επεξεργαστών Έτσι, εάν έχετε 15 πυρήνες, τότε μπορεί κανείς να εκτελέσει 10 Mappers ανά Κόμβο. Έτσι, αν έχετε 100 κόμβους δεδομένων στο Hadoop Cluster, τότε μπορεί κανείς να εκτελέσει 1000 Mappers σε ένα Cluster.
Πώς λειτουργεί η λειτουργία Mapper;
Το
Η αντιστοίχιση είναι μια συνάρτηση που επεξεργάζεται τα δεδομένα εισόδου Ο χαρτογράφος επεξεργάζεται τα δεδομένα και δημιουργεί πολλά μικρά κομμάτια δεδομένων. Η είσοδος στη συνάρτηση χαρτογράφησης έχει τη μορφή ζευγών (κλειδί, τιμή), παρόλο που η είσοδος σε ένα πρόγραμμα MapReduce είναι ένα αρχείο ή κατάλογος (που αποθηκεύεται στο HDFS).
