Статус: ✅ Job завершилась успешно
Окно выполнения : ≈ 28 минут
| Показатель | Значение | Примечание |
|---|---|---|
| Входные данные (HDFS bytes read) | 31 457 312 892 B | ≈ 29.29 GiB / 31.46 GB |
| Выходные данные (HDFS bytes written) | 32 274 352 152 B | ≈ 30.06 GiB / 32.27 GB |
| File Input Format Bytes Read | 31 457 280 000 B | ровно 30×1 048 576 000 B |
| Map tasks (запущено) | 300 | по ~100 MB сплит |
| Reduce tasks (запущено) | 2 | финальная сводка |
| Неудачные reduce | 1 | переразвернут автоматически |
| Убитые map | 1 | нормальная ретрая |
| Map input records | 408 536 400 | |
| Reduce output records | 408 536 163 | |
| Reduce input groups | 408 536 163 | |
| Spilled Records | 1 623 251 296 | объём промежуточных данных |
| Reduce shuffle bytes | 33 908 500 500 B | ≈ 31.6 GB |
| CPU time (совокупно) | 3 132 810 ms | ≈ 3 132.81 s ≈ 52.2 мин |
| GC time | 59 215 ms | ≈ 59.2 s |
| Physical memory snapshot | 117 552 074 752 B | ≈ 109.47 GiB |
| Virtual memory snapshot | 835 661 172 736 B | ≈ 777.96 GiB |
| Total time (maps) | 2 494 083 ms | ≈ 41.6 мин CPU |
| Total time (reduces) | 762 539 ms | ≈ 12.7 мин CPU |
Примечание по единицам: GB — десятичные (10⁹), GiB — двоичные (2³⁰).
- Кластер обработал ~30 ГБ случайных данных с 300 параллельными map-тасками и 2 reduce-тасками.
- Shuffle/Reduce прошли без ошибок (все счётчики ошибок shuffle = 0).
- Небольшие флап-события (
Failed reduce tasks=1,Killed map tasks=1) автоматически восстановлены. - Это демонстрирует реальную распределённую нагрузку: высокий суммарный CPU-временной след (~52 мин CPU) и большие объёмы промежуточных данных (~31.6 GB shuffle).