Поиск и удаление дубликатов

Определяет и удаляет повторяющиеся строки в наборе данных. Нужен для очистки и оптимизации информации.