Недосмотрели, импортнули каталог товаров с дуликатами товаров - Импорт-экспорт данных

Доброго времени суток! Импортировали каталог из 10 тыс. Товаров не проверив на наличие дубликатов, поставщик допустил косяк при формировании прайса, в итоге проделано много работы и у нас 5 тыс. Дубликатов, как избавиться от этих дубликатов не повредив базу (изображения, описание товара, характеристики и т.д.)?

1. надо определить по какому признаку дубли и как их можно выявить.
2. писать обработку каталога

П.С. Ну и как бы надо понимать как так получилось, чем импортили и т.д.
артикула одинаковые тоже ?

Товары полностью идентичны, в том числе и артикулы. Импортировали стандартным импортером джумшопинга, предваритель адаптировав самописным скриптом экселевский файлик

Признаков дубля никаких нет, все идентично знак в знак, пробел в пробел, как импортнули, так и получилось (((

ого...
ну тогда надо написать обработчик
чтобы удалял строки в базе с дублями по артикулу.

ну или переимпортить только уже вычищенный

или использовать платные импорты, там товар с тем же ключевым признаком просто должен перезаписаться, без дублей.

как избавиться от этих дубликатов не повредив базу (изображения, описание товара, характеристики и т.д.)?

Вариант очистить базу и залить заново уже без дубликатов подходит?

предваритель адаптировав самописным скриптом экселевский файлик

Смотрели в сторону платных вариантов? Есть импорт Комиель, который прям из Excel импортирует (учитывая дубли товаров).

ну или переимпортить только уже вычищенный

Ну нормальный прайс уже есть, дубликаты поудаляли из подготовленного для импорта файла и в скрипт включили проверку на дубликаты, на будущее, а то вдруг поставщик опять пришлет с дубликатами. Получается при заливке стандартным импортером джумшоппинга нормального прайса без дубликатов поверх базы с дубликатами он заменит один из двух или оба товара, но не удалит, верно? И варианта решения этого вопроса два: ручками 5 тыс. Наименований или непосредственно из базы (по последнему у меня не хватает образования ))))), если есть возможность опишите в двух словах как реализовать поставленную задачу, если не выйдет, то буду искать платное решение или удалять руками (( ) Спасибо!

Вариант очистить базу и залить заново уже без дубликатов подходит?Смотрели в сторону платных вариантов? Есть импорт Комиель, который прям из Excel импортирует (учитывая дубли товаров).

Очистить базу не проблема, если я Вас правильно понял, то все удалить, включая описания, фото, характеристики и т.д. - в этом случае такой вариант не приемлим, жаль до этого проделанную работу

Комиель мог бы решить Вашу проблему.
Опишу вкратце:
1. Создать экспорт. Файл экспорта будет содержать в себе и характеристики и изображения и другие данные (Полное описание полей)
2. Очистить нужные таблицы MySQL.
3. Импортировать ранее созданный файл.

В результате в файл экспорта попадет 10000 товаров, а при импорте товаров в магазине станет 5000 (минус дубли). И вся до этого проделанная работа останется.

Как это сделать бесплатно? Я в принципе описал схему, однако мне неизвестны бесплатные инструменты для её реализации.