Как ускорить импорт товаров? - Импорт-экспорт данных

Доброго времени суток.
Есть сайт интернет-магазина, работает на Version 4.18.3. Версия PHP 7.1.33. В магазине 24000+ товаров.
Файл импорта, как мне кажется, очень долго загружается. В цифрах, например, 1000 товаров примерно 7000-8000 секунд... При обновлении, а приходится делать каждую неделю, из-за переоценок на сайте с которым работаем по дропшиппингу, импорт идет немного быстрее.
В этих вопросах не силен, поэтому прошу пояснить, это нормально или же очень долго? Если нужна какая-то дополнительная информация, предоставлю.

В цифрах, например, 1000 товаров примерно 7000-8000 секунд

То есть тысяча товаров обновляется 2.(2) часов (2 и 2 в периоде если что)?

То есть тысяча товаров обновляется 2.(2) часов (2 и 2 в периоде если что)?

Изначально именно такие цифры, потом в реальном времени процесс идет немного быстрее... То есть, при первичном импорте, все товары 24000+ прогружаются за 3 дня, примерно...

Честно скажу - вообще не знаю как работает импорт в джумшопе, откуда идет импорт, каким форматом и тд (считайте мое сообщение оффтопом), но это совершенно ненормально.
Нормально написанный PHP скрипт чтения данных из CSV\XML (есть опыт работы с интеграцией с 1С) для тысячи товаров выполняется за минуту\плюс\минус (естессно зависит от количества данных\параметров и тд). Но 3 дня для 24000 товаров .....
Даже для обычного виртуального хостинга это запредельные цифры.

Может проблема с БД - что там уже есть 1000000 товаров, которые при обновлении уходят в статус неопубликованных и новые грузятся в ту же таблицу? Ну как один из вариантов

Я и сам чувствую, что какой-то подвох... Да, файл импорта имеет много столбцов, пока не пойму как его прикрепить к сообщению. Извините, только осваиваюсь на форуме.

БД всего 385 Мб занимает. А вот сайт разросся до 85 гигов...

БД всего 385 Мб занимает. А вот сайт разросся до 85 гигов...

85 гигов это надеюсь всякие изображения\документы? Все равно это уже большой объем и нужно смотреть что из него нужно.
А вот база в 385 метров это реальная проблема, даже для 20 тыщ товаров перебор. Разве если только вы в базе храните картинки\инструкции к товару (не как файлы).

85 гигов это надеюсь всякие изображения\документы? Все равно это уже большой объем и нужно смотреть что из него нужно.
А вот база в 385 метров это реальная проблема, даже для 20 тыщ товаров перебор. Разве если только вы в базе храните картинки\инструкции к товару (не как файлы).

Да, 85 гигов изображения товаров. Значит БД "раздута" - копать надо и в эту сторону...

БД всего 385 Мб занимает. А вот сайт разросся до 85 гигов...

Размер базы нормальный (по опыту бывает и больше, если товаров много), а вот сайт 85 гигов это много. Скорее всего большую часть на хостинге занимает PDF-счета выставленные за заказы. Чем больше заказов (за все года работы), тем больше файлов + еще наверное не оптимизированные по весу картинки товаров.

А насчет импорта, смотря какой используете, если платный то нужно обращаться в их поддержку/

Самый быстрый импорт (если написан не "корявыми ручками") - это напрямую из 1С в базу сайта по SSH. А через файл, всегда будет намного дольше.

Смотря чем экспорт реализован и как.
Если там идёт скачивание картинок - то реально может и долго

Смотря чем экспорт реализован и как.

Речь идет об импорте, а не о экспорте!

Ну да, импорт, ошибся

Самый быстрый импорт (если написан не "корявыми ручками") - это напрямую из 1С в базу сайта по SSH. А через файл, всегда будет намного дольше.

Ну не может идти импорт текстовых данных из файла на 24 тыщи строк три дня (если там не тянутся картинки, естессно, что хотя тоже дохрена долго)
У меня в MS SQL база в 50 гигов экспортировалась за 20 минут (правда скрипт экспорта был на C+) и файл экспорта был конечно не текстового типа (да и компы тогда были другие, 10 лет назад то). Так что в любом случае три дня для 300 метров это перебор

А что гадать- прописать счетчик в скрипте импорта и вывести время по окончании работы скрипта .
Но если так долго импорт, то смотреть в БД насчет дублей товаров .
Вообщем вопросы к разработчику скрипта или переделывать .
п.с.
А есть в скрипте импорта опция удаления файлов импорта ?

А есть в скрипте импорта опция удаления файлов импорта ?

Такой опции нет. Но, зашел в раздел Восстановление/Удаление, а там все бэкапы БД при каждом импорте js_backup_02.11.2019_16_19_25.sql
Как я вижу со 2-го ноября лежат, при чем объём общий на несколько гигов выйдет... Загрузку, удаление старых файлов не ускорит, но дисковую квоту освободит.

Ну не может идти импорт текстовых данных из файла на 24 тыщи строк три дня (если там не тянутся картинки, естессно, что хотя тоже дохрена долго)
У меня в MS SQL база в 50 гигов экспортировалась за 20 минут (правда скрипт экспорта был на C+) и файл экспорта был конечно не текстового типа (да и компы тогда были другие, 10 лет назад то). Так что в любом случае три дня для 300 метров это перебор

Почему нет?
Я тут недавно писал импорт под себлод, так там секунд до 30 на один товар - так как у каждого товара десятки картинок и скрипт ещё и каждую масштабирует в пяток разных миниатюр и ещё водяные знаки накладывает.
Но вот если уже загружен и надо обновить цену - то там менее секунды на товар, 7-8 секунд это что-то дофига

Но вот если уже загружен и надо обновить цену - то там менее секунды на товар

Ну логично что нужно при импорте проверять наличие товара (по ID или артикулу) и обновлять выборочно данные. Но вот с картинками сложнее, если изменились  + ресайз...

Вот тут мы обсуждаем... а ведь если импорт платный, то это вопрос саппорта разработчиков. Если покупали обратитесь туда. Чей импорт?

А если варез тут и обсуждать нечего.

Подскажите, пожалуйста, как файл изображения с ПК прикрепить? Жму Вложения и другие параметры - не отображается прикрепить файл...

Вот тут мы обсуждаем... а ведь если импорт платный, то это вопрос саппорта разработчиков. Если покупали обратитесь туда. Чей импорт?

А если варез тут и обсуждать нечего.

Согласен, ТС, какой импорт то? И почему не в саппорт?

Считайте мое сообщение оффтопом (с), но все что свыше 5К товаров делать на CMS абсурд, имхо . Только конкретно написанный под конкретную задачу движок. Это мое личное скромное имхо.

5к
Не так много
Тут больше зависит от характеристик и атрибутов
А так битрикс на вдс легко тянет и не такие количества

5к
Не так много
Тут больше зависит от характеристик и атрибутов
А так битрикс на вдс легко тянет и не такие количества

ключевое слово "на вдс", но вообще битрикс да, тянет, но он платный. И с обновлениями у него не все так хорошо

А так битрикс на вдс легко тянет и не такие количества

Битрикс никогда не будет быстрее Joomla. Убедился на многих реализованных проектах. С 1С-ником не раз делали полную интеграцию с 1С (напрямую в базу) - летает по сравнению с Битрикс. И это на виртуальном хостинге, без ВДС.

Битрикс никогда не будет быстрее Joomla. Убедился на многих реализованных проектах. С 1С-ником не раз делали полную интеграцию с 1С (напрямую в базу) - летает по сравнению с Битрикс. И это на виртуальном хостинге, без ВДС.

Не ну как писали ранее интеграцию через ссш тут безспорно
А так все дело в оптимизации
И на Joomla можно гонять 100-200к товара
Тут сервак и канал решают

Подскажите, пожалуйста, как файл изображения с ПК прикрепить? Жму Вложения и другие параметры - не отображается прикрепить файл...

вы можете положить файл на любой файлохостинг например гуглдиск/яндексдиск/дропбокс и дать ссылку.
но вам уже несколько раз задали вопрос - какой импорт используете ?
вы как-то игнорируете вопрос. это вызывает ответную реакцию

 

Убедился на многих реализованных проектах. С 1С-ником не раз делали полную интеграцию с 1С (напрямую в базу) - летает по сравнению с Битрикс.

То есть, запускали аналогичные проекты с одинаковым количеством товара на Joomla и битрикс и сравнивали? Вот прям все один в один только на разных движках?

То есть, запускали аналогичные проекты с одинаковым количеством товара на Joomla и битрикс и сравнивали? Вот прям все один в один только на разных движках?

Да, не в один в один, но похожие. На Joomla в разы быстрее. Спорить и доказывать здесь не собираюсь. Есть опыт и его не пропьешь. Где для Битрикса нужен ВДС, Joomla легко обойдется виртуальным хостингом, причем на него еще можно посадить несколько сайтов.

Да, не в один в один, но похожие. На Joomla в разы быстрее. Спорить и доказывать здесь не собираюсь. Есть опыт и его не пропьешь. Где для Битрикса нужен ВДС, Joomla легко обойдется виртуальным хостингом, причем на него еще можно посадить несколько сайтов.

Это факт
Битрикс к ресурсам требователен
Но грамотная настройка решает

Но грамотная настройка решает

Максимум на 25%, не больше (а то и меньше). 4-ка выйдет и Битрикс будет далеко в заднице. Чтобы что-то изменить им нужно его (движок) полностью переписать. А они еще UMI купили, наверное на что-то надеялись, наверное на прорыв в технологиях.