Проблема в больших магазинах, timeout (таймаут) скрипта - [VM1] Импорт-экспорт данных

у меня очень большой магазин (около 3000 позиций)

Так вот когда он был до 2000 работал нормально а теперь не выгружает (экспортирует) csv как-только не мучился не знаю что делать  ???

готовые csv по дурости когда чистил комп снес а через админку править около 500 товаров это просто упасть можно (проше карандаш выкурить)

А как ругается? Какие ошибки пишет?

А как ругается? Какие ошибки пишет?

Да вообще ни как не ругается просто открывается страница сервер не найден

Раз магазин такой большой, то может не хватает времени для завершения работы скрипта и сервер просто его отрубает и тебе пишется что он не найден?

Т.е. надо попробовать увеличить время жизни сткрипта.

Раз магазин такой большой, то может не хватает времени для завершения работы скрипта и сервер просто его отрубает и тебе пишется что он не найден?

Т.е. надо попробовать увеличить время жизни сткрипта.

А как это сделать

1. есть предположение что такое возможно сделать путём вписания в файл .htaccess строчки:
, где 600 максимальное время исполнения скрипта в секундах

2. объяснить ситуацию хостеру и попросить об увеличении этого значения.

НО, это только если в твоей проблемме виновато это значение и я не берусь утверждать что в этом дело.

1. есть предположение что такое возможно сделать путём вписания в файл .htaccess строчки:

Код

php_value max_execution_time 600

, где 600 максимальное время исполнения скрипта в секундах

2. объяснить ситуацию хостеру и попросить об увеличении этого значения.

НО, это только если в твоей проблемме виновато это значение и я не берусь утверждать что в этом дело.

Я так сделал
Вот что он мне отвечает

Internal Server Error
The server encountered an internal error or misconfiguration and was unable to complete your request.
Please contact the server administrator and inform them of the time the error occurred, and anything you might have done that may have caused the error.

More information about this error may be available in the server error log.


Additionally, a 500 Internal Server Error error was encountered while trying to use an ErrorDocument to handle the request.

Подскажите что надо исправить чтобы увеличить срок жизнь с 30 сек. до 120

Подскажите что надо исправить чтобы увеличить срок жизнь с 30 сек. до 120

Поменяй всё тот-же парамер, но в файле php.ini
php_value max_execution_time 600

Поменяй всё тот-же парамер, но в файле php.ini
php_value max_execution_time 600

Помогло

Большое тебе спасибо

И всем кто хоть как-то пытался мне помочь

когда нет возможности править php.ini можно через phpmyadmin импорт/экспорт делать, так сказать, сразу в базу...

когда нет возможности править php.ini можно через phpmyadmin импорт/экспорт делать, так сказать, сразу в базу...

а можно пошагово: как это сделать

Подскажите пожалуйста решение проблемы с таймаутом при импорте товаров через CSV.
Если нет возможности увеличить "max_execution_time", как быть?

Самоответ.

Для магазинов с большим количеством товаров можно использовать
http://joomlaforum.ru/index.php/topic,8340.0.html

Пятую бета-версию искать на третьей странице
http://joomlaforum.ru/index.php/topic,8340.msg87750.html#msg87750

Для "простого" обновления даже большого каталога - более чем достаточно.

ps. при 25 тыс товаров (без описаний) на мастерхосте  вылетает по ограничению в 32МБ,
однако методом половинного деления прайса укладываюсь в 2 загрузки
pps. Кратко об импорте при помощи simple csv

Ребят ну есть же php проггеры ну гляньте я точно знаю что обойти проблему можно (через грабли правда). Вот у меня на хостинге ограничение выполнения скрипта стоит 11 секунд. А теперь вспомните joomlapack там ведь тоже все один скрипт делает и порой по пол часа может висеть, + куча всяких скриптов которые системное время выполнения могут обходить, так что может кто покопается а ? Я был бы очень признателен ...

Кстати щас попробовал через крон запустить импорт - ограничение хостинга ваще не сработало! Так что верхний мой пост становится все более актуальнее ! ... (так как крон скрипт импорта, запускается с теми же правами что и через админку в компоненте CSVI, можно таким же способом обойти тайминг в скрипте компонента )

Ну думаю чтоб закрыть тему лучше вылажу свое решение по данной проблеме!
файл : www\administrator\components\com_csvimproved\models\importfile.php
строки : 78 - 81
код : можно тупо удалить данный участок, но тогда можно перегрузить хостинг данным скриптом по времени.

А можно дописать четкое ограничение в 29 секунд как я и сделал:

Не советую превышать время исполнения скрипта!

Арчик, большое спасибо время увеличелось и загружается больше товаров. один вопрос на сколько можно увеличить значение времени, чтобы работало нормально? я правельно понял, что через крон загружаеться весь файл с товаром, и ни каких ограничений по времени нет?

ДА у мну на хостинге на крон ограничения не стоят (даже если и стоят то я их не чувствую). Что касается увеличения времени в скрипте то думаю можно сделать так:
Каждый хостер всяко при превышении каких либо лимитов (память/камень), шлет уведомления на мыло либо эти превышния фиксируются в админ панели управления вашим тарифным планом. Полагаю можно попробовать прогнать ваш csv файл в полном объеме один раз в сутки ! (при тайминге как на локальной машине)если после этого превышения не будет то думаю время можно будет оставить, а если превышение будет то делите время на 2 и по новой пока не найдете золотую середину!

Я так же столкнулся с проблемой того что не возможно обновить весь каталог магазина за один раз, скрипт отваливался по времени или по памяти. После долгих мучений хостер сказал причину сего действа. и было увеличено каолличество памяти и время выполнения скрипта до 300 секунд. НО! это не дало результата так как через примерно 45 секунд работы скрипта он переставал отвечать и выдавалась ошибка сервера.  На что хостер ответило что скорее всего в течене 45 секунд скрипт не выдает не каких данных в веб и его автоматом отрубает сервер.  Вообщем они говорят чо нужно сделать так чтоб скрипт при работе отображал какие либо данные иначе н так и не будет работать больше 45 секунд.  Есть у кого идеи как заставить во время работы скрипта выдавать данные на отображение постепенно? Сейчас похоже ответ скрипта сначала как то где-то кешируется и только после этого начинает выводиться.

Есть у кого идеи как заставить во время работы скрипта выдавать данные на отображение постепенно? Сейчас похоже ответ скрипта сначала как то где-то кешируется и только после этого начинает выводиться.

Мое мнение что хостер просто отмазался, подобного
Что означает "веб и его автоматом отрубает" че за тупость ))

Вы через крон выгрузку делаете ?

Арчик, слушай, у меня при импорте через csv improved xls прайса как только количество товаров переваливает за сотню - при импорте вылетает окно: вы собираетесь открыть index.php из http://eva72.ru и импорта не происходит. Ну и после нескольких еще таких попыток вылетает MAXIMUM_EXECUTION_LIMIT_EXCEEDED.

Попробовал предложенные тобой способы удаления и модификации строк - не помогает. Также как и добавление в .htaccess строк:
php_value memory_limit 32M
php_value max_execution_time 600

Хочу попробовать сделать импорт через crontab на хостинге sweb. Подскажи, пожалуйста, какой скрипт импорта ты ставишь в cron-е.

Хочу попробовать сделать импорт через crontab на хостинге sweb. Подскажи, пожалуйста, какой скрипт импорта ты ставишь в cron-е.

Делаю так:
#*/5 * * * * /usr/local/bin/php /usr/home/26284/73458._ДОМЕН_.ru/html/administrator/components/com_csvimproved/helpers/cron.php username="_имя_админа_сайта_" passwd="_пароль_админки_сайта_" template_name="_импортируемый_шаблон_" filename="/usr/home/26284/73458._ДОМЕН_.ru/html/media/csv.csv" 2>&1 | mail -E info@bionicum.ru

Арчик, спс, что подсказал:

меня хостинг заставил чуть скорректировать запрос:

интервал: */5 * * * *

задание: ~/public_html/administrator/components/com_csvimproved/helpers/cron.php username="........." passwd="........" template_name="Import" filename="price.xls" 2>&1

в cron.php заставили задать путь к интерпретатору: #!/usr/local/bin/php (первая строка в файле). Установить на файл права 705.

Вообщем проделал всю эту операцию и результат тот же самый: каждый раз на мыло приходит сообщение вида: /bin/sh: line 1: 10948 Killed
И каждый раз импортирует до разного товара - видимо насколько успевает пока его не заблокируют.

До этого написал на хостинг - говорят, что у них там max_execution_time = 10 и хоть вешайся. Пытаются чем-то помочь, но пока безуспешно.

Ума не приложу, что еще попробовать. Есть идеи? ))

Конечно есть! Меняй хостинг!

Возможно так и придется - просто на год проплачено. А вообще возможно есть выход: csvi версии 2.3 вроде позволяет делать заливку в несколько операций. Так что вот сейчас и занимаюсь доставанием этой самой версии.

Помогло

Большое тебе спасибо

И всем кто хоть как-то пытался мне помочь

а в каком месте этот  php.ini находится?

а в каком месте этот  php.ini находится?

смотря какой у тебя сервер. Если виртуальный, то лучше позвонить или написать в тех. поддержку дабы они тебя направили как оно у них с конфигураций php.
   Если у тебя VPS, то тут все сложнее. Ломитесь на SFTP и там в папке /etc/php.ini

У меня вот постоянно ошибка "504 Gateway Time-out" ....печаль...тоже проблема с загрузкой карты сайта, как HTML, так и XML. Все из-за долбанного sh404SEF, больно тяжелый он!(