FAQ. Импорт товаров с типами через CSV для virtuemart 1.1.3

[Motor]

Порылся на форуме, через поиск и т.д нифига не нашел.
Каким компонентом можно воспользоваться? Как установить?
Пользуюсь:
VirtueMart 1.1.0 stable
Joomla Версия 1.5.7

[morph]

http://www.csvimproved.com/

[Motor]

я так понля решение этой проблемы нет?
или  только за деньги?

[morph]

csvimproved - специальный компонент для vm 1.1.* Бесплтный. С его помощью можно импортировать/экспортировать категории,товары,цены,и кучу всего.
Скачайте,установите,смотрите.

[andy_car]

Не знаю покажется странным или нет, но я именно в этой теме отпишусь.

В данной связке как у товарища CSVImproved работает криво почему-то. Экспорт пожалуйста сколько угодно, а вот импорт, как не меняешь ноль совсем. При чем  после захода в CSVImproved меняется кодировка на крякозябры, если только не на аглийском (в этом случае меняется все что связано с самим сайтом).
Мужики я уже запарился с импортом может кто знает как их спарить.

[Magam]

Не знаю покажется странным или нет, но я именно в этой теме отпишусь.

В данной связке как у товарища CSVImproved работает криво почему-то. Экспорт пожалуйста сколько угодно, а вот импорт, как не меняешь ноль совсем. При чем  после захода в CSVImproved меняется кодировка на крякозябры, если только не на аглийском (в этом случае меняется все что связано с самим сайтом).
Мужики я уже запарился с импортом может кто знает как их спарить.

Посмотри пару дней назад человек написал  на подобии CSVImproved только по попроще и работает без глюков. Если появиться минута найду, брошу ссылку.

[Bickaze]

есть самописный CSV-импортер

если надо пиши в личку

[Set]

в личку то зачем выкладывайте импортеры, если не трудно, я вот тоже ищу нечто подобное.
Спасибо.

[Set]

Посмотри пару дней назад человек написал  на подобии CSVImproved только по попроще и работает без глюков. Если появиться минута найду, брошу ссылку.

Скажи хоть как называется или где можно взять?

[Gruz]

По просьбам трудящихся, особенно grevzi попробую поделиться опытом, как я оседлал зверя сего сотонатовского окаянного. Просьба трудящегося в теме иной была, но сия мне более к месту показалась для отповеди.

Внимание! CSVImproved не работает на PHP4, использует настрокий PHP, чтобы обнулить для себя лимиты на выполнение скрипта. Если на хостинге такое поведение запрещено, то тоже работать не будет для больших объемов.

Вступление
Собственно говоря перед этим делал на версии Csvimproved 1.5, но при написании опуса сего скудного, обнаружлась версия CsvImproved 1.7. При регистрации доступна для скачивания с сайта csvimproved.com
==========
Правка от 13.04.2010: Уже доступна версия Csvimproved 1.9, для которой этот квазил-мануал тоже действителен.

Ругань об отсутствии лицензии можно игнорировать.
==========

Задача:
Импортировать товары с типами.

Сразу проблема:
Типы надо импортировать отдельным файлом по отдельному шаблону.

Этапы работы:

• Подготавливаю прайс с товарами
• Подготавливаю прайс с типами
• Делаю шаблон импорта товаров
• Делаю шаблон импорта типов
• Импорт
• Шаблон экспорта
• Экспорт

• Подготавливаю прайс с товарами

Для начала думаю, какие мне нужны поля.
Для справки могу заглянуть сюда
administrator/index.php?option=com_csvimproved&task=availablefields&controller=availablefields и выбрать из выпадающего списка product import -> Применить.
Мой вариант

Код:

product_sku^product_name^product_price^product_currency^product_availability^category_path^manufacturer_name^product_publish

Соответственно формирую прайс (например экспортом из OpenOffice в CSV), даю первые строчки файла:

========================================
Правка от 29.09.2009
Внимание:
Как минимум в последней версии CSVImproved 1.8.1 наблюдается обрезание кириллических символов при импорте.
Проблема описана здесь:
http://joomlaforum.ru/index.php/topic,74701.msg432766.html#msg432766
Решение с правкой кода компонента (работоспособность не проверял):
http://joomlaforum.ru/index.php/topic,42648.msg466681.html#msg466681
Минус такого решения - при обновлении версий компонента затрётся.

Решение без правки кода:
То есть, текстовые поля, в которых возможно присутствие кириллицы, должны быть ограничены кавычками (лучше все поля, кроме цифровых):

Код:

product_sku^product_name^product_price^product_currency^product_availability^category_path^manufacturer_name^product_publish
MBASUSP6TSE^"MB ASUS P6T SE X58+ICH10R, 1366 for core i7, DDR3 2000/1800/1600/1333, 2x1Gb Lan, SB 7.1"^227,00^UED^je.gif^"1. Системные платы/Socket 1366"^"Asus"^Y
ASUSRAMPAGEEXTREMEX^"MB ASUS RAMPAGE II EXTREME X58+ICH10R, 1366 for core i7, DDR3 2000/1800/1600/1333, 2x1Gb Lan"^383,00^UED^zamovlennya.gif^"1. Системные платы/Socket 1366"^"Asus"^Y
GIGABYTEGAEX58EXTREME^"MB GIGABYTE GA-EX58-EXTREME iP45+ICH10R, LGA 775, FSB 1600/1333/1066/800, DDR2-1333, 2х1Gb Lan, SB 7"^345,00^UED^zamovlennya.gif^"1. Системные платы/Socket 1366"^"Gigabyte"^Y

.....

Из этого следует, что Excel вообще не может сформировать правильно CSV-файл, ибо в кавычки он брать текст не умеет (по-моему)
При экспорте из OpenOffice можно указать кавычки, как разграничитель текстового поля, и всё будет работать. В софрмированном CSV-файле текстовые поля будут обнесены кавычками, а кавычки в текстовых полях экранированы их дублированием.
Если было
Я люблю "Эскимо"
То в CSV будет:
"Я люблю ""Эскимо"""

CSVImproved это поймёт правильно.

Есть одно исключение:
Если текстовое поле имеет последним символом обратный слеш \, то всё полетит к чертям кошачьим.
Как вариант, можно перед экспортом автозаменой заменить обратный слеш \ на /.
Или воспользоваться регулярным выражением в OpenOffice и добавить пробел после всех \ в конце строки (что лучше, чем предыдущий вариант).
Автозамена для OpenOffice: \\$ на \\ (два обратных слеша и пробел) в режиме регулярных выражений.

Было до правки:

Код:

product_sku^product_name^product_price^product_currency^product_availability^category_path^manufacturer_name^product_publish
MBASUSP6TSE^MB ASUS P6T SE X58+ICH10R, 1366 for core i7, DDR3 2000/1800/1600/1333, 2x1Gb Lan, SB 7.1^227,00^UED^je.gif^1. Системные платы/Socket 1366^Asus^Y
ASUSRAMPAGEEXTREMEX^MB ASUS RAMPAGE II EXTREME X58+ICH10R, 1366 for core i7, DDR3 2000/1800/1600/1333, 2x1Gb Lan^383,00^UED^zamovlennya.gif^1. Системные платы/Socket 1366^Asus^Y
GIGABYTEGAEX58EXTREME^MB GIGABYTE GA-EX58-EXTREME iP45+ICH10R, LGA 775, FSB 1600/1333/1066/800, DDR2-1333, 2х1Gb Lan, SB 7^345,00^UED^zamovlennya.gif^1. Системные платы/Socket 1366^Gigabyte^Y

.....
===============================================


И кладу файл, скажем 1.txt в /media для дальнейшей заливки.

• Подготавливаю прайс с типами

Тут чуть иначе.  Типы у меня уже созданы в БД раньше. Теперь надо забить туда значения.
У меня есть тип Оптовая цена и два параметра в нём: Мелкий опт->small_opt и Крупный опт->large_opt
Также есть два типа Наличие на складе (меня родное наличие от VM не устраивает) и Гарантия с параметрами типов Наличие товара->na_sklade_est и сответственно Гарантия->garantija.

Формирую файл с типами (выходит, на каждый товар по 3 строчки - по одной на тип)

Код:

product_sku^product_type_name^small_opt^large_opt^na_sklade_est^garantija
MBASUSP6TSE^Оптовая цена^226.00^226.00^^
MBASUSP6TSE^Наличие на складе^^^товар есть на складе^
MBASUSP6TSE^Гарантия^^^^36
ASUSRAMPAGEEXTREMEX^Оптовая цена^380.00^378.00^^
ASUSRAMPAGEEXTREMEX^Наличие на складе^^^Уточните наличие товара или доступность под заказ^
ASUSRAMPAGEEXTREMEX^Гарантия^^^^
GIGABYTEGAEX58EXTREME^Оптовая цена^342.00^340.00^^
GIGABYTEGAEX58EXTREME^Наличие на складе^^^Уточните наличие товара или доступность под заказ^
GIGABYTEGAEX58EXTREME^Гарантия^^^^

И кладу файл, скажем 2.txt в /media для дальнейшей заливки.

• Делаю шаблон импорта товаров

Иду в Components-CSVImproved-Templates и тисну Создать.

Вкладки
Choose your template
Import
Настройки

System Limits

General settings


Сохраняюсь. Выбрасывает в список шаблонов, где жму крайне-правую, можно сказать фашистскую, кнопку в колонке fields


Добавляю 7 моих полей

и сохраняюсь

• Делаю шаблон импорта типов

Иду в Components-CSVImproved-Templates и тисну Создать.

Вкладки

Choose your template
Import
Настройки

System Limits

General settings


Полей никаких не добавляю, они указаны в первой строчке шаблона файла для импорта типов:
product_sku^product_type_name^small_opt^large_opt^na_sklade_est^garantija
Собственно, они тоже указаны у файла с товарами, потому, думаю, поля там тоже не обязательно в шаблон добавлять. Но делал давно, работает, потому не трогаю.

• Импорт

Иду в Components-CSVImproved - Import. Тисну на свой шаблон 1. Импорт товаров
Внизу в поле Load from server указываю путь к файлу, то есть, поскольку он в /media, то дописываю к нему /1.txt

ВАЖНО! Надо каждый раз руками дописывать, подставление из выпадающего списка не катит, по крайней мере в Лисице. Говорит какую-то ошибку.

Тисну Import справа вверху. Даёт мне посмотреть, правильно ли я вижу первые 5 товаров. Я говорю да, ок, и продолжаю.
У меня импорт 5 тыс. товаров занимает на локальной машине под ВыньХР минут 20-30. На сервере должно быть быстрее, но всё равно порядочно.

Всё по аналогии для типов. По времени у меня где-то то же самое. Файл существенно больше по кол-ву строк, но меньше по их длине.

Примечание
Если я хочу, чтобы после импорта были опубликованы только те товары, которые есть в прайсе, то перед операциями я в PHPMyAdmin даю команду

Код:

UPDATE `jos_vm_product` SET product_publish = "N"

А после даю команды

Код:

UPDATE `jos_vm_category` SET `category_browsepage`="browse_2";
UPDATE `jos_vm_category` SET `category_flypage` = "flypage.tpl";

так как импортер у новых категорий прописывает шаблоны категорий по умолчанию.

• Шаблон экспорта

Добавляю шаблон
Choose your template
Экспорт
Настройки

System Limits

General settings


Поля я себе выбрал такие:

• Экспорт

Тисну Экспорт, выбираю свой шаблон и дальше по ситуации.


Вот так. Через гузно, но работает.


Отступление
Можно пропустить.
Поскольку у меня в названии категории вероятно появление /, я организовал, чтобы разделитель категорий в прайсе у меня был (:) и внёс изменеия в код компонента:
administrator\components\com_csvimproved\models\category.php
Строчка 159
было:
[/list]

Код:

$category_list = explode("/", $line);

стало

Код:

$category_list = explode("(:)", $line);//##my Замінив роздільник категорій із / на (:)

Илюстрации во вложении.


========================
14.04.2010
Возможная проблема:

При импорте цена вместо нужной превращается в непонятное число.
Решение от sokoll:

если ручками создавать товар то валюта в списке около цены RUB
если черз файл импорта то RU.
т.е. не распознает валюту отсюда косяк.
проверил теорию - все работает. Т.е. надо файл такой
20^ДВС^бачек^100,00^RUB^Nissan^Y

[morph]

фигасе мануал в книгу оформить можно))

Код:

Если я хочу, чтобы после импорта были опубликованы только те товары, которые есть в прайсе, то перед операциями я в PHPMyAdmin даю команду

можно соответствующий столбец просто в прайс добавить где указываеться публиковать или нет.
+1 

[beagler]

+1
Прикрепляю

[Gruz]

фигасе мануал в книгу оформить можно))

Код:

Если я хочу, чтобы после импорта были опубликованы только те товары, которые есть в прайсе, то перед операциями я в PHPMyAdmin даю команду

можно соответствующий столбец просто в прайс добавить где указываеться публиковать или нет.
+1 

Нет, не вариант. Например у меня на сайте есть товары, которых уже нет в прайсе. Я импортирую, новые добавляются, старые обновляются, а те, которых нет в прайсе - не трогаются. А мне их надо выключить.

[White]

у меня при создании шаблона выдает

There was a problem storing the data: TableCsvi_templates::store failed - Unknown column 'template_id' in 'field list' SQL=INSERT INTO `jos_csvi_templates` ( `template_id`,`template_name`,`template_type`,`skip_first_line`,`show_preview`,`use_column_headers`,`collect_debug_info`,`overwrite_existing_data`,`skip_default_value`,`include_column_headers`,`text_enclosure`,`field_delimiter`,`thumb_create`,`thumb_width`,`thumb_height`,`file_location`,`max_execution_time`,`max_input_time`,`memory_limit`,`post_max_size`,`upload_max_filesize`,`ignore_non_exist`,`thumb_extension`,`append_categories`,`export_date_format`,`use_system_limits`,`add_currency_to_price` ) VALUES ( '0','Импорт Товаров','productimport','0','1','1','0','1','0','0','~','^','0','90','90','/var/www/***/***/components/com_VirtueMart/shop_image/product','600','300','64','32','32','0','none','0','d/m/Y H:i:s','1','0' )

что делать? как исправить?

[Gruz]

Удали компонент из админки, таблицы компонента из БД руками, а потом установи наново.

[White]

из БД - mysql ???

[Gruz]

Да. У тебя видимо БД не правильная, может апгрейд от старой версии, может ещё что. Оно не види указанных полей в БД

[White]

а возможно я поставил не верно...
я никак не могу найти понятной схемы установки модуля Экспорта Импорта,

а еще вопрос по теме, я хочу переставить весь сайт заново с нуля, но не хочу терять уже добавленный товар.
есть способы его сохранения без CSV?

[Gruz]

Сделай дамп базы магазина, поставнь новый сайт, установи VM, и замени свежые таблицы ВМ-а твоим дампом.
Также не забудть про папку с фото товаров.

[White]

а могут же быть сами таблицы базы глючные?
может сделать дамп только товаров? как называется данная таблица?

[White]

вроде работает
я попробовал экспортировать, те несколько товаров которые есть...
но после открытия файла csv екселем. вижу кракозябли в который трудно разобратся.

чем просматривать? как править? помогите советом!

Спасибо!

[Yar1]

Подскажите, не правильно работает csvimproved 1.7, когда пытаешься работать на хосте не хочет сохранять шаблоны и.т.п. У меня на машине всё работает при этом все равно пишет (Лицензия не действительна. Не забудьте зарегестрировать эту версию CSVI) и не высвечивается в списке компонентов, захожу по ссылке:)Может у хостера не те настройки РНР?Или из-за не зарегистрированого компонента?Но оно же работает у меня на машине  Хелп!!!

[Gruz]

а могут же быть сами таблицы базы глючные?
может сделать дамп только товаров? как называется данная таблица?

1. Не знаю
2. Нельзя, там куча взаимосвязей - производители, категории, цены и т.д.
3. Какая?

вроде работает
я попробовал экспортировать, те несколько товаров которые есть...
но после открытия файла csv екселем. вижу кракозябли в который трудно разобратся.

чем просматривать? как править? помогите советом!

Спасибо!

Юзай OpenOffice, он при открытии такого CVS спрашиает, как его разбирать. Там разберёшься.
В любом случає, OpenOffice mustbe на компе в наше время.

Подскажите, не правильно работает csvimproved 1.7, когда пытаешься работать на хосте не хочет сохранять шаблоны и.т.п. У меня на машине всё работает при этом все равно пишет (Лицензия не действительна. Не забудьте зарегестрировать эту версию CSVI) и не высвечивается в списке компонентов, захожу по ссылке:)Может у хостера не те настройки РНР?Или из-за не зарегистрированого компонента?Но оно же работает у меня на машине  Хелп!!!

Гм... Я на удалённом не юзал никогда.

По всему видно, что эта гадина лезет в и-нет за лицензией. Или посмотри условия лицензирования. например там может быть на шару, только нужна регистрация, или, скажем, 1.7 платный, а 1.5 на шару. Инструкция выше собственно к 1.5 писалась.

В худшем случае, можно поредактировать код компонента и вырезать проверку лицензии. А когда будет возможность - всё же её купить. Человек ведь старается, который компонент пишет.

[Yar1]

Значит скорей всего из-за того что нет лицензии!Спасибо.

[Gruz]

На сайте написано, что CSV Improved 1.7 - community release. 1.8.1 - типа платный выходит.
А лицензию я пыталвся прочитать, но она по-голландски. А траву не курю, дабы читать их языком.

[tigra-uki]

Gruz, так Вы скачали CSV Improved 1.7? не могу найти на их сайте где его можно скачать...хотя да -написано: Community release 1.7

[White]

Спасибо! Gruz!

подскажите еще вот что, как назначить одному товару несколько цен?
к примеру в парфюмерии одни духи но 3 разных объема и соответственно 3 цены...
наверняка нет смысла делать 3 товара.
как поступить?

и еще

импортирую список товара где для всех товаров указывается параметр tax_rate_id  ~^~4~^~ (4 это у меня параметр 50% наценки)
импортируется все ок! на сайте цена верная, с наценкой!
но в админке, в самом товаре, наценки - (4) нет... просто исходная цена и все, хотя, повторюсь, на сайте цена с 50% наценкой
экспортирую CSV снова и там где раньше была ~^~4~^~ пусто ~^~~^~
как быть?

и последний вопрос на сегодня:
мне нужно что бы товар был в нескольких категориях (почему то если выбрать товар в категории 2 уровня, он считает что он уже не в категории первого уровня)
назначаю в админке вручную несколько категорий, а при экспорте он показывает только одну
как тут?

Спасибище!!!

[White]

Gruz, так Вы скачали CSV Improved 1.7? не могу найти на их сайте где его можно скачать...хотя да -написано: Community release 1.7

нужно зарегестрироватся

[White]

OpenOffice - классная вешь...
все разбил по колонкам, удобно!
только как теперь мне получить вот такой символ ~^~ между элементами при сохранении в CSV?

[morph]

файл-сохранить как-галку на "изменить фильтр" ...чтото подобное)