0
Fixed

Импортируется только 800~ товаров

Matrix_RELISE 11 years ago updated by Yuri Mamonchuk 11 years ago 26

Загружается не более 815 товаров.... не знаю уже что с этим делать. В прошлый раз увеличили оперативную память для хоста  до 384 примерно мегабайт, теперь опять та же ерунда, в логах ошибок сервера только это.




Answer

Answer
Fixed

Оптимизирован скрипт v4.4

Не отображает зараза. Копипаста не работает( Короче не создан Favicon.ico пишет. В папках сёрч индекс и импорте.



может сработать что угодно! Всё зависит от таких вещей как

оперативка

частота процессора

ограничения в nginx (если есть)

ограничения в mysql

ограничения в apache

ограничения в php

Ничего не могу сделать (((

готов поспорить что можете как минимум разбить свой CSV файл на несколько и залить частями! получается по 700 товаров на файл


Я попробовал убрать половину столбцов - не помогло. Сомневаюсь, что количество строк спасёт.


К тому же, весь прайс приходится заливать раз в 2 дня, это так себе затейка!

не нужно предпологать - нужно пробовать.  судя  по тексту у Вас какраз проблема с этим. а вообще скорее всего у хоста стоит ограничение на размер закачиваемого файла.


Где можно вытащить логи ошибок связанные с этими ограничениями? В Cpanel в логе ошибок нет - поддержка не понимает, что делать с этим.  Файлы до 700 мб по фтп заливаются нормально...

по фтп конечно нормально... это совсем другой протокол передачи данных!

я-же уже сказал что само ограничение может быть где угодно и кто сказал что оно будет доступно для редактирования вами (особенно в cpanel)

Какого размера файлы заливаете? сколько времени проходит после начала импорта до краша?  пробовали частями?


готовьте прайсы с данными которые нужно изменить а не тупо всё что было ... в таблицах эксель можно добиться подобного рода действий

1 лист старые данные

2 лист новые данные

3 лист по условиям будут вставляться только неодиноковые строки

4 лист сюда вручную копируете (только данные) с 3 листа упорядочиваете и сохраняете в csv

Файл xls 1,54 мегабайта. Если оставить только имя файла, категорию, артикул - то вдвое меньше получается.  Готовить только то, что изменилось нет возможности, база, скоторой работает магазин(локальная) - для этого не настроена, и пока я не готов этим заниматься, т. К тому же, уже получалось импортировать экселем все 4000 строк. 


Если поддержке сказать, что нужно расширить какой-то параметр - они это могут сделать, они просто анализировать скрипт не хотят. Ещё они предположили, что скрипт по времени работает слишком долго - на это есть некое ограничение.


В процессе импорта товаров возникает несколько раз *ошибка, сообщите администратору*. Вот где бы лог этой ошибки найти? 

ну "что скрипт по времени работает слишком долго"  это само по себе разумеется


Могу сказать что XLS это огромное количество мусора, сохраняйте в CSV. это сильно упростит задачу по импорту.


пусть попробуют увеличить время работы скрипта... Но могу сказать, что проще всего разбить на несколько файлов, в вашем случае это не больше 8 штук...


И поймите. в данный случай "багом" нельзя назвать, т.к. сам принцип сайтов подразумевает выполнение огромного количества простых операций, а у Вас получается одна* но жутко тяжелая задача. Могу предложить настроить на локальном компьютере вебсервер без ограничений, закачивать сначала всё в него (тут уже ваш компьютер и делайте с ним что хотите)  а затем перегружать дамп базы данных на публичный сайт, либо приобрести виртуальный сервер, там Вы тоже сможете играться с настройками как пожелаете.


саму ошибку на мой взгляд отслеживать нет смысла,

но для начала можно включить вывод ошибок php

включить в браузере консоль JS (для отслеживания JS запростов и ответов на них)

попытаться залить  при этом внимательно анализируя ошибку. Но я пологаю что обрыв будет происходить в разных местах кода. Можно проверить что-же у 815 (816) товара написано... может там несоответствие стандарту данных?

Привёл файл импорта в порядок - прокатило!!


Павел, спасибо за старания!

ну всегда на здоровье =)


Новая проблема))) Фотки не ресайзятся! Те, что залил - в товаре отображаются нормально, но в других местах пустааааа.

указываете обязательный ресайз?

Ну да, галку ставлю... Предварительно очищал категории, заливал заного - не делает ресайз(

посмотрите какой товар первый в списке CSV... посмотрите есть ли у него ресайз


Есть куча ошибок.. может это поможет в диагностике? Решительно не понимаю, что это значит.





[Mon Apr 15 02:00:11 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/category/shou-tehnika?order=&user_per_page=&lp=486&rp=20884&brand%5B%5D=105
[Mon Apr 15 02:00:11 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/category/shou-tehnika?order=&user_per_page=&lp=486&rp=20884&brand%5B%5D=105
[Mon Apr 15 02:00:11 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/category/shou-tehnika?order=&user_per_page=&lp=486&rp=20884&brand%5B%5D=105
[Mon Apr 15 02:00:11 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/category/shou-tehnika?order=&user_per_page=&lp=486&rp=20884&brand%5B%5D=105
[Mon Apr 15 02:00:10 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/category/shou-tehnika?order=&user_per_page=&lp=486&rp=20884&brand%5B%5D=105
[Mon Apr 15 02:00:10 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/category/shou-tehnika?order=&user_per_page=&lp=486&rp=20884&brand%5B%5D=105
[Mon Apr 15 02:00:10 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/category/shou-tehnika?order=&user_per_page=&lp=486&rp=20884&brand%5B%5D=105
[Mon Apr 15 02:00:10 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/category/shou-tehnika?order=&user_per_page=&lp=486&rp=20884&brand%5B%5D=105
[Mon Apr 15 02:00:09 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/category/shou-tehnika?order=&user_per_page=&lp=486&rp=20884&brand%5B%5D=105
[Mon Apr 15 02:00:09 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/category/shou-tehnika?order=&user_per_page=&lp=486&rp=20884&brand%5B%5D=105
[Mon Apr 15 01:55:17 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/product/paiste-pst-8-reflector-effects-pack-10-18-komplekt-tarelok-splash-10-china-18-bronza-splav-cusn8-bronze-shveitsariia
[Mon Apr 15 01:55:17 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/product/paiste-pst-8-reflector-effects-pack-10-18-komplekt-tarelok-splash-10-china-18-bronza-splav-cusn8-bronze-shveitsariia
[Mon Apr 15 01:55:16 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/product/paiste-pst-8-reflector-effects-pack-10-18-komplekt-tarelok-splash-10-china-18-bronza-splav-cusn8-bronze-shveitsariia
[Mon Apr 15 01:55:16 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/product/paiste-pst-8-reflector-effects-pack-10-18-komplekt-tarelok-splash-10-china-18-bronza-splav-cusn8-bronze-shveitsariia
[Mon Apr 15 01:55:16 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/product/paiste-pst-8-reflector-effects-pack-10-18-komplekt-tarelok-splash-10-china-18-bronza-splav-cusn8-bronze-shveitsariia
[Mon Apr 15 01:55:16 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/product/paiste-pst-8-reflector-effects-pack-10-18-komplekt-tarelok-splash-10-china-18-bronza-splav-cusn8-bronze-shveitsariia
[Mon Apr 15 01:55:15 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/product/paiste-pst-8-reflector-effects-pack-10-18-komplekt-tarelok-splash-10-china-18-bronza-splav-cusn8-bronze-shveitsariia
[Mon Apr 15 01:55:15 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/product/paiste-pst-8-reflector-effects-pack-10-18-komplekt-tarelok-splash-10-china-18-bronza-splav-cusn8-bronze-shveitsariia
[Mon Apr 15 01:55:15 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/product/paiste-pst-8-reflector-effects-pack-10-18-komplekt-tarelok-splash-10-china-18-bronza-splav-cusn8-bronze-shveitsariia
[Mon Apr 15 01:55:15 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/product/paiste-pst-8-reflector-effects-pack-10-18-komplekt-tarelok-splash-10-china-18-bronza-splav-cusn8-bronze-shveitsariia
[Mon Apr 15 01:55:14 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/product/paiste-pst-8-reflector-effects-pack-10-18-komplekt-tarelok-splash-10-china-18-bronza-splav-cusn8-bronze-shveitsariia
[Mon Apr 15 01:55:14 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/product/paiste-pst-8-reflector-effects-pack-10-18-komplekt-tarelok-splash-10-china-18-bronza-splav-cusn8-bronze-shveitsariia
[Mon Apr 15 01:55:14 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/product/paiste-pst-8-reflector-effects-pack-10-18-komplekt-tarelok-splash-10-china-18-bronza-splav-cusn8-bronze-shveitsariia
[Mon Apr 15 01:55:14 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/product/paiste-pst-8-reflector-effects-pack-10-18-komplekt-tarelok-splash-10-china-18-bronza-splav-cusn8-bronze-shveitsariia
[Mon Apr 15 01:55:13 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/product/paiste-pst-8-reflector-effects-pack-10-18-komplekt-tarelok-splash-10-china-18-bronza-splav-cusn8-bronze-shveitsariia
[Mon Apr 15 01:55:13 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/product/paiste-pst-8-reflector-effects-pack-10-18-komplekt-tarelok-splash-10-china-18-bronza-splav-cusn8-bronze-shveitsariia
[Mon Apr 15 01:55:13 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/product/paiste-pst-8-reflector-effects-pack-10-18-komplekt-tarelok-splash-10-china-18-bronza-splav-cusn8-bronze-shveitsariia
[Mon Apr 15 01:55:13 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/product/paiste-pst-8-reflector-effects-pack-10-18-komplekt-tarelok-splash-10-china-18-bronza-splav-cusn8-bronze-shveitsariia
[Mon Apr 15 01:55:12 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/product/paiste-pst-8-reflector-effects-pack-10-18-komplekt-tarelok-splash-10-china-18-bronza-splav-cusn8-bronze-shveitsariia
[Mon Apr 15 01:55:12 2013] [error] [client IP] Directory index forbidden by Options directive: /home/sho/public_html/shone.org/uploads/shop/, referer: http://shone.org/shop/product/paiste-pst-8-reflector-effects-pack-10-18-komplekt-tarelok-splash-10-china-18-bronza-splav-cusn8-bronze-shveitsariia
хм ошибки говорят о том, что нет файлов...
вероятно либо ресайз не создал необходимых файлов, либо их необходимо создать вручуню...

тут если честно я уже не знаю как поступить ....

Какого формата изображения? может он не может ресайзить изображения данного типа?


Да жипеги всё....  имя файла формата 9999_Large.jpg - с Simpla переезд.


У первого активного товара ресайза нет, у первого неактивного ресайза так же нет.

попробовал залить 3 товара, с картинками с названием  1.jpg,  11.jpg и 111.jpg


Не проканало(((  спасайтен.

Обратил внимание, чтофотки надо заливать не в аплоад-шоп, а в аплоад-темп. И угадайте что? Ага, нихрена не вышло. Хотя скрипт фурычил долго и напряжно... (((

мде.... yну ребята вроде анялись данной проблемой

По теме топика - проблема была в том, что был много товаров без категории, без цены, без фото. Сделал цену 0, сделал картинку no_photo, залил все без категории  в другое - импортировалось

В итоге оказалось, что было много товаров без категорий, заполнил всё - загрузилось.

Answer
Fixed

Оптимизирован скрипт v4.4