0 Пользователей и 1 Гость просматривают эту тему.
  • 22 Ответов
  • 1998 Просмотров
*

jooomlaUser

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
После перехода с версии 2.5 на 3.3.6 перестал работать функционал парсера  :(

Спойлер
[свернуть]

Неполучается адаптировать для 3.3.6 версии. Подскажите пожалуйста что не так в коде?
*

beliyadm

  • Легенда
  • 9758
  • 1664 / 66
  • Севастополь, Россия
Re: Парсер чисел с другого сайта
« Ответ #1 : 14.07.2015, 13:46:51 »
А конкретнее - что именно не работает?
В этом же коде периодически делаем эхо разных переменных и проверяем где что отвалилось.
По идее при смене версии движка сторонний скрипт никак не затрагивается и работать должен как прежде. Возможно сменили версию php заодно и вот там что-то сломалось
Все истины, которые я хочу вам изложить, — бесстыдная ложь. Сделать всё хорошо
TLG: @Beliyadm
*

jooomlaUser

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Re: Парсер чисел с другого сайта
« Ответ #2 : 14.07.2015, 14:08:55 »
А конкретнее - что именно не работает?
Сломался парсер. Не обновляет информацию на сайте из источника. На сайте отображаются старые курсы(перестали обновляться).
PHP 5.4
Хотя...может источник изменил логику работы своей статистики и теперь не работает?
*

beliyadm

  • Легенда
  • 9758
  • 1664 / 66
  • Севастополь, Россия
Re: Парсер чисел с другого сайта
« Ответ #3 : 14.07.2015, 14:11:58 »
Хотя...может источник изменил логику работы своей статистики и теперь не работает?
Ну вот это реальный вариант, вполне возможно
Все истины, которые я хочу вам изложить, — бесстыдная ложь. Сделать всё хорошо
TLG: @Beliyadm
*

robert

  • Живу я здесь
  • 4974
  • 457 / 20
Re: Парсер чисел с другого сайта
« Ответ #4 : 14.07.2015, 14:25:29 »
Посмотрел исходный код http://ru.investing.com/, в нем ваш парсер ничего не найдет.
Не будь паразитом, сделай что-нибудь самостоятельно!
*

jooomlaUser

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Re: Парсер чисел с другого сайта
« Ответ #5 : 14.07.2015, 14:34:39 »
Посмотрел исходный код http://ru.investing.com/, в нем ваш парсер ничего не найдет.
Значит донор изменил логику работы виджета :(
Два месяца назад все исправно обновлялось.
*

robert

  • Живу я здесь
  • 4974
  • 457 / 20
Re: Парсер чисел с другого сайта
« Ответ #6 : 14.07.2015, 14:40:03 »
Ну, он добавил один аттрибут. Это обработка регулярки вашего парсера не очень хорошо написана, будете часто ее менять.
Не будь паразитом, сделай что-нибудь самостоятельно!
*

jooomlaUser

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Re: Парсер чисел с другого сайта
« Ответ #7 : 14.07.2015, 15:07:20 »
Ну, он добавил один аттрибут. Это обработка регулярки вашего парсера не очень хорошо написана, будете часто ее менять.

Так и не понял какой аттрибут :(, но я понял ваши мысли :)
Может кто за скромное вознаграждение "хорошо написать"? ;) Чтобы впредь не случались подобные ситуации.
*

robert

  • Живу я здесь
  • 4974
  • 457 / 20
Re: Парсер чисел с другого сайта
« Ответ #8 : 14.07.2015, 15:29:03 »
я понял ваши мысли :)
И что же вы поняли?
Исправлять немного, но это не панацея - вы получаете информацию не по API, а тупо разбирая HTML. Кто знает, что в следующий раз придет в голову вебмастера того сайта?
Не будь паразитом, сделай что-нибудь самостоятельно!
*

jooomlaUser

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Re: Парсер чисел с другого сайта
« Ответ #9 : 14.07.2015, 15:41:50 »
И что же вы поняли?
Понимание было описано в следующем абзаце предыдущего поста :)

вы получаете информацию не по API, а тупо разбирая HTML. Кто знает, что в следующий раз придет в голову вебмастера того сайта?

Да, я в курсе, что был разбор HTML, но в тот момент к сожалению небыло другого варианта. Делал парсер человек, которого уже также к сожалению больше не сыщешь, попробовал сам - не хватает дополнительного мозжечка для решения даже элементарного поиска того аттрибута и его внедрения :(

P.S: Может быть лучше и проще сделать парсер значений с oil-price.net?
*

jooomlaUser

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Re: Парсер чисел с другого сайта
« Ответ #10 : 20.07.2015, 20:22:34 »
robert, напишите мне в личные сообщения.
Нужна разработка/доработка парсера.
*

robert

  • Живу я здесь
  • 4974
  • 457 / 20
Re: Парсер чисел с другого сайта
« Ответ #11 : 21.07.2015, 00:20:59 »
Skype: npnrus.
Не будь паразитом, сделай что-нибудь самостоятельно!
*

jooomlaUser

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Re: Парсер чисел с другого сайта
« Ответ #12 : 28.07.2015, 17:55:35 »
Ищу исполнителя!
Всё, что нужно, это поправить код, чтобы восстановить работоспособность модуля.
« Последнее редактирование: 28.07.2015, 17:59:56 от jooomlaUser »
*

beliyadm

  • Легенда
  • 9758
  • 1664 / 66
  • Севастополь, Россия
Re: Парсер чисел с другого сайта
« Ответ #13 : 28.07.2015, 18:46:14 »
Зачем вообще изобретать велосипед? Вот инструмент в руки и вперед http://simplehtmldom.sourceforge.net/
Подключили класс, точно также по времени сохраняем в папку и по id забираем данные, без всяких ручных регулярок, а то завтра админы того сайта еще код поменяют и снова переделывать

Код: php
$html->find('span#last_last')
Все истины, которые я хочу вам изложить, — бесстыдная ложь. Сделать всё хорошо
TLG: @Beliyadm
*

zomby6888

  • Завсегдатай
  • 1473
  • 171 / 3
Re: Парсер чисел с другого сайта
« Ответ #14 : 28.07.2015, 19:30:52 »
Сдается мне там те же регулярки используются.. Что то я не видел нормального парсера HTML на php. Сам я чаще пользуюсь domdocument
Хоть там и много проблем но это все же лучше чем ... читаем ответы)
интернет-блог: http://websiteprog.ru
*

beliyadm

  • Легенда
  • 9758
  • 1664 / 66
  • Севастополь, Россия
Re: Парсер чисел с другого сайта
« Ответ #15 : 28.07.2015, 22:40:12 »
не, конечно, там те же регулярки, просто штатных возможностей больше.
То есть если надо выдернуть содержимое элемента по ID нет нужды беспокоиться, что разработчики в удаленном HTML поменяют местами class и id или другие атрибуты.
В самописном же скрипте каждый раз будет нужда писать новую регулярку.
Тем более что если результаты сохраняются, к примеру, раз в сутки локально - нагрузка минимальна.

Я таким макаром писал парсер курса валют с центробанка (там правда был XML, но разницы большой нет).
Все истины, которые я хочу вам изложить, — бесстыдная ложь. Сделать всё хорошо
TLG: @Beliyadm
*

robert

  • Живу я здесь
  • 4974
  • 457 / 20
Re: Парсер чисел с другого сайта
« Ответ #16 : 28.07.2015, 22:55:09 »
Я считаю, что можно грамотно написать регулярку, когда нужно всего лишь выдернуть текст 1 span. Там и класс, и ID родителя есть, дело только в степени "криворукости".

P.S. Ребята, если есть время, помогите ТС. jooomlaUser, озвучьте бюджет. Я немного занят и честно говоря, просто расхотел.
« Последнее редактирование: 28.07.2015, 23:15:41 от robert »
Не будь паразитом, сделай что-нибудь самостоятельно!
*

zomby6888

  • Завсегдатай
  • 1473
  • 171 / 3
Re: Парсер чисел с другого сайта
« Ответ #17 : 29.07.2015, 00:33:04 »
а вот из этого ресурса пробовали брать данные?
У них вроде есть хоть какое api
интернет-блог: http://websiteprog.ru
*

robert

  • Живу я здесь
  • 4974
  • 457 / 20
Re: Парсер чисел с другого сайта
« Ответ #18 : 29.07.2015, 00:49:36 »
Это я посмотрел, правда, бегло. По крайней мере, в бесплатной версии нашел только котировки на предыдущий день. Платить, как я понял, ТС не собирается. Впрочем, могу ошибиться.
Не будь паразитом, сделай что-нибудь самостоятельно!
*

jooomlaUser

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Re: Парсер чисел с другого сайта
« Ответ #19 : 29.07.2015, 10:52:15 »
Платить, как я понял, ТС не собирается. Впрочем, могу ошибиться.
Ошибаетесь. И очень странно видеть такую клевету от Вас здесь. В скайпе с вами был разговор и вы запросили бюджет, который я не готов в данный момент выделить второй раз.

Поскольку фрилансер, который делал этот модуль, пропал, то готов дополнительно выделить средства на возобновление его работы до 1 000 рублей. Пишите в ЛС или оставьте свой скайп для связи.
*

robert

  • Живу я здесь
  • 4974
  • 457 / 20
Re: Парсер чисел с другого сайта
« Ответ #20 : 29.07.2015, 10:57:43 »
Ошибаетесь. И очень странно видеть такую клевету от Вас здесь.
jooomlaUser, читайте внимательнее и успокойтесь. Я имел в виду плату за членство по API.

Тогда прошу извинить.
Принято.
« Последнее редактирование: 29.07.2015, 11:17:50 от robert »
Не будь паразитом, сделай что-нибудь самостоятельно!
*

jooomlaUser

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Re: Парсер чисел с другого сайта
« Ответ #21 : 29.07.2015, 11:08:47 »
jooomlaUser, читайте внимательнее и успокойтесь. Я имел в виду плату за членство по API.
Тогда прошу извинить.
Нужно было Вам правильно сформулировать свою речь.
Рассматриваются только доноры-ресурсы без дополнительного взимания ДС.
Желательно популярные по теме, чтобы не свернули свои лавочки. investing.com или oil-price.net.
*

jooomlaUser

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Re: Парсер чисел с другого сайта
« Ответ #22 : 17.08.2015, 14:14:14 »
Тема более не актуальна.
Работа парсера восстановлена. Огромная благодарность пользователю robert.
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться