0 Пользователей и 1 Гость просматривают эту тему.
  • 5 Ответов
  • 3427 Просмотров
*

dm-krv

  • Завсегдатай
  • 1028
  • 28 / 0
Поступил необычный заказ, сделать парсер для некоторых значений с сайта winline и выводить все в удобной таблице. Проблема в том, вся информация на сайте грузиться в режиме реально времени, посредством javascript.

Соответственно, использовать php парсеры по типу Simple HTML DOM Parser - не вариант, ибо не поможет.

В сети нашёл совет, что такие сайты можно парсить используя расширение для браузера для запуска javascript парсера - таким образом можно обходить запрет на кроссдоменные запросы, при чтении контента. Буду пробовать.

Но вдруг есть методы попроще, чем делать полноценное расширение? Как бы вы сами спарсили такой сайт? Какие бы инструменты для этого использовали? Буду весьма признателен за советы.
« Последнее редактирование: 28.12.2018, 15:58:54 от dm-krv »
*

Aleks.Denezh

  • Живу я здесь
  • 3406
  • 428 / 4
Re: Как бы вы спарсили сайт на аяксе?
« Ответ #1 : 27.12.2018, 20:26:14 »
Писал подобное на C# использовал компонент браузера, где можно отследить когда всё загрузиться и выполниться, и после этого уже считывал данные в удобный формат(или загонял напрямую в базу)
Но скорость работы всего этого унылая...
*

dm-krv

  • Завсегдатай
  • 1028
  • 28 / 0
Re: Как бы вы спарсили сайт на аяксе?
« Ответ #2 : 28.12.2018, 12:50:33 »
Писал подобное на C# использовал компонент браузера, где можно отследить когда всё загрузиться и выполниться, и после этого уже считывал данные в удобный формат(или загонял напрямую в базу)
Но скорость работы всего этого унылая...

Не вариант и то, что хотел сделать я сам, тоже не подходит( Заказчик говорит, что коэффициенты должны обновляться не более минуты.

Может кто-нибудь знает API откуда можно тянуть коэффициенты для ставок на спорт?
*

dmitry_stas

  • Легенда
  • 13151
  • 1234 / 8
Re: Как бы вы спарсили сайт на аяксе?
« Ответ #3 : 28.12.2018, 13:18:55 »
Не вариант и то, что хотел сделать я сам, тоже не подходит( Заказчик говорит, что коэффициенты должны обновляться не более минуты.
чем именно не вариант? раз в минуту парсить несколько значений на 1 страничке скорости хватит точно, унылая - имелось в виду немного не тот порядок, не минуты :)

можно даже не отдельное приложение, а начать с браузерного плагина который позволяет добавить js кастомный, например https://chrome.google.com/webstore/detail/custom-javascript-for-web/poakhlngfciodnhlhhgnaaelnpjljija . минусов конечно много в такой реализации, в частности браузер должен быть открыт и сайт запущен, но хотя бы для начала, чтобы понять подойдет или нет я думаю хватит
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций
*

dm-krv

  • Завсегдатай
  • 1028
  • 28 / 0
Re: Как бы вы спарсили сайт на аяксе?
« Ответ #4 : 28.12.2018, 15:42:27 »
чем именно не вариант? раз в минуту парсить несколько значений на 1 страничке скорости хватит точно, унылая - имелось в виду немного не тот порядок, не минуты :)

можно даже не отдельное приложение, а начать с браузерного плагина который позволяет добавить js кастомный, например https://chrome.google.com/webstore/detail/custom-javascript-for-web/poakhlngfciodnhlhhgnaaelnpjljija . минусов конечно много в такой реализации, в частности браузер должен быть открыт и сайт запущен, но хотя бы для начала, чтобы понять подойдет или нет я думаю хватит

Да там нифига не одна страница, а более сотни матчей и все они на разной странице) На доступ к каждому матчу надо затратить минимум секунду и это пипец какая большая задержка выйдет, когда программа завершит обход.

В общем то я нашел решение. Букмекер pinacle даёт возможность брать необходимые коэффициенты, через их API. Это решает мою проблему полностью. Особенно для меня хорошо то, что API условно бесплатное.

P. S. Вообще, собирался по этой инструкции расширение для браузера пилить, но рад, что нашлось решение по проще. Все таки js я знаю на порядок хуже, чем php. За ссылку, кстати, спасибо) Не знал, что в магазине гугла есть такое полезное расширение) В январе буду пилить парсер уже для авито - точно пригодиться)
« Последнее редактирование: 28.12.2018, 15:49:55 от dm-krv »
*

dmitry_stas

  • Легенда
  • 13151
  • 1234 / 8
Да там нифига не одна страница, а более сотни матчей и все они на разной странице) На доступ к каждому матчу надо затратить минимум секунду и это пипец какая большая задержка выйдет, когда программа завершит обход.
а, ну тогда конечно. я думал речь идет об одной странице, а если это парсер целого сайта то конечно это будет по времени не очень.
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

[Решено] Как удалить одинаковый код из множества файлов?

Автор dron

Ответов: 7
Просмотров: 992
Последний ответ 05.12.2021, 12:10:39
от dron
Скрытое определение e-mail посетителя [решено]

Автор dm-krv

Ответов: 72
Просмотров: 2995
Последний ответ 20.04.2020, 22:37:54
от Шмайсер
Как настроит переадресацию с домена на домен по https? [РЕШЕНО]

Автор dm-krv

Ответов: 3
Просмотров: 965
Последний ответ 15.08.2019, 20:12:17
от dm-krv
Подключение к сайту защищено не полностью [РЕШЕНО]

Автор dm-krv

Ответов: 4
Просмотров: 1972
Последний ответ 10.08.2019, 21:13:58
от draff
Как превратить юзерскрипт в расширение для Google Chrome? [РЕШЕНО]

Автор dm-krv

Ответов: 3
Просмотров: 821
Последний ответ 27.07.2019, 18:46:24
от dm-krv