Отправлено: 06.06.16 14:53. Заголовок: HTTP запросы

Не работал ли кто с HTTP запросами ?
Пытаюсь открыть OLE-объекты
ohttp = CreateObject( "MSXML2.XMLHTTP.6.0" ) или
ohttp = CreateObject( "microsoft.XMLHTTP" ), но получаю логическое значение

 Отправлено: 06.06.16 15:16. Заголовок: Заработало. Теперь с..

Заработало. Теперь с Send никак не разберусь. По идее , чтобы получить HTML страницы Send должен посылать пустышку

 Отправлено: 06.06.16 15:49. Заголовок: Получилось - Send(NI..

Получилось - Send(NIL)

 Отправлено: 17.06.16 16:40. Заголовок: Мониторю 90 страниц ..

Мониторю 90 страниц сайта и получаю их HTML Все отлично. Но в какой-то момент мой IP блокируют и вместо HTML начинаю получть:
...Доступ Вашего IP-адреса временно ограничен. обнаружили на нём подозрительную активность. С вашего IP генерируется мощный поток данных, мешающий другим ользователям .... Это могло быть вызвано следующими причинами:
;обновляли одну страницу множество раз
;открывали большое количество вкладок

Можно как-то избежать блокировки:
делать новый коннект перед каждой страницей ?
закрывать открытую страницу ?
или еще как

 Отправлено: 17.06.16 16:43. Заголовок: разве что свой IP ме..

разве что свой IP менять или уменьшить частоту мониторинга

 Отправлено: 17.06.16 17:08. Заголовок: динамически свой IP ..

динамически свой IP менять - эть мысль

 Отправлено: 17.06.16 17:23. Заголовок: Наверное достаточно ..

Наверное достаточно дрыгнуть сетевую карту тогда провайдер сам динмический IP поменяет ?

 Отправлено: 17.06.16 21:58. Заголовок: fil пишет: Наверное..

fil пишет:

цитата:

Наверное достаточно дрыгнуть сетевую карту тогда провайдер сам динмический IP поменяет ?

Не факт. Если соединение - это обычный IPoE, то DHCP-сервер обычно помнит mac-адрес клиента и выдает на этот mac-адрес тот же ip-шник. Да и неизвестно, как у провайдера устроена борьба с флудом. Если нет ничего противозаконного, можно связаться с провайдером и обсудить этот вопрос.

 Отправлено: 17.06.16 22:06. Заголовок: Мониторю 90 страниц сайта и получаю их HTML...

Возможно, у этого сайта есть доступ к этим же данным по SOAP ?
Тогда не должно быть такой проблемы.

 Отправлено: 17.06.16 23:01. Заголовок: Ничего противозаконн..

Ничего противозаконного. Попросили сделать монитор по Avito.ru Пользовать будут
с домашнего компа(компов) т.ч. договориться с провайдером проблематично

Наверно надо пользовать IPConfig (/release и /renew)

mac-адрес тоже менять динамически

по SOAP добраться до сайта не пробовал

 Отправлено: 18.06.16 09:36. Заголовок: fil пишет: mac-адре..

fil пишет:

цитата:

mac-адрес тоже менять динамически

У провайдера может быть включена привязка к определенному mac-адресу. Также, коммутатор провайдера может заблокировать порт клиента из-за смены mac-адреса, если включен ip-mac-port binding.
ipconfig ничего не даст. Он лишь пошлет запрос на dhcp-сервер провайдера, в ответ на который получит тот же адрес))
На самом деле, провайдер тут не при чем. Это avito возмущается. На мой взгляд, единственный вариант - снижать частоту запросов и не запрашивать одновременно много страниц.

 Отправлено: 18.06.16 12:58. Заголовок: А еще народ говорит,..

А еще народ говорит, что платный аккаунт на avito облегчает жизнь)) Можно связаться с менеджером на avito и всё уточнить.
И можно еще купить платный доступ к vpn-серверу (это недорого) и с его помощью менять ip-шники хоть каждую минуту.
Единственное, avito, по-моему, априори блокирует "нерусские" ip-адреса.

 Отправлено: 18.06.16 16:48. Заголовок: Платить за что-то эт..

Платить за что-то это не наш метод

Пробнул ipconfig - таки да восстанавливается текущий IP
Пойду по пути вставки задержки между коннектами ну и SOAP покручу. Правда я не понял каким
методом SOAP-го клиента можно получить HTML страницы

 Отправлено: 18.06.16 22:22. Заголовок: Soap - это не HTML

fil пишет:

цитата:

SOAP-го клиента можно получить HTML страницы

Никаким.. Soap - это не HTML.. а XML
Soap - для невизуального программного взаимодействия - клиента и сайта.
Если сайт имеет желание , то может реализовать доступ к своим данным
не в виде html - страниц для браузеров пользователей, а в "виде запрос-ответ XML",
( платно, бесплатно, всем или получившим аккаунт(сертификат для идентификации ) для доступа к базе данных сайта).
Условно - формируете XML - "Запрос списка объявлений в группе XXX за дату dd.mm.yyy"
Отправляете на сайт, который этот SOAP-запрос принимает (по HTTP или HTTPS)
В ответ получите XML, который можно записать, возможно, например, в линейную таблицу DBF.
Список доступных типов запросов сайта - либо публикуется в схеме WSDL на определенном ресурсе сайта(портала),
либо получите после оплаты подписки сайту на этот вебсервис.
Например, http://ws.dice.spb.ru/default.asmx?WSDL - доступный публичный сервис
Примеры публичных - курсы валют Центробанка, погода и т.п.

 Отправлено: 18.06.16 22:36. Заголовок: petr707, спасибо, по..

petr707, спасибо, понял !

 Отправлено: 19.07.16 13:08. Заголовок: petr707, через объе..

petr707, через объект msxml2.domdocument можно получить XML документ страницы. Это не тоже, что и SOAP ?

 Отправлено: 19.07.16 14:29. Заголовок: Не, есть же пример SOAP в CONTRIB

Вот пример, все достаточно просто
C:\harbour\contrib\hbwin\tests\ole.prg

Для того, чтобы попробовать нужно еще на комп
поставить пакет MS SOAP Toolkit
en_soap_sdk_3.0.exe

Другой вариант - библа cURL

 Отправлено: 19.07.16 16:13. Заголовок: Спасибо ! Ну с msxml..

Спасибо ! Ну с msxml2.domdocument все значительно проще

 Отправлено: 19.07.16 16:29. Заголовок: ..получить XML документ страницы

Наверное, проще, но другое. SOAP не для того, чтобы "..получить XML документ страницы"

Как правило, чтобы работать с текущей базой(базами) данных хостера,
получать ответы на запрос(ы) к базе данных, заполнять базу данных и т.д.
Формат ответа на запросы может быть любой - и текст, и XML и DBF.
И можно обеспечить авторизацию , идентификацию клиента и хостера,
шифрование трафика ну и т.д.

 Отправлено: 19.07.16 16:51. Заголовок: А как узнать поддерж..

А как узнать поддерживает ресурс SOAP или нет. Какие-нибудь интернет-магазины на
битриксе, наверное.. Дабы грузить товар в MySQL клиентской прогой или отчеты получать ?

 Отправлено: 19.07.16 17:00. Заголовок: Спрашивать у хостера

Спрашивать у хостера - предоставить API доступа к его данным.
Например , Яндекс.Диск
https://tech.yandex.ru/disk/
предоставляет доступ по WebDAV к хранилищу