Автор | Сообщение |
|
| |
Пост N: 441
Зарегистрирован: 17.06.10
|
|
Отправлено: 06.06.16 14:53. Заголовок: HTTP запросы
Не работал ли кто с HTTP запросами ? Пытаюсь открыть OLE-объекты ohttp = CreateObject( "MSXML2.XMLHTTP.6.0" ) или ohttp = CreateObject( "microsoft.XMLHTTP" ), но получаю логическое значение
|
|
|
Ответов - 22
, стр:
1
2
All
[только новые]
|
|
|
| |
Пост N: 442
Зарегистрирован: 17.06.10
|
|
Отправлено: 06.06.16 15:16. Заголовок: Заработало. Теперь с..
Заработало. Теперь с Send никак не разберусь. По идее , чтобы получить HTML страницы Send должен посылать пустышку
|
|
|
|
| |
Пост N: 443
Зарегистрирован: 17.06.10
|
|
Отправлено: 06.06.16 15:49. Заголовок: Получилось - Send(NI..
Получилось - Send(NIL)
|
|
|
|
| |
Пост N: 444
Зарегистрирован: 17.06.10
|
|
Отправлено: 17.06.16 16:40. Заголовок: Мониторю 90 страниц ..
Мониторю 90 страниц сайта и получаю их HTML Все отлично. Но в какой-то момент мой IP блокируют и вместо HTML начинаю получть: ...Доступ Вашего IP-адреса временно ограничен. обнаружили на нём подозрительную активность. С вашего IP генерируется мощный поток данных, мешающий другим ользователям .... Это могло быть вызвано следующими причинами: ;обновляли одну страницу множество раз ;открывали большое количество вкладок Можно как-то избежать блокировки: делать новый коннект перед каждой страницей ? закрывать открытую страницу ? или еще как
|
|
|
|
| |
Пост N: 5734
Зарегистрирован: 17.05.05
|
|
Отправлено: 17.06.16 16:43. Заголовок: разве что свой IP ме..
разве что свой IP менять или уменьшить частоту мониторинга
|
|
|
|
| |
Пост N: 445
Зарегистрирован: 17.06.10
|
|
Отправлено: 17.06.16 17:08. Заголовок: динамически свой IP ..
динамически свой IP менять - эть мысль
|
|
|
|
| |
Пост N: 446
Зарегистрирован: 17.06.10
|
|
Отправлено: 17.06.16 17:23. Заголовок: Наверное достаточно ..
Наверное достаточно дрыгнуть сетевую карту тогда провайдер сам динмический IP поменяет ?
|
|
|
|
| постоянный участник
|
Пост N: 1220
Зарегистрирован: 27.01.07
|
|
Отправлено: 17.06.16 21:58. Заголовок: fil пишет: Наверное..
fil пишет: цитата: | Наверное достаточно дрыгнуть сетевую карту тогда провайдер сам динмический IP поменяет ? |
| Не факт. Если соединение - это обычный IPoE, то DHCP-сервер обычно помнит mac-адрес клиента и выдает на этот mac-адрес тот же ip-шник. Да и неизвестно, как у провайдера устроена борьба с флудом. Если нет ничего противозаконного, можно связаться с провайдером и обсудить этот вопрос.
|
|
|
|
| |
Пост N: 194
Зарегистрирован: 21.04.13
|
|
Отправлено: 17.06.16 22:06. Заголовок: Мониторю 90 страниц сайта и получаю их HTML...
Возможно, у этого сайта есть доступ к этим же данным по SOAP ? Тогда не должно быть такой проблемы.
|
|
|
|
| |
Пост N: 447
Зарегистрирован: 17.06.10
|
|
Отправлено: 17.06.16 23:01. Заголовок: Ничего противозаконн..
Ничего противозаконного. Попросили сделать монитор по Avito.ru Пользовать будут с домашнего компа(компов) т.ч. договориться с провайдером проблематично Наверно надо пользовать IPConfig (/release и /renew) mac-адрес тоже менять динамически по SOAP добраться до сайта не пробовал
|
|
|
|
| постоянный участник
|
Пост N: 1221
Зарегистрирован: 27.01.07
|
|
Отправлено: 18.06.16 09:36. Заголовок: fil пишет: mac-адре..
fil пишет: цитата: | mac-адрес тоже менять динамически |
| У провайдера может быть включена привязка к определенному mac-адресу. Также, коммутатор провайдера может заблокировать порт клиента из-за смены mac-адреса, если включен ip-mac-port binding. ipconfig ничего не даст. Он лишь пошлет запрос на dhcp-сервер провайдера, в ответ на который получит тот же адрес)) На самом деле, провайдер тут не при чем. Это avito возмущается. На мой взгляд, единственный вариант - снижать частоту запросов и не запрашивать одновременно много страниц.
|
|
|
|
| постоянный участник
|
Пост N: 1222
Зарегистрирован: 27.01.07
|
|
Отправлено: 18.06.16 12:58. Заголовок: А еще народ говорит,..
А еще народ говорит, что платный аккаунт на avito облегчает жизнь)) Можно связаться с менеджером на avito и всё уточнить. И можно еще купить платный доступ к vpn-серверу (это недорого) и с его помощью менять ip-шники хоть каждую минуту. Единственное, avito, по-моему, априори блокирует "нерусские" ip-адреса.
|
|
|
|
|
| |
Пост N: 448
Зарегистрирован: 17.06.10
|
|
Отправлено: 18.06.16 16:48. Заголовок: Платить за что-то эт..
Платить за что-то это не наш метод Пробнул ipconfig - таки да восстанавливается текущий IP Пойду по пути вставки задержки между коннектами ну и SOAP покручу. Правда я не понял каким методом SOAP-го клиента можно получить HTML страницы
|
|
|
|
| |
Пост N: 195
Зарегистрирован: 21.04.13
|
|
Отправлено: 18.06.16 22:22. Заголовок: Soap - это не HTML
fil пишет: цитата: | SOAP-го клиента можно получить HTML страницы |
| Никаким.. Soap - это не HTML.. а XML Soap - для невизуального программного взаимодействия - клиента и сайта. Если сайт имеет желание , то может реализовать доступ к своим данным не в виде html - страниц для браузеров пользователей, а в "виде запрос-ответ XML", ( платно, бесплатно, всем или получившим аккаунт(сертификат для идентификации ) для доступа к базе данных сайта). Условно - формируете XML - "Запрос списка объявлений в группе XXX за дату dd.mm.yyy" Отправляете на сайт, который этот SOAP-запрос принимает (по HTTP или HTTPS) В ответ получите XML, который можно записать, возможно, например, в линейную таблицу DBF. Список доступных типов запросов сайта - либо публикуется в схеме WSDL на определенном ресурсе сайта(портала), либо получите после оплаты подписки сайту на этот вебсервис. Например, http://ws.dice.spb.ru/default.asmx?WSDL - доступный публичный сервис Примеры публичных - курсы валют Центробанка, погода и т.п.
|
|
|
|
| |
Пост N: 449
Зарегистрирован: 17.06.10
|
|
Отправлено: 18.06.16 22:36. Заголовок: petr707, спасибо, по..
petr707, спасибо, понял !
|
|
|
|
| |
Пост N: 453
Зарегистрирован: 17.06.10
|
|
Отправлено: 19.07.16 13:08. Заголовок: petr707, через объе..
petr707, через объект msxml2.domdocument можно получить XML документ страницы. Это не тоже, что и SOAP ?
|
|
|
|
| |
Пост N: 197
Зарегистрирован: 21.04.13
|
|
Отправлено: 19.07.16 14:29. Заголовок: Не, есть же пример SOAP в CONTRIB
Вот пример, все достаточно просто C:\harbour\contrib\hbwin\tests\ole.prg Для того, чтобы попробовать нужно еще на комп поставить пакет MS SOAP Toolkit en_soap_sdk_3.0.exe Другой вариант - библа cURL
|
|
|
|
| |
Пост N: 454
Зарегистрирован: 17.06.10
|
|
Отправлено: 19.07.16 16:13. Заголовок: Спасибо ! Ну с msxml..
Спасибо ! Ну с msxml2.domdocument все значительно проще
|
|
|
|
| |
Пост N: 198
Зарегистрирован: 21.04.13
|
|
Отправлено: 19.07.16 16:29. Заголовок: ..получить XML документ страницы
Наверное, проще, но другое. SOAP не для того, чтобы "..получить XML документ страницы" Как правило, чтобы работать с текущей базой(базами) данных хостера, получать ответы на запрос(ы) к базе данных, заполнять базу данных и т.д. Формат ответа на запросы может быть любой - и текст, и XML и DBF. И можно обеспечить авторизацию , идентификацию клиента и хостера, шифрование трафика ну и т.д.
|
|
|
|
| |
Пост N: 455
Зарегистрирован: 17.06.10
|
|
Отправлено: 19.07.16 16:51. Заголовок: А как узнать поддерж..
А как узнать поддерживает ресурс SOAP или нет. Какие-нибудь интернет-магазины на битриксе, наверное.. Дабы грузить товар в MySQL клиентской прогой или отчеты получать ?
|
|
|
|
| |
Пост N: 199
Зарегистрирован: 21.04.13
|
|
Отправлено: 19.07.16 17:00. Заголовок: Спрашивать у хостера
Спрашивать у хостера - предоставить API доступа к его данным. Например , Яндекс.Диск https://tech.yandex.ru/disk/ предоставляет доступ по WebDAV к хранилищу
|
|
|
|
| |
Пост N: 338
Зарегистрирован: 16.12.08
|
|
Отправлено: 20.07.16 09:46. Заголовок: fil пишет: Мониторю..
fil пишет: цитата: | Мониторю 90 страниц сайта и получаю их HTML Все отлично. Но в какой-то момент мой IP блокируют и вместо HTML начинаю получть: ...Доступ Вашего IP-адреса временно ограничен. обнаружили на нём подозрительную активность. С вашего IP генерируется мощный поток данных, мешающий другим ользователям .... Это могло быть вызвано следующими причинами: ;обновляли одну страницу множество раз ;открывали большое количество вкладок |
| Если вы используете библиотеку hbtip и класс TIpClientHttp, можна проследить поле :nReplyCode оно возвращает код ошибки, а потом уже её обрабатывать. У вас урл формируется динамически? Желательно закрывать соединение, или могут забанить IP.
|
|
|
|
|
| |
Пост N: 456
Зарегистрирован: 17.06.10
|
|
Отправлено: 20.07.16 11:59. Заголовок: Нет библиотеку hbtip..
Нет библиотеку hbtip и класс TIpClientHttp я не исользую. В MSXML2.XMLHTTP есть возможность отловить коннект - readyState. Вставил небольщую задержку и сайт больше не банит. Клиент счастлив
|
|
|
Ответов - 22
, стр:
1
2
All
[только новые]
|
|