On-line: гостей 1. Всего: 1 [подробнее..]
АвторСообщение



Пост N: 441
Зарегистрирован: 17.06.10
ссылка на сообщение  Отправлено: 06.06.16 14:53. Заголовок: HTTP запросы


Не работал ли кто с HTTP запросами ?
Пытаюсь открыть OLE-объекты
ohttp = CreateObject( "MSXML2.XMLHTTP.6.0" ) или
ohttp = CreateObject( "microsoft.XMLHTTP" ), но получаю логическое значение


Спасибо: 0 
ПрофильЦитата Ответить
Ответов - 22 , стр: 1 2 All [только новые]





Пост N: 442
Зарегистрирован: 17.06.10
ссылка на сообщение  Отправлено: 06.06.16 15:16. Заголовок: Заработало. Теперь с..


Заработало. Теперь с Send никак не разберусь. По идее , чтобы получить HTML страницы Send должен посылать пустышку

Спасибо: 0 
ПрофильЦитата Ответить



Пост N: 443
Зарегистрирован: 17.06.10
ссылка на сообщение  Отправлено: 06.06.16 15:49. Заголовок: Получилось - Send(NI..


Получилось - Send(NIL)

Спасибо: 0 
ПрофильЦитата Ответить



Пост N: 444
Зарегистрирован: 17.06.10
ссылка на сообщение  Отправлено: 17.06.16 16:40. Заголовок: Мониторю 90 страниц ..


Мониторю 90 страниц сайта и получаю их HTML Все отлично. Но в какой-то момент мой IP блокируют и вместо HTML начинаю получть:
...Доступ Вашего IP-адреса временно ограничен. обнаружили на нём подозрительную активность. С вашего IP генерируется мощный поток данных, мешающий другим ользователям .... Это могло быть вызвано следующими причинами:
;обновляли одну страницу множество раз
;открывали большое количество вкладок

Можно как-то избежать блокировки:
делать новый коннект перед каждой страницей ?
закрывать открытую страницу ?
или еще как


Спасибо: 0 
ПрофильЦитата Ответить
администратор




Пост N: 5734
Зарегистрирован: 17.05.05
ссылка на сообщение  Отправлено: 17.06.16 16:43. Заголовок: разве что свой IP ме..


разве что свой IP менять или уменьшить частоту мониторинга

Спасибо: 0 
ПрофильЦитата Ответить



Пост N: 445
Зарегистрирован: 17.06.10
ссылка на сообщение  Отправлено: 17.06.16 17:08. Заголовок: динамически свой IP ..


динамически свой IP менять - эть мысль

Спасибо: 0 
ПрофильЦитата Ответить



Пост N: 446
Зарегистрирован: 17.06.10
ссылка на сообщение  Отправлено: 17.06.16 17:23. Заголовок: Наверное достаточно ..


Наверное достаточно дрыгнуть сетевую карту тогда провайдер сам динмический IP поменяет ?

Спасибо: 0 
ПрофильЦитата Ответить
постоянный участник


Пост N: 1220
Зарегистрирован: 27.01.07
ссылка на сообщение  Отправлено: 17.06.16 21:58. Заголовок: fil пишет: Наверное..


fil пишет:

 цитата:
Наверное достаточно дрыгнуть сетевую карту тогда провайдер сам динмический IP поменяет ?


Не факт. Если соединение - это обычный IPoE, то DHCP-сервер обычно помнит mac-адрес клиента и выдает на этот mac-адрес тот же ip-шник. Да и неизвестно, как у провайдера устроена борьба с флудом. Если нет ничего противозаконного, можно связаться с провайдером и обсудить этот вопрос.


Спасибо: 0 
ПрофильЦитата Ответить



Пост N: 194
Зарегистрирован: 21.04.13
ссылка на сообщение  Отправлено: 17.06.16 22:06. Заголовок: Мониторю 90 страниц сайта и получаю их HTML...


Возможно, у этого сайта есть доступ к этим же данным по SOAP ?
Тогда не должно быть такой проблемы.

Спасибо: 0 
ПрофильЦитата Ответить



Пост N: 447
Зарегистрирован: 17.06.10
ссылка на сообщение  Отправлено: 17.06.16 23:01. Заголовок: Ничего противозаконн..


Ничего противозаконного. Попросили сделать монитор по Avito.ru Пользовать будут
с домашнего компа(компов) т.ч. договориться с провайдером проблематично

Наверно надо пользовать IPConfig (/release и /renew)

mac-адрес тоже менять динамически

по SOAP добраться до сайта не пробовал

Спасибо: 0 
ПрофильЦитата Ответить
постоянный участник


Пост N: 1221
Зарегистрирован: 27.01.07
ссылка на сообщение  Отправлено: 18.06.16 09:36. Заголовок: fil пишет: mac-адре..


fil пишет:

 цитата:
mac-адрес тоже менять динамически


У провайдера может быть включена привязка к определенному mac-адресу. Также, коммутатор провайдера может заблокировать порт клиента из-за смены mac-адреса, если включен ip-mac-port binding.
ipconfig ничего не даст. Он лишь пошлет запрос на dhcp-сервер провайдера, в ответ на который получит тот же адрес))
На самом деле, провайдер тут не при чем. Это avito возмущается. На мой взгляд, единственный вариант - снижать частоту запросов и не запрашивать одновременно много страниц.

Спасибо: 0 
ПрофильЦитата Ответить
постоянный участник


Пост N: 1222
Зарегистрирован: 27.01.07
ссылка на сообщение  Отправлено: 18.06.16 12:58. Заголовок: А еще народ говорит,..


А еще народ говорит, что платный аккаунт на avito облегчает жизнь)) Можно связаться с менеджером на avito и всё уточнить.
И можно еще купить платный доступ к vpn-серверу (это недорого) и с его помощью менять ip-шники хоть каждую минуту.
Единственное, avito, по-моему, априори блокирует "нерусские" ip-адреса.

Спасибо: 0 
ПрофильЦитата Ответить



Пост N: 448
Зарегистрирован: 17.06.10
ссылка на сообщение  Отправлено: 18.06.16 16:48. Заголовок: Платить за что-то эт..


Платить за что-то это не наш метод

Пробнул ipconfig - таки да восстанавливается текущий IP
Пойду по пути вставки задержки между коннектами ну и SOAP покручу. Правда я не понял каким
методом SOAP-го клиента можно получить HTML страницы


Спасибо: 0 
ПрофильЦитата Ответить



Пост N: 195
Зарегистрирован: 21.04.13
ссылка на сообщение  Отправлено: 18.06.16 22:22. Заголовок: Soap - это не HTML


fil пишет:

 цитата:
SOAP-го клиента можно получить HTML страницы


Никаким.. Soap - это не HTML.. а XML
Soap - для невизуального программного взаимодействия - клиента и сайта.
Если сайт имеет желание , то может реализовать доступ к своим данным
не в виде html - страниц для браузеров пользователей, а в "виде запрос-ответ XML",
( платно, бесплатно, всем или получившим аккаунт(сертификат для идентификации ) для доступа к базе данных сайта).
Условно - формируете XML - "Запрос списка объявлений в группе XXX за дату dd.mm.yyy"
Отправляете на сайт, который этот SOAP-запрос принимает (по HTTP или HTTPS)
В ответ получите XML, который можно записать, возможно, например, в линейную таблицу DBF.
Список доступных типов запросов сайта - либо публикуется в схеме WSDL на определенном ресурсе сайта(портала),
либо получите после оплаты подписки сайту на этот вебсервис.
Например, http://ws.dice.spb.ru/default.asmx?WSDL - доступный публичный сервис
Примеры публичных - курсы валют Центробанка, погода и т.п.

Спасибо: 0 
ПрофильЦитата Ответить



Пост N: 449
Зарегистрирован: 17.06.10
ссылка на сообщение  Отправлено: 18.06.16 22:36. Заголовок: petr707, спасибо, по..


petr707, спасибо, понял !

Спасибо: 0 
ПрофильЦитата Ответить



Пост N: 453
Зарегистрирован: 17.06.10
ссылка на сообщение  Отправлено: 19.07.16 13:08. Заголовок: petr707, через объе..


petr707, через объект msxml2.domdocument можно получить XML документ страницы. Это не тоже, что и SOAP ?

Спасибо: 0 
ПрофильЦитата Ответить



Пост N: 197
Зарегистрирован: 21.04.13
ссылка на сообщение  Отправлено: 19.07.16 14:29. Заголовок: Не, есть же пример SOAP в CONTRIB


Вот пример, все достаточно просто
C:\harbour\contrib\hbwin\tests\ole.prg

Для того, чтобы попробовать нужно еще на комп
поставить пакет MS SOAP Toolkit
en_soap_sdk_3.0.exe

Другой вариант - библа cURL

Спасибо: 0 
ПрофильЦитата Ответить



Пост N: 454
Зарегистрирован: 17.06.10
ссылка на сообщение  Отправлено: 19.07.16 16:13. Заголовок: Спасибо ! Ну с msxml..


Спасибо ! Ну с msxml2.domdocument все значительно проще

Спасибо: 0 
ПрофильЦитата Ответить



Пост N: 198
Зарегистрирован: 21.04.13
ссылка на сообщение  Отправлено: 19.07.16 16:29. Заголовок: ..получить XML документ страницы


Наверное, проще, но другое. SOAP не для того, чтобы "..получить XML документ страницы"

Как правило, чтобы работать с текущей базой(базами) данных хостера,
получать ответы на запрос(ы) к базе данных, заполнять базу данных и т.д.
Формат ответа на запросы может быть любой - и текст, и XML и DBF.
И можно обеспечить авторизацию , идентификацию клиента и хостера,
шифрование трафика ну и т.д.


Спасибо: 0 
ПрофильЦитата Ответить



Пост N: 455
Зарегистрирован: 17.06.10
ссылка на сообщение  Отправлено: 19.07.16 16:51. Заголовок: А как узнать поддерж..


А как узнать поддерживает ресурс SOAP или нет. Какие-нибудь интернет-магазины на
битриксе, наверное.. Дабы грузить товар в MySQL клиентской прогой или отчеты получать ?

Спасибо: 0 
ПрофильЦитата Ответить



Пост N: 199
Зарегистрирован: 21.04.13
ссылка на сообщение  Отправлено: 19.07.16 17:00. Заголовок: Спрашивать у хостера


Спрашивать у хостера - предоставить API доступа к его данным.
Например , Яндекс.Диск
https://tech.yandex.ru/disk/
предоставляет доступ по WebDAV к хранилищу

Спасибо: 0 
ПрофильЦитата Ответить
Ответов - 22 , стр: 1 2 All [только новые]
Ответ:
1 2 3 4 5 6 7 8 9
большой шрифт малый шрифт надстрочный подстрочный заголовок большой заголовок видео с youtube.com картинка из интернета картинка с компьютера ссылка файл с компьютера русская клавиатура транслитератор  цитата  кавычки моноширинный шрифт моноширинный шрифт горизонтальная линия отступ точка LI бегущая строка оффтопик свернутый текст

показывать это сообщение только модераторам
не делать ссылки активными
Имя, пароль:      зарегистрироваться    
Тему читают:
- участник сейчас на форуме
- участник вне форума
Все даты в формате GMT  3 час. Хитов сегодня: 229
Права: смайлы да, картинки да, шрифты да, голосования нет
аватары да, автозамена ссылок вкл, премодерация откл, правка нет