Отправлено: 22.04.13 20:27. Заголовок: Непонятка с приемом файлов с FTP

Есть следующая задача, получение энного кол-ва файлов с FTP, которые попадают на FTP с рабочих машин скажем так сотрудников, необходимо этот процесс автоматизировать, дабы ручками не собирать их в архив. Для этого была написана программа для рекурсивного получения файлов с источника (то есть с ФТП). На фтп есть папки с видом код рабочего места -> дата за которую передана информация (где то так gerc\67701\22.04.2012\*.)
Само получение информации с одного рабочего места проблем не возникает, но если в листинге программы далее идет получение информации с другого рабочего места, то в результате команда ЛИСТ получается пустая и соответственно файл(ы) не получены.
вот часть листинга, с подробным описанием, где по вашему мнению может быть ошибка? Используется МиниГуи только для получения результатов на экран.

Скрытый текст

procedure datagerc() LOCAL lRetorno := .T., aGauge, nPos := 1, olddir, cFile:= "", cStr2, tt, dt2 Local dt:=SUBSTR(DTOC(DATE()),1,2)+"."+SUBSTR(DTOC(DATE()),4,2)+"."+SUBSTR(DTOC(DATE()),7,4) cUrl := "ftp://" + cUser + ":" + cPassword + "@" + cServer cFile := "*.PSB" //файлы на ФТП olddir:= DIRCHANGE() DIRCHANGE(FoldDssIn) tt:=InputBoxDate("Введите дату формирования данных ГЕРЦ","Дата", DATE()) //задаем дату для получения информации dt2:=SUBSTR(DTOC(tt),1,2)+"."+SUBSTR(DTOC(tt),4,2)+"."+SUBSTR(DTOC(tt),7,4) // формат папки на сервере 02.01.2013 IF Len( cFile ) > 0 oUrl := tUrl():New( cUrl ) oFTP := tIPClientFtp():New( oUrl, .t. ) oFTP:nConnTimeout := 10000 oFTP:bUsePasv := .T. IF At( "@", cUser ) > 0 oFTP:oUrl:cServer := cServer oFTP:oUrl:cUserID := cUser oFTP:oUrl:cPassword := cPassword ENDIF addtextList1("Ждите, идет получение данных по отделению связи Б-Днестровский-1, 67701") IF oFTP:Open( cUrl ) oFtp:CWD( cPathFTP ) //переходим в каталог oFtp:CWD( "67701" ) // -/- oFTP:CWD(dt2) -//- FOR EACH cFile IN oFTP:listfiles(cFile) //даем команду ЛИСТ, проверяем есть ли такие файлы на ФТП oFtp:exGauge := { | done, size| ShowGaugePriem( done, size ) } IF !oFtp:DownloadFile( cFile[F_NAME] ) AddTextList1("На сервере отсутствуют данные за дату "+tt) MsgStop("На сервере отсутствуют данные за дату "+tt) lRetorno := .F. ELSE AddTextList1("данные по ОС 67701 за дату " + dt2 + " "+cFile[F_NAME] + " успешно получены ") lRetorno :=.T. ENDIF NEXT oFTP:CDUP() // новая команда, добавлена в ftpcli.prg, так как там нет такого метода //перемещается на предыдущий каталог oFTP:CDUP() /- oFTP:CDUP() // корневой каталог addtextList1("Ждите, идет получение данных по отделению связи Б-Днестровский-3, 67703") // пытаетмя получить данные по 2-й точке oFtp:CWD( cPathFTP ) //сменили каталог oFtp:CWD( "67703" ) //-- oFTP:CWD(dt2) // -/- FOR EACH cFile IN oFTP:listfiles(cFile) //даем команду ЛИСТ - И ВОТ ТУТ ТИПА ОШИБКИ, ВОЗВРАЩАЕТ ПУСТОЙ КАТАЛОГ, СООТВЕСТВЕННО ФАЙЛОВ НЕТ!!! oFtp:exGauge := { | done, size| ShowGaugePriem( done, size ) } IF !oFtp:DownloadFile( cFile[F_NAME] ) AddTextList1("На сервере отсутствуют данные за дату "+tt) MsgStop("На сервере отсутствуют данные за дату "+tt) lRetorno := .F. ELSE AddTextList1("данные по ОС 67703 за дату " + dt2 + " "+cFile[F_NAME] + " успешно получены ") lRetorno :=.T. ENDIF NEXT oFTP:CDUP() oFTP:CDUP() oFTP:CDUP() oFTP:Close()

смотрел логи, в логе команда лист по 2-й точке (67703) показывает что нет файлов в данном каталоге, а точнее вообще ничего не показывает...
Скрытый текст

20130421-22:22:56 :INETRECVLINE( <pointer>, , 128 ) >> 250 CWD command successful. "/GERC/67703/20.04.2013" is current directory. << 20130421-22:22:56 :INETERRORCODE( <pointer> ) >> 0 << 20130421-22:22:56 :INETSENDALL( <pointer>, 6, PASV<cr><lf> ) >> 6 << 20130421-22:22:56 :INETRECVLINE( <pointer>, , 128 ) >> 227 Entering Passive Mode (10,215,16,100,153,245). << 20130421-22:22:56 :INETERRORCODE( <pointer> ) >> 0 << 20130421-22:22:56 :INETSENDALL( <pointer>, 12, LIST *.PSB<cr><lf> ) >> 12 << 20130421-22:22:56 :INETERRORCODE( <pointer> ) >> 0 << 20130421-22:22:56 :INETRECVLINE( <pointer>, , 128 ) >> 150 Data connection accepted from 10.215.1.92:57052; transfer starting. << 20130421-22:22:56 :INETERRORCODE( <pointer> ) >> 0 << 20130421-22:22:56 :INETRECVLINE( <pointer>, , 128 ) >> 226 Transfer ok <<

 Отправлено: 17.12.13 18:04. Заголовок: petr707 пишет: Посл..

petr707 пишет:

цитата:

После каждого Download ставлю oFTP:reset()

Спасибо , не помогло

Точнее:
Dima пишет:

цитата:

Первый заходит нормально (размер 1.5 метра). На втором downloadFile выдает .F. и на 3-м тоже.

После этого рецепта 3 файл зашел нормально.
А вот большой файл (8 метров) не хочет скачивать зараза.

 Отправлено: 17.12.13 19:00. Заголовок: Время стягивания 1 МБ ?

Что пишет в логе ftp-?.log
Может по таймауту скидывает соединение при низкой скорости ?

 Отправлено: 17.12.13 19:14. Заголовок: petr707 Да нет скор..

petr707
Да нет скорость нормальная я уже у себя на своем FTP тестю
В логе вот что

 
 20131217-18:12:14  :INETRECVLINE( <pointer>, , 128 ) 
 >> 150 Data connection accepted from xx.xx.xxx.xx:2778; transfer starting. << 
  
 20131217-18:12:14  :INETERRORCODE( <pointer> ) 
 >>          0 << 
  
 20131217-18:12:14  :INETRECVALL( <pointer>, , 512 ) 
 >> -rw-rw-rw-   1 user     group    16177831 Dec 01 16:08 core-master.zip 
                                                                                                                                                                                                                                                                                                                                                                                                                                                          << 
  
 20131217-18:12:14  :INETCOUNT( <pointer> ) 
 >>         72 << 
  
 20131217-18:12:14  :INETRECVALL( <pointer>, , 512 ) 
 >>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  << 
  
 20131217-18:12:14  :INETCOUNT( <pointer> ) 
 >>          0 << 
  
 20131217-18:12:14  :INETRECVLINE( <pointer>, , 128 ) 
 >> 226 Transfer ok. << 
  
 20131217-18:12:14  :INETERRORCODE( <pointer> ) 
 >>          0 << 
  
 20131217-18:12:14  :INETSENDALL( <pointer>, 6, PASV<cr><lf> ) 
 >>          6 << 
  
 20131217-18:12:14  :INETRECVLINE( <pointer>, , 128 ) 
 >> 227 Entering Passive Mode (xx,xx,xxx,xxx,83,122) << 
  
 20131217-18:12:14  :INETERRORCODE( <pointer> ) 
 >>          0 << 
  
 20131217-18:12:14  :INETSENDALL( <pointer>, 22, RETR core-master.zip<cr><lf> ) 
 >>         22 << 
  
 20131217-18:12:14  :INETERRORCODE( <pointer> ) 
 >>          0 << 
  
 20131217-18:12:14  :INETRECVLINE( <pointer>, , 128 ) 
 >>  << 
  
 20131217-18:12:14  :INETERRORCODE( <pointer> ) 
 >>         -3 << 
  
 20131217-18:12:14  :INETRECVLINE( <pointer>, , 128 ) 
 >>  << 
  
 20131217-18:12:14  :INETERRORCODE( <pointer> ) 
 >>         -4 << 
  
 20131217-18:12:14  :INETSENDALL( <pointer>, 6, QUIT<cr><lf> ) 
 >>         -1 << 
  
 20131217-18:12:14  :INETRECVLINE( <pointer>, , 128 ) 
 >>  << 
  
 20131217-18:12:14  :INETERRORCODE( <pointer> ) 
 >>         -4 << 
  
  
 

 Отправлено: 18.12.13 09:23. Заголовок: А если начать с длин..

А если начать с длинного файла?

 Отправлено: 18.12.13 17:13. Заголовок: nick_mi Да что толь..

nick_mi
Да что только не делал. Вот такой размер уже не тянет 1 670 338 байт не пойму куда копать
В самом фтп в логе вот такая штука 426 Retrieve aborted; Transfer ok
Тот же файл с того же фтп легко тянется с помощью FlashFXP , значит дело
не в фтп и какие то косяки в исходном коде Hbtip

 Отправлено: 18.12.13 17:40. Заголовок: взять другой ftp-сервер

Может , экземпляр Ftp-сервера неудачный ?

 Отправлено: 18.12.13 17:49. Заголовок: petr707 Выше ответи..

petr707
Выше ответил ;)

 Отправлено: 18.12.13 18:15. Заголовок: petr707 А у вас тян..

petr707
А у вас тянутся файлы с фтп размером от 2 метров с помощью downloadFile (Hbtip) ?
Если тянутся то какая версия Harbour у вас ?
У меня Harbour 3.2.0dev (Rev. 18920)

 Отправлено: 18.12.13 18:35. Заголовок: Да, вполне - как-то не было проблем..

Download - до 3 Mb, у меня больше Upload действий - до 50 Mb
Harbour 2.0
Сделал тест загрузки - 18 Mb , все ок
кусок кода - Download - ниже, все - как в примерах
Скрытый текст

FUNCTION tipFTPdnl(cPath, arrf, ltrace ,cStr,lmess,cmask,aList; //7 ,cServer,cUser,cPassword,lset; // 8,9,10 11 ,lPassive;//12 ) LOCAL aFiles LOCAL cUrl LOCAL lRetorno := .T. LOCAL oUrl LOCAL oFTP LOCAL cFile := "" ,iFile Local cRemoteFile :="" Local scrwait,c_sag:="",ctxt:="",ldown Local CRLF := Chr( 13 ) + Chr( 10 ) Local jj,arr_remote:={} if ltrace=NIL ltrace := .f. // ftp-n.log endif cStr := "" lmess :=IIF(lmess=NIL,.f.,lmess) aList:={} Ftp_serv(@cServer,@cUser,@cPassword,lset) cUrl := "ftp://" + cUser + ":" + cPassword + "@" + cServer cUrl := "ftp://" + cServer if cPath =NIL cPath := "__test" endif lPassive:=IIF(lPassive=NIL.or.valtype(lPassive)#"L",.t.,lPassive) IF Len( arrf ) > 0 .or. !(cmask=NIL) oUrl := tUrl():New( cUrl ) oUrl:cUserID := cUser oUrl:cPassword := cPassword oFTP := tIPClientFtp():New( oUrl, ltrace ) oFTP:nConnTimeout := 20000 oFTP:bUsePasv := lPassive //.T. oFTP:oUrl:cUserID := cUser oFTP:oUrl:cPassword := cPassword // Comprobamos si el usuario contiene una @ para forzar el userid IF At( "@", cUser ) > 0 oFTP:oUrl:cServer := cServer oFTP:oUrl:cUserID := cUser oFTP:oUrl:cPassword := cPassword ENDIF IF oFTP:Open()// cUrl ) oFTP:CWD( cPath ) if !(cmask=NIL) aList := oFTP:ListFiles(cmask) //"*.txt" endif FOR each iFile IN arrf cFile := iFile[1] arr_remote := { iFile[2] } if !(lower(iFile[2])==iFile[2]) aadd(arr_remote,lower(iFile[2])) endif if !(UPPER(iFile[2])==iFile[2]) aadd(arr_remote,UPPER(iFile[2])) endif for jj=1 to len(arr_remote) cRemoteFile := arr_remote[jj] c_sag:= " Download : "+cFile+" <- "+cRemoteFile+" " + oURL:cServer +" "+cPath tolog(c_sag) scrwait := op_wait(c_sag,10,10,,c_pict2,," DownLoad: "+cPath) BEG_Gauge(15,5," Download "+cPath+" "+cRemoteFile ,ci_db) oFtp:exGauge := { | done, size| ShowGauge(done, size ) } ldown:= oFtp:DownloadFile( cFile ,cRemoteFile) END_Gauge(15,5) cl_wait(scrwait,10,10) if ldown EXIT endif next jj if !ldown ctxt :=" Нет загрузки Файла : " + cFile ctxt += CRLF+" " + oURL:cServer +" "+cPath if lmess mess( ctxt) endif cStr += ctxt+CRLF lRetorno := .F. LOOP ELSE ctxt :=" Загружен Файл : " + cFile ctxt += CRLF+" " + oURL:cServer +" "+cPath if lmess mess( ctxt) endif cStr += ctxt+CRLF lRetorno := .t. ENDIF oFTP:reset() if !file(cFile) ctxt :=" Нет Файла : " + cFile if lmess mess( ctxt) endif cStr += ctxt+CRLF LOOP endif NEXT oFTP:Close() ELSE cStr := "Нет соединения с сервером FTP" +CRLF; + " " + oURL:cServer+CRLF IF oFTP:SocketCon == NIL cStr += " " + oURL:cServer+CRLF cStr += "Соединение не инициализировано"+CRLF ELSEIF hb_InetErrorCode( oFTP:SocketCon ) == 0 cStr += " " + oURL:cServer+CRLF cStr += "Ответ сервера:" + " " + oFTP:cReply+CRLF ELSE cStr += " " + oURL:cServer+CRLF cStr += "Ошибка сокета:" + " " + hb_InetErrorDesc( oFTP:SocketCon )+CRLF ENDIF if lmess mess(cStr) endif lRetorno := .F. ENDIF ENDIF RETURN lRetorno

 Отправлено: 18.12.13 19:18. Заголовок: petr707 Спасибо , в..

petr707
Спасибо , вроде ни чего не обычного в коде нет.
Попробовал свой пример собрать с Harbour 2.0 и скачать файлик на 2 метра , результат
такой же , хотя более мелкие файлы скачивает легко.
Собираю сейчас Harbour DEV поcледний и попробую с ним.

PS
Юзаю oFTP:bUsePasv :=.T.

 Отправлено: 18.12.13 22:08. Заголовок: Вот и все непонятки ..

Вот и все непонятки закончились после того как убил кучу времени.
У DownloadFile проблема с длинными именами файлов , при чем в UploadFile этой проблемы нет.
Не важно каков размер файла , важна для него длина имени файла.
Вот такой файл скачает 12345678.zip а вот такой уже нет 123456789.zip и размер тут не причем.
Протестил и в легкую слил файл на 200 метров.
Тестил начиная с Harbour 2.0 до последнего DEV.
Прошу опровергнуть или подтвердить описанное поведение DownloadFile.
Думается мне что это баг который нужно исправлять.

ЗЫ
Давайте вместе сделаем Harbour лучше

 Отправлено: 18.12.13 22:37. Заголовок: Пока не подтверждается...

с моего FTP сервера:
одинаково загружаются - файлы с короткими и с длинными именами,
с дефисом в имени файла и без.

 Отправлено: 19.12.13 14:04. Заголовок: petr707 пишет: с мо..

petr707 пишет:

цитата:

с моего FTP сервера:

А что за FTP сервер ?

 Отправлено: 19.12.13 16:56. Заголовок: Корпоративный Proftp

В ftp-n.log сервер сообщает, что он
ProFTPD 1.3.1 Server (ProFTPD)

В общем контексте исполнения (Harb 2.0)
использую установку SetFileApisToOEM()

Доступ по FTP на один и тот же ресурс
- сильно зависит от настроек Windows,брандмауэра, антивируса и прочее.
Иногда получается с одного компа - только ActiveMode,
иногда - только Passive.
Проблемы проверяю обычно Far'ом

Не пробовали бесплатные ресурсы ?
типа http://net2ftp.ru/

 Отправлено: 19.12.13 17:36. Заголовок: Да насчет active/pas..

Да насчет active/passive знаю и это еще может зависить и от прова.
Как тут бороться я знаю. Но вот не понятки с downloadfile меня напрягают.
Беру файлик и ложу на свой FTP , назвал его 12345678.zip сливается
нормально моей тестовой прогой.
Переименовываю его в 1234567890.zip не сливается , проверял многократно.
Переименовываю его еще раз от балды в 12345klsjdklfjsklf.zip сливается при чем уверенно ,проверял
многократно.
Файлы с короткими именами 8.3 сливаются всегда иначе тут связь какая то прослеживается
не понятная между размером файла и его его именем. Может сливаться а может и нет.
C Upload нет таких проблем.

PS
Те же файлы всегда сливаются норм любым FTP клиентом. Отсюда
напрашивается вывод что FTP сервер не при чем (юзаю G6FTP Server уже давно
и работает как часы)

 Отправлено: 19.12.13 18:04. Заголовок: Здесь есть "третья сила"

Между FTP-сервером(с его настройками) и простым HBTIP-ftp клиентом - есть еще его Величество Интернет(канал),
который дышит, проседает и т.д.
Специализированные FTP-клиенты - умнее.
В моем случае сложности :
большие-маленькие буквы в именах файлов,
конкуренция за соединение с сервером( ограничено число соединений - настройки сервера),
конкуренция за доступ к файлам между клиентами.

Возможно, настройки среды не соответствуют каналу, который слишком быстрый(иногда это проблема ) или слишком медленный.
По идее, Upload по скорости - меньше или равен Download

 Отправлено: 19.12.13 21:56. Заголовок: petr707 пишет: ProF..

petr707 пишет:

цитата:

ProFTPD 1.3.1 Server (ProFTPD)

Это под UNIX ?

 Отправлено: 19.12.13 22:04. Заголовок: да, unix-подобный

да, специально заточенный(собран из модифицированных исходников )

 Отправлено: 20.12.13 11:29. Заголовок: Eduard пишет: Единс..

Eduard пишет:

цитата:

Единственное что не работает в программе, отображение результатов работы в граф. виде (прогресс-бар), может что-то надо подправить в тексте программы?

Тестю FileZilla , и тоже перестал работать индикатор , хотя на Gene6FTP работал

Eduard пишет:

цитата:

Где подправить текст, для показа строки выполнения, перестало показывать прогресс-бар % получения после замены сервера oFtp:exGauge := { | done, size| ShowGaugePriem( done, size ) }

Ни где так как в случае с Filezilla Server первый параметр всегда заходит -1 как ни странно

 Отправлено: 20.12.13 14:43. Заголовок: Кстати с Filezilla S..

Кстати с Filezilla Server при UploadFile индикатор работает нормально а вот с DownloadFile не работает