Отправлено: 16.02.13 17:13. Заголовок: Архивы клиента на: FTP или закрытый сайт или Облако?

Вот столкнулся с такой задачей.
У клиентов периодически из-за вирусов или железа грохается винт.
Соответственно все DBF-ники (их работа) за N-предыдущих лет пропадают...
Текущий год архива они конечно делают и на флешку сбрасывают, но это какой пользователь попадется.
Архив предлагаю пользователю делать на выходе из программы (через 7z).
Большой архив получается - 20-50 Mb. У меня многие клиенты имеют доступ в интернет.
Как бы сделать отправку архива ко мне на сайт ?
Может LetoDB прикрутить к пересылке ?
Какие есть варианты ?

 Отправлено: 17.02.13 08:49. Заголовок: Да, мы легкий путей ..

Да, мы легкий путей не ищем.
Самый простой и дешевый - второй винт установить у клиента и на него делать архивацию. Архивы предыдущих лет записать на болванку CD. Еще не разу не было случая , чтобы одновременно оба винта накрылись.

 Отправлено: 17.02.13 11:33. Заголовок: Andrey пишет:Какие е..

Andrey пишет:

цитата:

Какие есть варианты ?

1. Не сетевой режим работы. В длительных операциях (вых. формы, контроль, расчет, закрытие периодов) скрыто от пользователя создаются архивы.
2. Сетевой режим работы. Скрыто от пользователя тянуть базы с сервера на клиента и см. пункт 1. Это можно сделать для всех клиентских PC или для выбранных. Копий будет завались.

 Отправлено: 17.02.13 11:38. Заголовок: Vlad04 пишет: Да, м..

Vlad04 пишет:

цитата:

Да, мы легкий путей не ищем.

Как обычно, да !

Vlad04 пишет:

цитата:

Самый простой и дешевый - второй винт установить у клиента и на него делать архивацию.

У меня клиенты по всей России и Украине. Руководству об этом говоришь, все об этом понимают, некоторые даже флешки купили, но все равно человеческий фактор, то оператор забыла, то болела... куча причин...
А наступает час "Х" и все полетело, тогда начинаются звонки и стенания по телефону.
Да и мне напряжно, выискивать архивы предыдущих лет, собирать все вместе... Короче гимор полнейший...
А так будут архивы в одном месте, переустановка программы и базы в течении часа (через TeamViewer).
И мне легко и клиенту счастье !

 Отправлено: 17.02.13 13:08. Заголовок: Есть же закон о защи..

Есть же закон о защите персональных данных. А БД программы расчета за домофон как раз содержат ПД. Значит, пересылка этих баз - нарушение этого закона.
Все-таки лучше обойтись копированием БД на флешку или другой носитель у клиента. Клиенты ведь кровно заинтересованы в работоспособности своей программы, от этого напрямую зависит их доход. Так что такую мелочь, как ежедневное копирование данных на внешний носитель обеспечить можно.

цитата:

У меня клиенты по всей России и Украине.

Кстати, Донецк тоже в клиентах числится ? Тогда и мои ПД в этой базе могут быть :)

 Отправлено: 17.02.13 13:20. Заголовок: Как бы сделать отправку архива ко мне на сайт ?

Для восстановления данных достаточно иметь не сами данные, а актуальные ссылки на резервные копии данных.
Не всегда можно тянуть себе клиентские данные толстого клиента , это юридический вопрос договора сопровождения.
Решение Вашего вопроса не в технологии, а в методологии.
Установите в программе автоматическую дисциплину(раз в день) проверки создания резервных копий
с напоминанием юзерам о проблемах создания резервных копий, если проблемы возникнут.
Можете установить в программе порядок активного поиска мест для резерва на компе клиента - другой винт, Usb-drive,
сетевая среда,FTP-сервер( по списку предпочтения)- можно с подтверждением места резерва у юзера.
Себе передаете только актуальные местные ссылки на резервный ресурс клиента
и события нарушения дисциплины создания резервных копий - хоть автоматическим email'ом

 Отправлено: 17.02.13 13:38. Заголовок: Pasha пишет:Есть же ..

Pasha пишет:

цитата:

Есть же закон о защите персональных данных

Все так, но есть шифрование, пароли на архивы, недоступные userу каталоги. Алгоритмы по любому надо продумывать.
Программа, система должна делать это в автоматическом режиме. Любое оставление копирования на человека рано или поздно приведет

цитата:

все равно человеческий фактор, то оператор забыла, то болела... куча причин...

Можно архивы собирать (на сервере, на клиенте) и modalно спрашивать установку флешки, CD, пока этого не сделали не давать работать. Потом архив удалять. Такая схема у нас работает много лет и не разу не подводила. Архивы делятся на годовые, месячные, ежедневные.

 Отправлено: 17.02.13 13:42. Заголовок: petr707 +1. Хотел п..

petr707 +1.

Хотел посоветовать такой же механизм.

 Отправлено: 17.02.13 15:51. Заголовок: Pasha пишет: Клиент..

Pasha пишет:

цитата:

Клиенты ведь кровно заинтересованы в работоспособности своей программы, от этого напрямую зависит их доход.

Руководство фирмы заинтересовано, а операторы нет. Встречаются и руководители такие, что не объяснишь и не заставишь выполнять элементарные правила. Легче самому сделать, молча и никого не ставить в известность.

Pasha пишет:

цитата:

Так что такую мелочь, как ежедневное копирование данных на внешний носитель обеспечить можно.

Моя практика с 2000 года, показала что нельзя. Исключения постоянно встречаются. Если в течении длительного времени не происходят сбои, то юзера прекращают делать копии на флешку.

Pasha пишет:

цитата:

Кстати, Донецк тоже в клиентах числится ? Тогда и мои ПД в этой базе могут быть :)

Да нет там ПД. Все относительно: адрес, квартира, ФИО: Абонент кв. "номер такой то", стоит трубка или не стоит.

Напиши свой адрес на мыло, может смогу посмотреть, обслуживает ли тебя фирма или нет...
Там такой разброд бывает, что просто диву даешься... Да это везьде так бывает, многое зависит от руководства.

 Отправлено: 17.02.13 16:06. Заголовок: petr707 пишет: Не в..

petr707 пишет:

цитата:

Не всегда можно тянуть себе клиентские данные толстого клиента , это юридический вопрос договора сопровождения. Решение Вашего вопроса не в технологии, а в методологии.

Да это обговорено уже, есть сопровождение и есть доступ к этим данным.
Методологию легко вводить если предприятие большое, там грамотного народа больше и дисциплина есть.
А у меня чем проще, тем лучше - кнопочку "тыкнул" и архив ушел на сайт или на FTP.

petr707 пишет:

цитата:

Себе передаете только актуальные местные ссылки на резервный ресурс клиента и события нарушения дисциплины создания резервных копий - хоть автоматическим email'ом

Вот самый простой случай (с таким постоянно сталкиваешься): отдельно стоящий комп, древний, руководству денег на новый жалко... Вопрос руководства: программа работать будет ? Отвечаешь, да будет (Харбор везьде работает), начинаешь добавлять, что сломается комп и т.д. ... Руководство: ну пускай месяца 2-3 поработает, а потом мы новый купим.. Проработал комп 2 года !!!! Рухнул, совсем рухнул... Где архив ? Нет архива !
Приплыли...
Можно такое же описать насчет антивируса... Будет один в один такой же результат !

SergKis пишет:

цитата:

Можно архивы собирать (на сервере, на клиенте) и modalно спрашивать установку флешки, CD, пока этого не сделали не давать работать. Потом архив удалять. Такая схема у нас работает много лет и не разу не подводила.

Ну не знаю, мои некоторые юзера точно будут меня "вспоминать" каждый день и матюкаться...

У меня при выходе из программы появляется окно с предложением сделать Архив-БД.
Вот туда и хочу повесить кнопку отправить архив-БД на сайт и выключить компьютер....
И чтобы меня не доставали потом, ну сделайте что нибудь....
А юзерам на это наплевать !!!

 Отправлено: 17.02.13 16:43. Заголовок: ..при выходе из программы появляется окно с предложением

..при выходе из программы появляется окно с предложением

Это неплохо, а еще лучше - безальтернативно , без всяких переговоров с пользователем
- как при входе до появления интерфейса опеатора,
так и при выходе - запустив дочерний невидимый процесс ( или убрав крестик окна)
провести создание резерва.
Если нет резерва - долбить оператора через каждую минуту "Создай резерв, создай резерв.."
Нет резерва три дня (обговорив предварительно в договоре) - блокировка интерфейса с
требованием - получить разрешение на продолжение работ у сопровождающего модератора.

Резервирование - это не факультативное занятие(по желанию, как у Вас поставлено), а тоже основная работа.

Никакие технические ухищрения не решат вопрос, если не будет нормального регламента.
"Кнут или пряник, или ставьте на деньги" - ничего нового, все уже давно придумано.

 Отправлено: 17.02.13 17:18. Заголовок: petr707 пишет: так ..

petr707 пишет:

цитата:

так и при выходе - запустив дочерний невидимый процесс ( или убрав крестик окна) провести создание резерва.

Вот это лучше всего !
Я хочу сделать отдельную программу - хоть на Харборе, хоть на МиниГуи.
Только вопрос к самому началу: куда лучше делать архив - на FTP или на САЙТ и с помощью чего ?
1) на FPT - какие ньюансы ? 20-50 Мб можно передавать ?
2) на Сайт - сделать закачку, какой протокол выбрать ?
3) LetoDB - установить на свой сайт и качать через него. Как потянет файловые операции ?

 Отправлено: 17.02.13 17:21. Заголовок: Andrey пишет: 2) на..

Andrey пишет:

цитата:

2) на Сайт - сделать закачку, какой протокол выбрать ?

я могу ошибаться но просто на сайт не залить файл , только через FTP.

 Отправлено: 17.02.13 17:38. Заголовок: Андрей, есть вопрос:..

Андрей, есть вопрос: если начальству, как как ты говоришь, жалко денег на железки, то кто будет платить за хостинг (ftp, сайт)?

 Отправлено: 17.02.13 17:42. Заголовок: Andrey пишет: Руков..

Andrey пишет:

цитата:

Руководство фирмы заинтересовано, а операторы нет. Встречаются и руководители такие, что не объяснишь и не заставишь выполнять элементарные правила. Легче самому сделать, молча и никого не ставить в известность. Моя практика с 2000 года, показала что нельзя. Исключения постоянно встречаются. Если в течении длительного времени не происходят сбои, то юзера прекращают делать копии на флешку.

Так пусть флешка будет постоянно находиться в usb-разьеме, и при старте сервера на нее копируются данные с архивацией. Это в самом простейшем случае, для особенно тупых.

цитата:

Да нет там ПД. Все относительно: адрес, квартира, ФИО: Абонент кв. "номер такой то", стоит трубка или не стоит.

Это и есть ПД. Достаточно ФИО. А адрес это уже с отягчающими. Шучу. С отягчающими это биометрическая информация.

 Отправлено: 17.02.13 17:42. Заголовок: PSP Ftp он может по..

PSP
Ftp он может поднять и на домашнем компе.

 Отправлено: 17.02.13 17:46. Заголовок: SergKis пишет: Все ..

SergKis пишет:

цитата:

Все так, но есть шифрование, пароли на архивы, недоступные userу каталоги.

Криптоалгоритмы должны быть сертифицированы серьезными организациями типа ФСБ. Это стоит очень много денег. Обычные пароли на архивы не подойдут.

 Отправлено: 17.02.13 17:50. Заголовок: Dima пишет: Ftp он ..

Dima пишет:

цитата:

Ftp он может поднять и на домашнем компе.

В принципе, да.

 Отправлено: 17.02.13 17:58. Заголовок: Andrey пишет: 3) Le..

Andrey пишет:

цитата:

3) LetoDB - установить на свой сайт и качать через него. Как потянет файловые операции ?

Устанавливать letodb придется у клиента.Он то потянет. Это сделать можно, но не нужно. Во-первых, letodb предназначен совсем для другого. Во-вторых, этим вообще не стоит заниматься.

 Отправлено: 17.02.13 18:14. Заголовок: Andrey пишет: Какие..

Andrey пишет:

цитата:

Какие есть варианты ?

Можно посмотреть в сторону NAS (сетевых хранилищ)

 Отправлено: 17.02.13 20:48. Заголовок: Pasha пишет:Так пуст..

Pasha пишет:

цитата:

Так пусть флешка будет постоянно находиться в usb-разьеме

По вопросам безопасности работу usb вообще блокируют во многих "правильных" конторах, у userов кроме задач, Offisа все отрублено.
Andrey пишет:

цитата:

Только вопрос к самому началу: куда лучше делать архив - на FTP или на САЙТ и с помощью чего ? 1) на FPT - какие ньюансы ? 20-50 Мб можно передавать ? 2) на Сайт - сделать закачку, какой протокол выбрать ? 3) LetoDB - установить на свой сайт и качать через него. Как потянет файловые операции ?

Если Вы имеете ввиду свой Сайт\FTP , то этого нельзя делать, если в договоре с клиентом это не оговорено. Иначе ВЫ ПОТОМ ОКАЖЕТЕСЬ ВИНОВНЫМИ, если что ...
На FTP все нормально пересылается, если проблемы с пересылкой, можно архив разбивать на тома. У нас есть такие клиенты, есть и такие у которых сервер у нас. FTP у нас на VO 2.7 попытка перевести на hb 2.0 окончилась неудачей - слишком сыро, разбираться времени не было.
Andrey пишет:

цитата:

Ну не знаю, мои некоторые юзера точно будут меня "вспоминать" каждый день и матюкаться...

Я не говорил спрашивать каждый день ! Я говорил разработать алгоритм. А спрашивать и блокировать дальнейшую работу, например, раз в месяц, неделю ...

 Отправлено: 17.02.13 21:04. Заголовок: Vlad04 пишет:Самый п..

Vlad04 пишет:

цитата:

Самый простой и дешевый - второй винт установить у клиента и на него делать архивацию

Согласен. Возможно внешний диск на usb даже лучше - всегда можно в сейф спрятать.

 Отправлено: 17.02.13 21:26. Заголовок: Pasha пишет: Достат..

Pasha пишет:

цитата:

Достаточно ФИО

В графе ФИО стоит "Абонент кв.ХХ" - юзерам влом набивать ФИО, кто платит. Им это не нужно.
Так что нет там никаких ПД !

PSP пишет:

цитата:

Андрей, есть вопрос: если начальству, как как ты говоришь, жалко денег на железки, то кто будет платить за хостинг (ftp, сайт)?

Да я на свой сайт буду копировать (300 рублей в месяц). Обновление программы, все равно с него идет !

 Отправлено: 17.02.13 21:32. Заголовок: SergKis пишет: Если..

SergKis пишет:

цитата:

Если Вы имеете ввиду свой Сайт\FTP , то этого нельзя делать, если в договоре с клиентом это не оговорено. Иначе ВЫ ПОТОМ ОКАЖЕТЕСЬ ВИНОВНЫМИ, если что ...

Вообще то странно.
Письмо с архивом мне присылают, а если окошечко будет с таким же предложением,
то уже ВИНОВЕН ?

 Отправлено: 17.02.13 21:39. Заголовок: Pasha пишет: Устана..

Pasha пишет:

цитата:

Устанавливать letodb придется у клиента.Он то потянет. Это сделать можно, но не нужно. Во-первых, letodb предназначен совсем для другого. Во-вторых, этим вообще не стоит заниматься.

А пересылку архива базы с LetoDB на локальный комп уже же есть (в исходниках видел).
А обратную операцию тоже, же можно сделать ?
Вообще то и обновление exe-ников и dll программы на компы тоже можно же сделать через LetoDB ?
Я понимаю что это сервер базы, но файловые операции там же есть !
Но я может и не прав. Хотя хотелось бы иметь все сразу, единую технологию.
Может подумаете над этим ?

Р.S. Вспомнил еще такую задачу, которую обслуживал раньше в отделе субсидий района.
Программа на Дельфи на 7 или более поздней. Программа на СЕРВЕРЕ, на клиентах ехе-ники, связь через TCP-протокол, DBF-базы. Стояло BDE раньше.
Умер, запросы не обрабатывал. Программист переделал под локальный ADS. Работает до сих пор.
Только когда приносят данные на флешке из отдела соцзащиты, то работа встает.
30-20 тыс.записей в DBF-файле, перегоняются по ОДНОЙ записи на СЕРВЕР !!! 3 часа перегонки....
Легче ручками пойти и на сервере через DBU сделать. Но там меню для пользователя, чтоб программиста не нагружать, а сопроводителя программы (то есть меня) в этот день можно выносить... Все нервы вымотает, а еще не дай бог с первого раза не пойдет, сервак повиснет (win nt 4.0 был)
Я ему и предложил, сделай через свой Дельвовый сокет передачу архива этого DBF-ника на СЕРВВЕР, там распаковать в своей папке и добавить эти записи уже напрямую на сервере. Года 2 он это делал....
Ну как платили, так и делал... Вот такая история...

У меня тоже тогда встают такие же вопросы по LetoDB.
Есть файлы оплат абонентов, DBF-файлы 50-тыс.записей (правда полей поменьше, 4-5 поля всего).
Если LetoDB установлен где-то в ИНЕТЕ, то сколько времени будет передаваться эта база ?

 Отправлено: 17.02.13 22:07. Заголовок: Andrey пишет: 30-20..

Andrey пишет:

цитата:

30-20 тыс.записей в DBF-файле, перегоняются по ОДНОЙ записи на СЕРВЕР !!! 3 часа перегонки....

Не оптимальный алгоритм скорее всего , проходили уже в прошлой твоей теме.

 Отправлено: 17.02.13 22:53. Заголовок: Andrey пишет:30-20 т..

Andrey пишет:

цитата:

30-20 тыс.записей в DBF-файле, перегоняются по ОДНОЙ записи на СЕРВЕР !!! 3 часа перегонки....

LetoDb перегоняет (в транзакциях по 1000 записей) dbf ~70000 записей на сервер в быстром соединении (не локалка) около 1-ой минуты, в мобильном (в зависимости от времени суток) от 3-х до 9-ти минут. При этом на сервере работает триггер, заполняя поле AutoIncrement через переменную сервера, дату Appen, дату Modify в каждую запись. Выборка назад еще быстрее на порядок.
Dima пишет:

цитата:

Не оптимальный алгоритм скорее всего.

Согласен.

 Отправлено: 17.02.13 22:57. Заголовок: SergKis пишет:LetoDb..

SergKis пишет:

цитата:

LetoDb перегоняет (в транзакциях по 1000 записей) dbf

В dbf 90 полей.

 Отправлено: 17.02.13 23:06. Заголовок: Andrey пишет:Так что..

Andrey пишет:

цитата:

Так что нет там никаких ПД !

Т.е. режима секретности нет, тогда и проблем с архивированием не должно быть - где хочешь и как хочешь архивируешь в автомате и прячешь в каталоги - главное не надейся на клиента, управляй сам.

 Отправлено: 18.02.13 09:59. Заголовок: SergKis пишет: Leto..

SergKis пишет:

цитата:

LetoDb перегоняет (в транзакциях по 1000 записей) dbf ~70000 записей на сервер в быстром соединении (не локалка) около 1-ой минуты, в мобильном (в зависимости от времени суток) от 3-х до 9-ти минут. При этом на сервере работает триггер, заполняя поле AutoIncrement через переменную сервера, дату Appen, дату Modify в каждую запись. Выборка назад еще быстрее на порядок.

Супер ! Спасибо за статистику, буду знать.

 Отправлено: 18.02.13 10:19. Заголовок: Andrey пишет:буду зн..

Andrey пишет:

цитата:

буду знать

Надо использовать :)

 Отправлено: 18.02.13 12:15. Заголовок: Dima пишет: только ..

Dima пишет:

цитата:

только через FTP.

Дима, я точно не помню, но вроде ты делал такое ?
30-50 Мб долго качать будет ?
А как с надежностью FTP ? Возможно же подсмотреть какие паролт использует моя программа и влезть в мое хранилище на FTP ?
Поделись опытом, примером...
Я хочу посмотреть и в эту сторону.

 Отправлено: 18.02.13 12:40. Заголовок: Andrey пишет: 30-50..

Andrey пишет:

цитата:

30-50 Мб долго качать будет ?

Зависит от скорости инета

Andrey пишет:

цитата:

А как с надежностью FTP ?

Все норм там. Важно юзать надежный и не глючный FTP сервер. Cоветую G6FTP Server

Andrey пишет:

цитата:

Возможно же подсмотреть какие паролт использует моя программа и влезть в мое хранилище на FTP ?

По большому счету ни кто не сворует твои пароли ну если плотно не поставить себе цель сломать Андрюхин FTP ;)

Andrey пишет:

цитата:

Поделись опытом, примером...

Примеры можно глянуть в HBTIP

 Отправлено: 18.02.13 20:13. Заголовок: Andrey пишет: А пер..

Andrey пишет:

цитата:

А пересылку архива базы с LetoDB на локальный комп уже же есть (в исходниках видел). А обратную операцию тоже, же можно сделать ? Вообще то и обновление exe-ников и dll программы на компы тоже можно же сделать через LetoDB ? Я понимаю что это сервер базы, но файловые операции там же есть ! Но я может и не прав. Хотя хотелось бы иметь все сразу, единую технологию. Может подумаете над этим ?

Можно передавать letodb серверу файл с помощью функций leto_memoWrite и leto_FileWrite.
Для передачи большого файла предпочтительнее использовать leto_FileWrite и передавать файл порциями.
Такую программу сделать несложно. На клиенте создать архив, сконнектиться с letodb сервером, и передать файл.
Обязательно сделать проверку ошибок, при ошибке повторно передавать фрагмент.
Но еще лучше для передачи файлов использовать предназначенные для этого средства. Все-таки letodb для таких операций не заточен.

 Отправлено: 19.02.13 02:32. Заголовок: Pasha Спасибо БОЛЬШО..

Pasha Спасибо БОЛЬШОЕ !
А как МЕМО поля перегоняются ?
В CDX мемо поле может быть 2Гб (насколько помню).
А как бы проверить перегонку базы в экстримальном состоянии ?
Выдержит или нет ?

SergKis пишет:

цитата:

LetoDb перегоняет (в транзакциях по 1000 записей) dbf ~70000 записей на сервер в быстром соединении (не локалка) около 1-ой минуты, в мобильном (в зависимости от времени суток) от 3-х до 9-ти минут.

SergKis пишет:

цитата:

В dbf 90 полей.

Какой объем этого файла ? Примерно хотя бы...

 Отправлено: 19.02.13 09:01. Заголовок: Andrey пишет: А как..

Andrey пишет:

цитата:

А как МЕМО поля перегоняются ? В CDX мемо поле может быть 2Гб (насколько помню).

Я в затруднении, как отвечать на такой вопрос. Мы вроде бы говорили, что надо создать на клиенте архив, и средствами letodb передать файл. В архиве мемо-полей вроде бы нет, это же архив.

цитата:

А как бы проверить перегонку базы в экстримальном состоянии ?

Да взять и проверить. Передать любой большой файл

 Отправлено: 19.02.13 11:41. Заголовок: Pasha пишет: Мы вро..

Pasha пишет:

цитата:

Мы вроде бы говорили, что надо создать на клиенте архив, и средствами letodb передать файл.

Да, говорили сначала об этом.
Просто вспомнил, про мемо и blob поля и сразу подумал, а что будет если программа будет использовать эти поля на полную катушку. Мы же привыкли в них особо ничего не хранить, а смотрю на буржуйские примеры, там картинок полно, да и всякой большой информации тоже. Я одно время в CDX (*.ftp) в мемо полях хранил DOC-документы. Потом отказался.
Я видел системы на Дельфи-2010, где формы FastReport (*.FR3) храняться в мемо полях. Если нужна печать, то форма перегоняется через Borland Socket Server на рабочую станцию. А там уже показывается в Фасте.
Кстати и обновлялка самого exe-ника тоже сделано через Borland Socket Server.

Pasha пишет:

цитата:

Да взять и проверить. Передать любой большой файл

Нет у меня LetoDB в инете. Пока только с локальным разбираюсь.

 Отправлено: 19.02.13 17:54. Заголовок: Andrey пишет:Какой о..

Andrey пишет:

цитата:

Какой объем этого файла ? Примерно хотя бы..

55M

 Отправлено: 19.02.13 18:13. Заголовок: Andrey пишет:Просто ..

Andrey пишет:

цитата:

Просто вспомнил, про мемо и blob поля и сразу подумал, а что будет если программа будет использовать эти поля на полную катушку.

Думаю, использовать вполне можно. В VO, вроде, ограничение на длину blob 2Гб было, там где-то и пример встречал (давно) на такую тему (вряд ли найду).