Большой объем данных

[support]

Подскажите пожалуйста при какой последовательности действий удалился файл?
Файл может удалиться только:
1. Если в настройках установлено при совпадении имен "Удалять файл и создавать новый"
2. При формировании нового архива (не обновлении) создается файл ~[номер задания].zip и пользователь нажимает кнопку "Прервать задание" - этот рабочий файл удаляется т.к. он недоделан.

Насколько я понимаю в вашем случае с режимом "Обноление" файл удалиться не может он может только стать скрытым. Т.к. перед началом работы устанавливается признак скрытый а в конце работы задания признак скрытый убирается с файла. Если же в процессе работы задание будет прервано или программа будет принудительно завершена файл останется на диске но будет скрытым.
Возможно у вас просто в настройках проводника не установлена опция - показывать скрытые файлы ?

[YuriySVik]

Подскажите пожалуйста при какой последовательности действий удалился файл?

При запуске задания на выполнение

Насколько я понимаю в вашем случае с режимом "Обноление" файл удалиться не может он может только стать скрытым.

Сложно не заметить скрытый файл размером 50-70 гиг

[YuriySVik]

Колоссальная разница в скорости процесса архивации, это Ваш просчет в выборе алгоритма или как по-нимать?
Папка вес 2,98 гига – внутри: 40695 папок и 291753 файлов - процесс в APBackUp занимает 5-7 часов :shock: :shock: :shock:, а в Acronis и Backup4all меньше часа - везде минимальное сжатие.

[support]

Какого задания? Пришлите пожалуйста лог файл и файл настройки заданий ArhTasks.bpd а так же сообщите номер задания которое удалило файл.

Подскажите пожалуйста при какой последовательности действий удалился файл?

При запуске задания на выполнение

Насколько я понимаю в вашем случае с режимом "Обноление" файл удалиться не может он может только стать скрытым.

Сложно не заметить скрытый файл размером 50-70 гиг

[support]

Опять же пришлите пожалуйста лог файл и файл настройки заданий это какое то непонятное время выполнения для такого задания.

Колоссальная разница в скорости процесса архивации, это Ваш просчет в выборе алгоритма или как по-нимать?
Папка вес 2,98 гига – внутри: 40695 папок и 291753 файлов - процесс в APBackUp занимает 5-7 часов :shock: :shock: :shock:, а в Acronis и Backup4all меньше часа - везде минимальное сжатие.

[YuriySVik]

--------------------------------------------------------------------------------------------------------------------------------

Насколько я понимаю в вашем случае с режимом "Обноление" файл удалиться не может он может только стать скрытым.

Сложно не заметить скрытый файл размером 50-70 гиг

Приношу извинения: их трёх файлов которые исчезли один оказался скрытым, но а остальные два?
--------------------------------------------------------------------------------------------------------------------------------

Какого задания? Пришлите пожалуйста лог файл и файл настройки заданий ArhTasks.bpd а так же сообщите номер задания которое удалило файл.

Ок – файлы высылаю, а номер задания которое удалило файл сообщить не смогу (временно удалил вашу прогу), при желании восстановите по названию: С; D-мое; D-Temp.
--------------------------------------------------------------------------------------------------------------------------------

Опять же пришлите пожалуйста лог файл и файл настройки заданий это какое то непонятное время выполнения для такого задания.

См. выше: D-Работа с картами

Да время большое было изначально и не только на этом задании, пока были маленькие файлы это не сильно беспокоило. А вот теперь – грустно, поскольку реальная разница между Вашей прогой и Acronis True Image Home или Backup4all от 3,8 до 10 раз включая проверку, на ВСЕХ ЗАДАНИЯХ крупней гига или имеющих много папок и файлов.

[support]

Какие остальные? Насколько я понимаю у вас задание ОБНОВЛЕНИЕ т.е. файл архива всегда один и тот же.

--------------------------------------------------------------------------------------------------------------------------------
Приношу извинения: их трёх файлов которые исчезли один оказался скрытым, но а остальные два?

Эти программы тоже работают в режиме обновления ZIP архива который находится на сетевом ресурсе (F:\ - сетевой?) ?

-
Да время большое было изначально и не только на этом задании, пока были маленькие файлы это не сильно беспокоило, а вот теперь – грустно, поскольку реальная разница между Вашей прогой и Acronis True Image Home и Backup4all до десяти раз на ВСЕХ ЗАДАНИЯХ крупней гига или имеющих много папок и файлов.

[YuriySVik]

Какие остальные? Насколько я понимаю у вас задание ОБНОВЛЕНИЕ т.е. файл архива всегда один и тот же.

Естественно при «ОБНОВЛЕНИИ файл архива всегда один и тот же», но у меня архивов аж СЕМЬ!!! :shock: :shock: :shock:

Эти программы тоже работают в режиме обновления ZIP архива который находится на сетевом ресурсе (F:\ - сетевой?) ?

Вы то, хоть сами поняли что спросили? :lol: :lol: :lol:

[support]

1. В ваших заданиях установлена опция "Проверять ZIP архив после выполнения задания" - эта операция эквивалентна полной распаковке архива и, естественно, занимает время соизмеримое с самим процессом архивации. Т.е. после того как архив создан начинается тестовая распаковка архива.
2. В APBackup есть режим инкрементального копирования, когда в архив будут добавляться только файлы, которые изменялись или добавлялись с момента последнего архива. Это существенно ускорит работу, т.к. в режиме обновления ZIP + "Сохранять все файлы" - КАЖДЫЙ файл из источника проверяется на наличие его уже в архиве, а также сверяется его контрольная сумма чтобы узнать изменялся он или нет.
3. Еще для ускорения лучше разнести выполнение заданий по времени тем более с участием одного и того же диска F: в качестве архива. Для этого в программе предусмотрена, например, возможность построения цепочек выполнения заданий когда следующее задание стартует по завершении предыдущего.

Вот пример из вашего лог файла

Код: Выделить всё

29.08.2009 10:05:47:[1010][I] Начало выполнения задания  [3.5.5541-896]
29.08.2009 10:05:47:[1010][I] Архивация будет производиться - файлы для архивации имеются
29.08.2009 10:05:48:[1010][W] Файл архива (F:\D-.zip 3049Mb 28.08.2009 14:13:16) уже существует
29.08.2009 10:05:48:[1010][W] Файл архива (F:\D-.zip 3049Mb 28.08.2009 14:13:16) будет удален и создан новый архив
29.08.2009 10:07:07:[1010][I] ZIP start: Files=332448 TotalKBBytes=3131147

Вот здесь архив уже создан и начинается проверка архива

Код: Выделить всё

29.08.2009 12:37:53:[1010][I] ZIP archive check START
29.08.2009 15:49:49:[1010][I] Check OK
29.08.2009 15:49:50:[1010][I] Задание выполнено ( 332448 добавлено) (F:\D-.zip 3049Mb 29.08.2009 12:37:48)

Казалось бы архив из 332 тысяч файлов размером 3 Гб обновлялся 2,5 часа это много.
Конечно, если не принимать во внимание что в это же время были запущена следующие задания и все они сохраняли архив там же на диске F:

Код: Выделить всё

29.08.2009 10:07:04:[1008][I] ZIP start: Files=9231 TotalKBBytes=34596839 (34Гб)
29.08.2009 10:03:56:[1011][I] ZIP start: Files=24025 TotalKBBytes=12523592 (12 Гб)
29.08.2009 10:08:11:[1013][I] ZIP start: Files=29502 TotalKBBytes=5246568 (5Гб)
29.08.2009 10:08:40:[1014][I] ZIP start: Files=2517 TotalKBBytes=8838293 (8Гб)
29.08.2009 10:09:54:[1002][I] ZIP start: Files=4368 TotalKBBytes=72939765 (72Гб)

Т.е. в эти 2 часа реально выполнялось еще 5 заданий на один и тот же диск.

А вот еще один пример папка 5 Гб 29 тыс. файлов - время создания архива 40 минут. Здесь параллельно еще выполнялось только одно задание на диск F:

Код: Выделить всё

28.08.2009 15:29:52:[1013][I] Начало выполнения задания  [3.5.5541-896]
28.08.2009 15:29:52:[1013][I] Архивация будет производиться - файлы для архивации имеются
28.08.2009 15:30:04:[1013][I] ZIP start: Files=29696 TotalKBBytes=5162150
28.08.2009 16:08:47:[1013][I] ZIP archive check START


Т.е. в 16:08 архив создан и начинается его проверка. Так что я думаю сравнение было не совсем корректным и тему можно закрыть.

[YuriySVik]

--------------------------------------------------------------------------------------------------------------------------------

1. В ваших заданиях установлена опция "Проверять ZIP архив после выполнения задания"

На всех программах установка – тестирование.

и вообще то тестирование задания везде занимает много времени (больше меньше это от алгоритма обработки)
но более ушлые делают тестирование только новых и измененных
--------------------------------------------------------------------------------------------------------------------------------

2. В APBackup есть режим инкрементального копирования, когда в архив будут добавляться только файлы, которые изменялись или добавлялись с момента последнего архива.

Есть, но этим режимом я пока нигде не пользовался, не буду указывать причину, но она есть
--------------------------------------------------------------------------------------------------------------------------------

3. Еще для ускорения лучше разнести выполнение заданий по времени тем более с участием одного и того же диска F: в качестве архива.

Все задания были запущены одновременно по причине

Скачайте последний билд 3.5.5541 в нем проблема решена………….Предыдущий архив необходимо удалить, что бы он был создан заново.

и к тестированию скорости никакого отношения не имеют.
--------------------------------------------------------------------------------------------------------------------------------

Казалось бы архив из 332 тысяч файлов размером 3 Гб обновлялся 2,5 часа это много.
Конечно, если не принимать во внимание что в это же время были запущена следующие задания и все они сохраняли архив там же на диске F

Если быть до конца честным, то выражение «обновлялся» здесь не уместно – он удалился и записался по новой, а это заметно быстрее обновления.
--------------------------------------------------------------------------------------------------------------------------------
А поскольку Вам все же провести тестирование не позволяет религия или занятость проведу его я (может кому то еще, кроме меня будет интересно):

Задания №1 (папка - 2,98 гига – внутри: 40695 папок и 291753 файлов)
-- Полное (с тестированием) - Запуск / окончание / итого:
----- APBackUp = 14.58 / 15.21 Итого = 23 мин.
----- Acronis True Image Home = 15.23 / 15.46 Итого = 23 мин. Разница 0
(Ничего не понимаю, но время сильно сократилось к всеобщей радости)

Задания №2 (папка - 32,9 гига – внутри: 126 папок и 9105 файлов)
-- Полное (с тестированием) - Запуск / окончание / итого:
----- APBackUp = 15.25 / В 16.11 – через 46 мин. вывалился с ошибкой не дойдя и до половины, а еще + тестирование
----- Acronis True Image Home = 13.00 /14.23/ Итого = 83мин.

При выполнении теста - загрузка проца не превышала 60%. (ЕСТЕСТВЕННО ЗАПУЩЕНЫ С РАВНЫМИ УСТАНОВКАМИ). Если есть сомнение – логи сохранены. Могу отметить – новая версия архивирует заметно быстрее наверно проблему решали.
--------------------------------------------------------------------------------------------------------------------------------

[support]

А какая ошибка была во втором тестовом задании?

[YuriySVik]

А какая ошибка была во втором тестовом задании?

Упс... обнулился лог, но помоему все та же

П.С. Перепроверил - лог обнуляется если все задания не активны :( .
П.С. Нашел Лог в конкурентном архиве:
02.09.2009 16:11:32:[1008][E] Ошибка при выполнении задания возможно некорректные данные о источнике и архиве...[Stream write error (Last processed file: "D:\Поиск\Карты\Трехверстовки\" Next file to process: "D:\Поиск\Карты\Трехверстовки\")]

[support]

В диалоге "Опции" программы устанавливается лимит на разер лога в Кб. При достижении этого размера лог файл переименовывается в APBackup.lbk а лог начинается с пустого файла.

П.С. Перепроверил - лог обнуляется если все задания не активны :( .