Lord_of_Darkness мысли вслух по поводу сравнения файлов:
Сравнивать файлы для проверки идентичности нужно побитно(побайтно ) полюбому, но не все, а только у которых есть определённые одинаковые атрибуты.
Этими атрибутами могут быть: размер, crc (или ещё каким нибудь хешем). Строить внутреннюю таблицу из этих пар (+ имя файла конечно) а потом в одинаковых строках сравнивать уже содержимое. Можно делать два разных хеша - больше вероятность одинаковых файлов при совпадении строк, хотя она и так очень не маленькая.
Минусы данного подхода:
1. Построение таблицы (память может кушаться сильно, хотя в 20мб может такая табица уместиться, что... ого-го-го, а 20 мб для проги сейчас уже не очень много).
2. Минимум один раз все файлы для архивации всётаки придёться прочитать

PS: на твою лс не ходил, прочитал, из обсуждения понял что может быть не лишним и высказаться

Добавлено спустя 9 минут, 21 секунду:
можно конечно оптимизировать чтобы не все файлы читать (читать получать хеши и сравнивать только файлы с одинаковыми размерами)

Lord_of_Darkness

Ты наверное слова Новая папка писал в кодировке win1251?
Дело в том, что консольные команды, каковой является команда MKDIR, используют кодовую страницу 866 (досовскую), а программу ты наверника не в ДОСе писал .
Воспользуйся функциями API, а не консольной командой.

sKiPh А вообщето у нас unicode. Или это не NT? - тогда сорри

И снова выходные - и снова новая версия
На этот раз вроде-бы без глюков
Проблемы с кодировкой исправил.

PreArh 0.4b:
http://cp.people.overclockers.ru/cgi-bi ... _v0.4b.rar

Lord_of_Darkness посмотрел прогу.
А как ей пользоваться? Она создаёт файл RestoreFiles.bat и больше ничего не делает, может что не так? Она не удаляет (это есть гуд) и вроде как не делает (не видно) списка файлов которые нужно заархивировать, батничек для восстановления как уже сказал создаёт.

DenisMak

Похоже надо писать подробный Readme ...
и добавить создание списка файлов для архивации.

Добавлено спустя 3 минуты, 10 секунд:
PS Я был-бы совсем не против если-бы кто-нибудь еще высказался по поводу дальнейшего развития сабжа

Смотрю, на сабжевую тему уже целая статья готова (случайно набрел)
http://my-code.newmail.ru/art1predarh.dhtml

А зачем зацикливаться на атрибутах. Проще список составить, как я тут несколько раз уже предлагал. Для большинства пользователей словосочетание "атрибут 'архивный'" мягко говоря будет не очень понятно

Скорее, вреден не для размера, а для времени, затраченного на архивирование.

Как я и говорил, так и получилось

Но увы судя по графику выгода в твоей фишке реальна но не идеальна, поздравляю, это можно сказать успех.
Замерь кстати скорость во всех случаях (т.е повтори опыт с точностью как и было) но составь ещё и график скорости.

в наихудшем варианте - теряем (не-)много времени. Размер увеличивается из-за предархиватора незначительно. Меня больше волновала бы совместимость с Линухом, скажем, где коммандный процессор другой и имеет другие команды... скажем, унрар для рара там есть точно а вот command.com или cmd.exe нету эмулятор не предлагать (это неинтересно и в данном случае не очень практично)!

Тему воскресили из мертвых! Это хорошо
xKVtor она у меня на ПС уже не первый месяц валяется, да и на сайте тоже

Эт можно, вот только у меня проблем, компонент, который я для проги юзал остался на DVD, а у меня DVD-ROM'а нету
Так что пока никак доработку продолжить не могу
А кстати в каком формате список для архивирования должен быть? (в смысле тип и структура файла)

Если не секрет как?
Root

Гм, под линух не кодил есче. Просто не знаю как можно при восстановлении файлов без bat-ника обойтись

Добавлено спустя 1 час, 31 минуту, 49 секунд:
Статья update + тест на скорость!

Lord_of_Darkness

надо уточнить умеет ли рар паковать симлинки и хардлинки. Благо под виндой они тоже есть. Как вариант, писать батник под вин и sh-скрипт (или перловый) под никс. Благо еще и перл вод вынь есть правда, далеко не везде

Root
Мдя, загрузил по полной

Добавлено спустя 1 минуту, 52 секунды:
Может я и смогу чего такое сделать, но без посторонней помощи (читай советов и буков) вряд ли чего получится.

зачем все усложнять? tar+bz2

Кажется, там простой текстовый файл, в каждой строке которого перечислены полное название файла (с указанием пути). Вот только не помню, сохраняется ли структура папок при архивировании...
Гугль, вроде
И не надо. Пускай со своими линуксами его пользователи сами разбираются Или привлекают авторов архиваторов.
Тут бы с виндовым полностью разобраться.
Спорный абзац, который мы с Root'ом процитировали, остался без изменений. Даже в самом худшем случае (отсутствие одинаковых файлов) размер архива при использовании предархиватора никогда не будет больше.
Такие результаты сильно зависят от выборки
Вот если бы несколько выборок потестить...

Добавлено спустя 8 часов, 58 минут, 34 секунды:
WinRAR.hlp

И еще одна любопытная команда, точнее ключ:
Подозреваю, что этот ключ окажется даже более полезным, ведь проще указать полное имя каждого исключаемого файла-дублера.


Добавлено спустя 11 минут, 56 секунд:
7-zip.chm:


Добавлено спустя 15 минут, 3 секунды:
PkZip, PkZip25:

PKZIP [command] [options] zipfile [@list] [files...]

advanced options:
-x@list -- eXclude file(s) in specified list file

Добавлено спустя 37 минут, 11 секунд:
Поглядел настройки FAR'а, точнее: Options > PlugIn Configuration > Archive Support > Command Lines ...
Можно сделать предварительные выводы о том, какие из архиваторов поддерживают архивирование по спискам (см.ниже).
Наверняка большинство из них умеют работать и со списками исключенныхых из архивирования файлов (-x@list.txt), что гораздо полезнее.

Также со списками полных имен файлов работают следующие архиваторы:

ACE32
ARJ32
AIN
JAR32
MSCAB
IMP

Также со списками коротких имен файлов работают следующие архиваторы:

LZH
UC2

xKVtor

Профиксим

Сделаем.

С архиваторами буду разбираться, спасибо за инфу.

Новая версия предархиватора, теперь создает 2 файла - первый с хардлинками на файлы, которые нужно включить в архив, второй с хардлинками на исключенные файлы.
ЗЫ статью подправил

Lord_of_Darkness

Скачал, потестировал немного. Впечатления:

• зачем так много опций для в разделе "При сравнении учитывать" ? Сравнивать нужно лишь файлы одинакового размера, причем исключительно побайтно! Все остальные опции совершенно не нужны, и даже вредны.
  
• такое подозрение, что прога неправильно производит сравнение.
  Оставлял все галки (по-умолчанию). В итоге программа нашла лишь один файл-дубликат, тогда как на самом деле их там гораздо больше!
  Оставлял всего лишь две галки напротив "размер" и "побайтное сравнение". В итоге многие (а может и все) файлы одинакового размера предархиватор посчитал за дубликаты.
  Дальше экспериментировать с этой версией не вижу смысла -- буду ждать новую.
  
• не мешало бы описание добавить в архив, или хотя бы ссылку в ReadMe на эту ветку поместить. А то непосявященному человеку совершенно неясно, как и для каких целей пользоваться предархиватором. Почему бы сразу не создавать батник для архивирования (хотя бы для винрара) ? Это вроде несложно сделать...
  
• неплохо было бы такие списки составлять так, чтобы можно было их сортировать в программе по разным полям при просмотре результатов анализа.
  
• можно как-нибудь оптимизировать создание директорий в RestoreFiles.bat ? чтобы не создавать каждый раз одну и ту же директорию для нескольких файлов

ЗЫ: Тестирование проводил с двумя дистрибутивами WinXP: Pro SP1 и hE SP1.

xKVtor

Мало-ли кому, что учитывать нужно при сравнении...

Там и идет сравнение только файлов одинакового размера. Т.е. сравнивается по другим параметрам, только если размер одинаков.

Посмотрю, но, думаю, врядли.
ok
Если ты про таблицу найденных файлов, то такая мысль у меня есть давно, времени нет

Ну не знаю, может и можно, надо тогда проверку делать, были ли файлы из этой директории уже занесены в bat-ник

В общем грядет новая версия, но когда она будет сам еще не знаю, т.к. работа и сессия

Lord_of_Darkness Чтобы учитывать, нужно знать, как это работает. Мне, например, не совсем ясно, как учитываются "имя" и "CRC". Можно узнать подробный алгоритм ?
Так оно и есть на самом деле.

Если запустить прогу, выбрать каталог, кликнуть "Анализ", затем кликнуть "Сжатие", то все нормально работает, претензий нет.

Но если затем убрать галки с пунктов "Имя" и "Контрольную сумму" (+ "Анализ" + "Сжатие"), то программа работает некорректно и возникает описанный мною ранее глюк.

Так что эти навороты с галочками выбора лучше убрать с глаз подальше

Кстати еще один глючек замечен: иногда пропадает первый символ в полном пути файла. Например, вместо "WinXPhe.sp1\..." в батник заносится "inXPhe.sp1\...". Судя по всему, проявляется этот глюк тогда, когда вводится имя директории для поиска, заканчивающееся слэшем. Например: "E:\TestPredarch\" вместо "E:\TestPredarch"

проще выделить создание директорий в один батник, а копирование файлов -- в другой. Затем первый отсортировать по возрастанию, убрать повторяющиеся строки (это несложно сделать) и прилепить (append) к нему второй батник (тот, что для копирования).

Добавлено спустя 3 минуты, 36 секунд:
UnIncludedFiles = ExcludedFiles -- так покороче будет

Добавлено спустя 6 часов, 54 минуты:
ЗЫ: через нескольких часов после отправки сообщения заметил, что из него исчезли ВСЕ обратные слэши "\"
Что за бред ? Похоже, это глюк конфы...

xKVtor

Имя файла№1 = имя файла№2 то считается CRC для обоих и сравнивается.
Можно сравнивать только по CRC, но это будет гораздо дольше, т.е. сравнением по имени отсеивается приличное число файлов, и подсчетов CRC нужно делать меньше.

Дизайн испортится
это временно
Бывает такая фигня довольно часто