airserega маркетинг.

airserega,
Преобразование - это числодробилка. Там видюхи сильны.
Архивация - это табличная обработка большого кол-ва памяти. Как ни крути, а лучше лазить в память напрямую, чем прокачивать кучу данных через PCIE.

поясни, почему лучше
кажется, видеокарта отлично параллельно обработает данные в своем гигабайте памяти, так что узким местом будет запись на диск, а вовсе не общая шина

Вычисления на видеокартах не зря называются параллельными. Все, что можно легко разбить на сотни параллельных потоков, имеет смысл считать на GPU. Архивация не настолько просто параллелится, чтобы получить какой-то прирост. Тот же winrar пока умеет работать максимум с 16 потоками.

тупо режь файл на нужное число фрагметров -- вот тебе и параллельность, особенно на больших файлах
и применяй на каждый фрагмент по 16 потоков

И зачем такие извращения?

Если разрезать файл на сотни кусочков и архивировать каждый из них самостоятельно, склеив результат в один файл, процент сжатия будет намного ниже.

H(CHCl11B11) а если не на сотни, а на десятки?
на 2-3 %?

H(CHCl11B11) словарь нужно взять из всего файла, а сжимать- кусками.

5o-clock Silent forest сначала почитайте теорию графов, напишите хоть одну простую сжималку, а потом и поговорим. Сейчас везде используются ppm алгоритмы, которые не хранят словарь отдельным блоком, а вычисляют его по предыдущим данным.

H(CHCl11B11) разрешаю переходить сразу к разговору; теорию графов ты вряд ли лучше меня знаешь

И, к слову, у меня сложилась пара впечатлений
Что ты сам знаешь предмет на моем же уровне банальной эрудиции
И что ты уходишь от ответа на вопросы
первый. почему принципиально невозможно вульгарно нарезать большие файлы для распараллеливания
второй. на сколько %% такой алгоритм будет проигрывать в степени сжатия, и во сколько раз выигрывать в скорости

5o-clock Я бы с удовольствием проверил ваши знания, если бы мне это было интересно. В большинстве случаев, при условии что максимальный размер словаря больше размера файла, в качестве словаря выступает сама последовательность данных. Это значит, что разбивая эту последовательность, на n кусков, мы уменьшаем и размер самого словаря в n раз. Следовательно, можно провести эксперимент, который покажет насколько уменьшится сжатие при разрезании файла например на 128 кусков (достаточно для параллельной обработки на gtx 260). Сожмите один и тот же большой файл с однородным типом данных с максимальным размером словаря 1024мб и 8мб. Повторяйте сравнение с каждым найденным файлом и получите ответ на первую половину своего второго вопроса.
Очевидно что разница в степени сжатия будет отличаться от незначительной до значительной в зависимости от конкретного файла. Насколько будет выигрывать в скорости, рассчитать сложно. Определяется также методом научного тыка.
Все возможно, только будет ли вообще смысл сжимать файл. Если так важна скорость, а размер не особо важен, почему бы не оставить файл без сжатия, как есть. Другое дело если разрезать поток данных на части по признаку однородности типа данных. В этом случае наоборот будет возможно увеличить степень сжатия за счет использования в каждой части архива актуального для данного типа данных (извините за тавтологию) словаря. Зато для этого потребуется тратить вычисления на довольно сложную систему искусственного интеллекта, которая и будет интеллектуально нарезать файлы, что возможно съест часть выигрыша от параллельного кодирования.

Оппаньки! Тут, кажется, целая дискуссия пошла про архивирование.
Обращаю внимание спорящих господ на другой факт: обработка данных по словарю не является сильной стороной видеокарт. Насколько можно судить по описанию CUDA, видеокарте желательно подавать вычисления с плавающей точкой и без перехов. Если мне не изменяет память, то там и циклы не сразу появились. Так что извратиться и написать архиватор под CUDA - уже нетривиальная задача. Даже если не думать о производительности.

Herod, верно, видеокарты проектируются под вычисления с плавающей запятой. Однако я не вижу объяснений, почему полтысячи потоковых процессоров вики не могут быть использованы под расчеты без плавающей запятой

почему, собственно?

H(CHCl11B11) неверно
мы о каких файлах говорим, что только размер словаря -- целый гигабайт?
установлено, что степень сжатия файлов 4-5 гигабайт равна таковой же для файлов 0,6-1 гигабайт. В пределах погрешности измерений

смело проверяй
Начнем с вопроса, как теория графов соотносится с возможностью использовать видеокарты для архиваторов
Мой ответ -- никак, а теорию ты упомянул для пущей важности, что меня огорчает, и от тебя (интересы: ) хотелось бы увидеть более развернутый ответ

И где же куратор шляется?.. Забанить всех оффтоперов нафег!

// У куратора времени нет за веткой следить . И правами банить он не обладает. Сорри за правку вашего поста, просто дальше флудить нехочу отдельным постом.

Один из гениальных ответов:

http://otvet.mail.ru/question/46696409/


Хоть с объемом памяти не ошибся..
http://otvet.mail.ru/question/46694648/

Вот:

[18:18:25] <BlackKoshak> на 1 кабель утпшный включили 2х абонентов! вместо 4х пар каждому дали по 2 )
[18:19:17] <BlackKoshak> после этого свой кабель я от свитча регулярно проверяю 8-\
[18:19:58] <KirillM> BlackKoshak: 2х пар вполне достаточно для 100 мбитной сети - а у тлт больше физически оборудования не хватит мощьности
[18:20:49] <KirillM> так что лучше бабла за то что кабель не использовали лишний себе в карман положить
[18:21:13] <BlackKoshak> KirillM: 2 пары дают полудуплекс
[18:21:24] <BlackKoshak> но не полноценную сеть
[18:22:26] <KirillM> BlackKoshak: а сели у них всего 4 разема в свиче 100 мегабитном?
[18:22:48] <BlackKoshak> KirillM: гнезда в смысле?
[18:22:51] <KirillM> в чем смысл 4 провода медных оставлять висеть без дела
[18:22:54] <KirillM> BlackKoshak: да
[18:22:56] <BlackKoshak> или контакта на гнездо?
[18:23:15] <BlackKoshak> нет. их 8
[18:23:18] <KirillM> ну всмысле 4 контакта в гнзде
[18:23:34] <BlackKoshak> у меня материнка с детектом обрывов сети. показывает все 4 пары норм
[18:23:37] <KirillM> я тлт сеть сразу перевел у себя на сетевуху 100 мбитную у которой 4 контакта всего
[18:24:09] <BlackKoshak> когда рвалась 1 пара - она показывала дистанцию ровно до свитча "обрыв"
[18:24:28] <BlackKoshak> поэтому проверено. хотя может в разных домах по-разному
[18:24:34] <KirillM> BlackKoshak: от компа до розетки у квартиры может быить и 4 пары идти, а вот у свича всего 4х контактные гнезда
[18:24:45] <BlackKoshak> у меня ж дом с бабаковской родней  тут всё по фен шую
[18:25:18] <KirillM> на гигабитные свичи бабаков удушится если в каждый дом поставит
[18:25:29] <BlackKoshak> KirillM: если у свитча 2 пары, то каким макаром сигнал на все 4 пары в компе придет? материнка говорит что все 4 пары в норме
[18:26:05] <KirillM> BlackKoshak: ты сам сказал что у тебя 2х пользователей от свича одним проводом подключили - значит по 4 провода
[18:26:17] <BlackKoshak> ну хз как их включили
[18:26:30] <BlackKoshak> у меня все 8 подключены проводов
[18:27:03] <KirillM> а на сколько ты веришь своей материнке то? сходи и проверь =)
[18:27:03] <BlackKoshak> по 2м парам реально полудуплекс было включить, просто настройки сетевой переключить и всё
[18:27:29] <BlackKoshak> дак проверял материнку. когда сам несколько пар перебил то она четко показала какие 
[18:27:44] <BlackKoshak> так чтоесли бы со свитча они не шли - она б постоянно писала о них
[18:27:53] <KirillM> ну ХЗ
[18:28:02] <BlackKoshak> но схожу при случае проверить )
[18:28:06] <KirillM> но сеть 100 мбит и для такой сети 4 пар с крышей хватает
[18:28:22] <KirillM> *4 котактов

AlexKat
У меня плавится моск читать такое...