Часовой пояс: UTC + 3 часа




Начать новую тему Новая тема / Ответить на тему Ответить  Сообщений: 42 • Страница 2 из 3<  1  2  3  >
  Пред. тема | След. тема 
В случае проблем с отображением форума, отключите блокировщик рекламы
Автор Сообщение
 

Member
Статус: Не в сети
Регистрация: 11.11.2010
Откуда: Новосибирск
Capushon писал(а):
зачем на них постоянно производить лишние операции чтения/записи?
Когда сжатый файл читается - операций чтения нужно меньше, чем при чтении несжатого файла. Когда данные пишутся в сжатый файл - операций записи нужно меньше, чем если этот файл не сжат.
Но это всё верно лишь в том случае, если файл вообще получилось сжать. Сжать .mp3, .jpg, .avi, .mkv не больно-то получается даже самым современным архиватором в режиме максимального сжатия - ибо эти файлики уже сжаты; самым варварским методом кстати - с потерей части информации.
Varg писал(а):
Сэндфорсы в свое время набирали скорость именно за счет сжатия.
Про "скорость за счёт сжатия" пытались болтать ещё в прошлом веке - когда появилась такая программка, как Stacker. Потом были Double Space и Drive Space - про них забыли, как про страшный сон. SandForce тоже, по факту, скончался. Так что столбовая дорога прогресса идёт мимо сжатия на лету... 8-)

BTW: О том, что это "сжатие на лету" - тупик по факту, я говорил инженеру Intel уже в далёком ныне 2015 - когда Intel только что прикупила у Avago остатки LSI вместе с купленным LSI в 2011 году SandForce. Тогда он не очень поверил, но где сейчас SSD на SandForce?.. :oops:

_________________
С уважением,
Олег Р. Смирнов



Партнер
 

Member
Статус: Не в сети
Регистрация: 16.02.2019
Фото: 100
O Smirnoff писал(а):
Когда сжатый файл читается - операций чтения нужно меньше, чем при чтении несжатого файла.
Есть ещё антивирусы, которые рандомно проверяют всё что не попадя (по умолчанию), а тут сжатие - двойной расход памяти и cpu.


 

Community Manager
Статус: Не в сети
Регистрация: 30.12.2004
Откуда: Москва
O Smirnoff писал(а):
Тогда он не очень поверил, но где сейчас SSD на SandForce?

Так Сэндфорс убили проблемы с качеством. Ну и собственно нативная скорость заполнила застрявший в 20 веке интерфейс SATA, из-за чего сжимать в контроллере не просто бессмысленно, а контрпродуктивно, надо на процессоре. А с IOPS на мелких блоках оно никак не помогает.

O Smirnoff писал(а):
Но это всё верно лишь в том случае, если файл вообще получилось сжать. Сжать .mp3, .jpg, .avi, .mkv не больно-то получается даже самым современным архиватором в режиме максимального сжатия - ибо эти файлики уже сжаты
И в отличие от архиватора, когда NTFS не удается существенно сжать блок данных, она его вообще не сжимает, а хранит как есть.

O Smirnoff писал(а):
Так что столбовая дорога прогресса идёт мимо сжатия на лету...

С точностью до наоборот: оно стало настолько неизбежным, что его производят еще уровнем выше, прямо на этапе формирования файла. БД жмут данные, фоторедакторы жмут картинки, даже ворд жмет текстики. Сжатие уровня файловой системы - это ловля последних выпавших, где у разработчиков не дошли руки сделать сжатие. Библиотеки, недокачанные файлы, неоптимизированные игры, примитивные редакторы.



Capushon писал(а):
антивирусы ... а тут сжатие - двойной расход памяти и cpu.

Еще раз для не страдающих знанием IT: по затратам ЦП это сжатие проще шифрования, а памяти - вообще несущественно.

NTFS сжатие работает на блоках не более 64 килобайт. Если у вас гигабайт нулей, то сжиматься будут каждые 65 тысяч отдельно.
При чтении файла в память в любом случае загружается запрошенный кусок. NTFS-сжатие (это именно алгоритм, хотя и основанный на lz) повышает ваше потребление памяти примерно на 200 килобайт на время чтения.

Применяемый алгоритм был разработан в 1995 году и с тех пор не менялся.
Средний компьютер в 1995 имел одноядерный процессор частотой 66 МГц, с архитектурой примерно соответствующей Атому, и 4 или 8 МБ памяти. Сегодня процессоры примерно в 1200 раз быстрее, памяти примерно в 4000 раз больше, диски в 100 раз быстрее.

Антивирус сегодня потребляет 100,000 кБ памяти и более. Если вам критичны 200 кБ, сносите антивирус.

Вы опираетесь на догадки и чувства, а я профессионально делаю высоконагруженные системы с точным расчетом нагрузки и SLA.
Впрочем, если вам приятнее думать, что вы "выжали все на макс" за счет того, что ничегошеньки у вас не сжато - на здоровье, не сжимайте. Средняя прибавка производительности от сжатия все равно около 10%, особо не заметите. Тепловое ламповое ощущение дороже.

Но среди оперирующих цифрами, особенно для SSD, где за прибавку последних десяти процентов к скорости диск будет стоить на двадцать дороже, а еще и учитывая влияние запаса пространства на скорость, даже этот небольшой бонус вполне стоит того, чтобы один раз за срок жизни диска нажать пять кнопок.

_________________
Рептилоидной Рассой готовили для
Захвата напрасно планету Земля


 

Member
Статус: Не в сети
Регистрация: 11.11.2010
Откуда: Новосибирск
Capushon писал(а):
а тут сжатие - двойной расход памяти и cpu.
Положим, не двойной... но - есть. И, в случае современных SSD, - дополнительные задержки из-за распаковки/упаковки уже вполне могут заметно влиять.
Varg писал(а):
в отличие от архиватора, когда NTFS не удается существенно сжать блок данных, она его вообще не сжимает, а хранит как есть.
Но при этом всё равно тратится время на попытку сжатия - а это не есть хорошо.
Varg писал(а):
Сжатие уровня файловой системы - это ловля последних выпавших
Нет, это просто отрыжка старческих маразмов... ;)
Если приложение само сжимает свои данные - так там разработчикам хоть понятно: что, зачем и как стОит сжимать. А вот когда винда пытается сжать всё, что ей на глаза попалось... недаром все эти "спэйсы" забыли, недаром SandForce почил в бозе, не зря сжатием NTFS почти никто не пользуется.
Как говорил Винни Пух: "это ж-ж-ж-ж - неспроста!" 8-)
Varg писал(а):
Сэндфорс убили проблемы с качеством.
Именно. Причём качество задумки было настолько низким, что ни LSI, ни Intel ничего так и не смогли с этим "качеством" поделать... :-)
Varg писал(а):
Еще раз для не страдающих знанием IT: по затратам ЦП это сжатие проще шифрования
Ещё раз для страдающих излишним самомнением по поводу своих знаний IT: предотвращение атак по недавно открытым уязвимостям CPU вообще никаких "затрат CPU" не требует - а вот работу SSD (особенно - по NVMe) тормозит. К чему бы это?.. :oops:

_________________
С уважением,
Олег Р. Смирнов


 

Member
Статус: Не в сети
Регистрация: 16.02.2019
Фото: 100
Varg писал(а):
Средний компьютер в 1995 имел одноядерный процессор частотой 66 МГц, с архитектурой примерно соответствующей Атому
Зачем вы мне это рассказываете, первый мой собранный ПК был: 386 DX-40...


 

Community Manager
Статус: Не в сети
Регистрация: 30.12.2004
Откуда: Москва
O Smirnoff писал(а):
Но при этом всё равно тратится время на попытку сжатия - а это не есть хорошо.

Пользователю-то от этого что? Тратятся циклы в одном из ядер.

Вы боитесь замедлить машину, выкручивая светодиоды с приборной панели, только забыли перевести мощность под капотом в киловатты.

Хинт: Вот если к Атому первого поколения в "зеленом" режиме подцепили рейд из 970 Pro... который он впрочем все равно не поддерживает.


O Smirnoff писал(а):
Как говорил Винни Пух: "это ж-ж-ж-ж - неспроста!" 8-)

Да на здоровье, оперируйте поговорками, а я оперирую цифрами.

Время загрузки программ с SSD сокращается в среднем на 5-10% процентов при включении сжатия.
Загрузки ОС почти не сокращается: Windows 10 и так по умолчанию сжата (хоть и не вся - и в основном по недосмотру, т.к. не сжат как раз одноразовый мусор).
Для меня эти 10% имеют значение, но если вам важнее заветы Винни Пуха - то следуйте им, душевный комфорт гораздо важнее и гораздо дороже.


O Smirnoff писал(а):
Если приложение само сжимает свои данные - так там разработчикам хоть понятно: что, зачем и как стОит сжимать.

Нет. В случае Офиса это банальный zip-контейнер. Для всего, независимо от того, чем его на самом деле стоит сжимать.
И в случае винды это тоже не индивидуальный подбор алгоритма под файлы, а такое же массовое сжатие всех файлов, только алгоритмом позатратнее.

_________________
Рептилоидной Рассой готовили для
Захвата напрасно планету Земля


 

Member
Статус: Не в сети
Регистрация: 11.11.2010
Откуда: Новосибирск
Varg писал(а):
Пользователю-то от этого что? Компьютер в итоге быстрее работает.
В том случае, если целевой файл сжать не получается - компьютер как раз работает медленнее - ибо тратит некоторое время на осознание того факта, что файл сжать ну никак не получается... ;)
Varg писал(а):
В случае Офиса это банальный zip-контейнер. Для всего
Varg писал(а):
в случае винды это тоже не индивидуальный подбор алгоритма под файлы, а такое же массовое сжатие всех файлов
Я лишь одного не понял: гыде тут
Varg писал(а):
профессионально делаю высоконагруженные системы с точным расчетом нагрузки
Что за "высоконагруженные" системы, где играет роль сжатие документов M$ Office и скорость запуска приложений?.. :oops: "Высоконагрузка" заключается в скорости запуска приложений, так что-ли? Или в скорости загрузки .doc/.xls? Я-то полагал, что высоконагруженные серверы работают несколько с иными делами. Да и сервисы в них запускаются сразу при загрузке (а перезагрузка - она даже не каждую неделю).
Если бы ты говорил про сжатие баз данных M$ SQL Server - я бы ещё понял.
P.S. Но ты ведь не предлагаешь массивы с базами M$ SQL Server подвергать ещё и сжатию средствами NTFS, нет? ;)

_________________
С уважением,
Олег Р. Смирнов


 

Community Manager
Статус: Не в сети
Регистрация: 30.12.2004
Откуда: Москва
O Smirnoff писал(а):
В том случае, если целевой файл сжать не получается - компьютер как раз работает медленнее
Он работает одинаково.
Надо объяснять почему?

O Smirnoff писал(а):
Что за "высоконагруженные" системы, где играет роль сжатие документов M$ Office и скорость запуска приложений?..

Это играет роль дома и на ноутах.

Хайлоад на работе (см раздел вакансий, если интересно). И там сжатие используется гораздо активнее и разнообразнее. Но над ним надо думать, считать и проверять, и самое простенькое нагрузочное тестирование стоит как пара хороших игровых машин. Дома тратить время на оптимизацию могут позволить себе только наименее занятые.

А вот нажать пять кнопок и получить +5% к скорости и +15% к свободному месту - почти все.

_________________
Рептилоидной Рассой готовили для
Захвата напрасно планету Земля


 

Junior
Статус: Не в сети
Регистрация: 04.11.2014
судя по вашим статьям, один из вас нагло врёт, а другой все знает, но неизвестно кто именно. Я всегда думал, что это сжатие как с архивом. Чтобы прочесть, нужно сначала извлечь. Как и сандфорс, где строго рекомендуется 20-30% оставлять.

_________________
к5 2600,1070 turbo,8x2crucial,crucial mx200,corsair cx750


 

Community Manager
Статус: Не в сети
Регистрация: 30.12.2004
Откуда: Москва
Hypuk
Во-1х, никто не врет, просто детали работы ОС мало кто изучает, и в итоге в инете плавает куча домыслов.

Извлечение из NTFS-сжатых файлов происходит на лету, в момент обращения. То же самое для других методов сжатия уровня ОС, например express.

Пример результатов конечного юзера: https://www.tenforums.com/general-suppo ... post438284

Есть два типа данных, где NTFS-сжатие применять не следует: виртуальные машины (недопустимо) и высоконагруженные базы данных (нежелательно). Второе уже не домашняя нагрузка. Первое просто надо запомнить.

_________________
Рептилоидной Рассой готовили для
Захвата напрасно планету Земля


 

Member
Статус: Не в сети
Регистрация: 11.11.2010
Откуда: Новосибирск
Hypuk писал(а):
но неизвестно кто именно
Это же так просто: сначала проверь показатели быстродействия, потом включи сжатие средствами NTFS и снова проверь быстродействие.
Только имей в виду - убрать сжатие может быть немножко муторно, Ага...

_________________
С уважением,
Олег Р. Смирнов


 

Member
Статус: Не в сети
Регистрация: 16.02.2019
Фото: 100
O Smirnoff писал(а):
убрать сжатие может быть немножко муторно
Мягко сказано :D


 

Member
Статус: Не в сети
Регистрация: 11.11.2010
Откуда: Новосибирск
Capushon писал(а):
Мягко сказано
Ну... зато же можно поиметь аж цельных
Varg писал(а):
+5% к скорости и +15% к свободному месту

Насчёт свободного места... положим, 15% для кого-то может быть и важно; насчёт 5% скорости - хотелось бы боле/мене внятных подтверждений (а то я и сам могу наврать с три короба про "скорости" - да только кто поверит-то мне "на слово"? ;) ).

_________________
С уважением,
Олег Р. Смирнов


 

Member
Статус: Не в сети
Регистрация: 18.12.2016
Откуда: Московская обл.
Фото: 0
Camran писал(а):
Советовать пожать папку Program Files всем кому ни попадя я бы тоже не стал

Да, системный диск средствами винды сжимать нельзя но есть прога которая может сжимать диск С и не только и при этом освобождает место на диске это Win 10 Tweaker. Прежде чем сжимать, надо на всякий случай сделать резервную копию Windows если что то пойдёт не так.


Вложения:
2.PNG
2.PNG [ 334.44 КБ | Просмотров: 2255 ]
1.PNG
1.PNG [ 295.89 КБ | Просмотров: 2255 ]
 

Community Manager
Статус: Не в сети
Регистрация: 30.12.2004
Откуда: Москва
O Smirnoff
По ссылке результаты тестов офиса.

Самому повторять лень, мне нет профита от убеждения кого-то в чем-то, особенно когда для многих это похоже на вопрос религии.

Для себя я тестировал загрузку тяжелых игрушек и получил небольшой +к скорости. Для меня он актуален, т.к. иногда нужно выйти (или, редко, вылетает) и быстро вернуться в онлайн. Только SSD, с хардами не игрался.


Kolizeum писал(а):
Да, системный диск средствами винды сжимать нельзя но есть прога которая может сжимать диск С и не только и при этом освобождает место на диске это Win 10 Tweaker.

Как раз средствами винды надежнее сторонних программ, не требует резервных копий, и по крайней мере точно не снижает производительность. Нельзя сжимать только загрузчик.

Сама винда наиболее правильно сжимается с помощью compact /compactOS:always. При этом используется достаточно оптимальное сжатие. А вот для остального - либо руками гонять compact, либо NTFS. Последнее просто самый простой в реализации и гарантированно безвредный вариант, кроме указанных выше случаев (БД и виртуалки). С остальными можно потерять в скорости, если жать не то и не так. Плюс сжатие средствами оси как раз легко отключается, если вдруг потребовалось.

Сторонние программы могут сжимать лучше, но не факт, что сохранят/повысят производительность. Надо каждый раз смотреть. Если только утилита не является оберткой для системной функции.

_________________
Рептилоидной Рассой готовили для
Захвата напрасно планету Земля


 

Member
Статус: Не в сети
Регистрация: 11.11.2010
Откуда: Новосибирск
Varg писал(а):
По ссылке результаты тестов офиса.
А чуть ниже, при тестировании загрузки Mozilla FireFox - уже совсем-совсем иные результаты.
К чему бы это?.. 8-)

_________________
С уважением,
Олег Р. Смирнов


 

Community Manager
Статус: Не в сети
Регистрация: 30.12.2004
Откуда: Москва
O Smirnoff
К тому, что и офис, и фаерфокс грузятся быстрее со сжатием.

Разница только в относительной скорости разных алгоритмов - но никто иного и не обещал, не? Было бы наоборот очень странно видеть везде одни результаты.
А результат простой: с NTFS-сжатием загрузка программ быстрее. Xpress тоже быстрее. Тяжелые методы вроде LZX уже зависят от того, что сжимаем.

Поэтому:
* Если важно сэкономить место - LZX и еще более тяжелые методы.
* Если нужна максимальная производительность - либо NTFS, либо Xpress, в зависимости от приложения.
* Если мерять некогда, но интересует оптимальный баланс производительности и сжатия - Xpress8k.
* Если некогда и в приоритете производительность - NTFS.

Ну и два исключения:
* Диски виртуалок сжимаем внутри гостевой ОС, - образ хостом не сжимаем.
* Нагруженные на запись БД - средствами ОС не сжимаем.
Для холодного хранения в обоих случаях допустимо внешнее сжатие.

_________________
Рептилоидной Рассой готовили для
Захвата напрасно планету Земля


 

Member
Статус: Не в сети
Регистрация: 11.11.2010
Откуда: Новосибирск
Varg писал(а):
и фаерфокс грузятся быстрее со сжатием.
Угу. Только для FireFox там что-то в районе долей процента накапало.
А ведь есть и ещё много других программ...

_________________
С уважением,
Олег Р. Смирнов


 

Community Manager
Статус: Не в сети
Регистрация: 30.12.2004
Откуда: Москва
O Smirnoff
Слушай, ну у тебя религия.

Во-1х, не умеешь считать. Не "долей процента", а до целых 10% - я-то консервативно обещал всего 5. А чего ты хочешь, в сто раз ускорения? Это, напомню, нахаляву, даже с экономией места впридачу? Не в сказке.

Во-2х - это уже не для тебя, а для тех, у кого не религия - да, есть много других программ, и они все работают либо так же, либо быстрее. Потому что то, что прилично не жмется, NTFS и не сжимает, а то, что жмется - сжимает и сокращает нагрузку на самое узкое место современного ПК, дисковую подсистему. При этом алгоритм там настолько простой, что распаковка жрет меньше ресурсов процессора, чем шифрование, т.е. для системы прозрачна.

_________________
Рептилоидной Рассой готовили для
Захвата напрасно планету Земля


 

Junior
Статус: Не в сети
Регистрация: 04.11.2014
http://www.ithabits.ru/152588-ntfs-szha ... aylov.html Судя по статье, все зависит от диска. Как ускорение сомнительно, где-то получишь, а везде потеряешь.

_________________
к5 2600,1070 turbo,8x2crucial,crucial mx200,corsair cx750


Показать сообщения за:  Поле сортировки  
Начать новую тему Новая тема / Ответить на тему Ответить  Сообщений: 42 • Страница 2 из 3<  1  2  3  >
-

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 21


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Перейти:  

Лаборатория














Новости

Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB | Kolobok smiles © Aiwan