TIFF vs JPEG

Есть мнение, что сканы друг другу для распознавания лучше всего передавать в формате tiff.
Это мнение восходит корнями к теории форматов. TIFF лучше по определению, т.к. "несжатый".
Но весь наш опыт практической работы подсказывает нам, что разница между слегка ужатым jpeg-ом и tiff-ом на практике не ощущается.
Поднять этот вопрос в отдельной теме было предложено г-ну Zadd-у, после того, как он начал разводить оффтоп в теме http://lib.rus.ec/node/261196 , где он хвастался, что заставляет сканировщиков присылать ему гиговые архивы, потому что его опыт говорит о том, что tiff лучше. Собственно этот апломб и стал причиной моего спора с уважаемым. Не любим мы анархистоподобных задавак.
На предложение доказать на реальных примерах, что tiff лучше для наших целей, реакция не последовала. Вернее нам начали цитировать мультики и википедию.
Последний аргумент г-на заключался в том, что по его опыту разница в распознавании имеется. И видимо существенная.

Есть ли у кого-нибудь мысли по этому поводу?

Комментарии

Повторюсь.
Из всех мною распознанных сканов (в различных форматах) наилучшие - от Ronja_Rovardotter и niksi - были в JPEG, в оттенках серого, с разрешением 300dpi.
Из опыта работы с ФР от 8-й до 10-й версии.

Все другие распознавались заметно хуже.

Zadd, товарищ ты наш по "несчастью". Ну не ругайся ты с коллективом! Не уподобляйся Анархисту! Ты же не такой.
По теме: По моему скромному опыту JPEG прекрасно распознаётся. TIFF мне лично не удобен.

JPEG, в оттенках серого, с разрешением 300dpi.... Однозначно...
В большинстве случаев, более чем приемлемое качество и в разы меньшие размеры архива, при передаче на вычитку/распознавание...

Всегда есть точка необходимого и достаточного качества. В сканах niksi и Ronja_Rovardotter - в тех, что я видела - это 300 dpi и jpg. Один раз такой скан плохо разпознался, но там виновата была кривая полиграфия. Если увеличить разрешение такого скана до 400 - то прекрасно все распознается все в том же jpg.
А вот при передаче друг другу таких сканов - jpg заметно выигрывает. Лично я лучше бы стала делать сама, чем выкладывать гигабайтовые файлы, или обратилась бы за помощью к кому-нибудь другому.

Сканы для себя делаю в tiff и на 600 dpi чаще всего, но только потому, что занимаюсь преимущественно детскими книжками, а там иллюстрации. И много их. Вот картинки - да, лучше сканить в tiff и 600 dpi. Но и когда присылают сканы иллюстраций в jpg - их тоже можно сделать хорошо. Неманьяки могут и не заметить разницы.:)

Тифф, жпег... ))
Оно и из дежавю нормально сделанного распознается отлично.
Сам проверял на своих же сканах. Из тифов (300 dpi gray или b-w) делал дежавю и распознавал для контроля качества получившегося дежавю.
Это если только текст. Картинки предпочитаю в тифах, но опять же, если сам делаю. А то с кривыми руками можно и тифов наделать таких, что глаза бы не смотрели )

Несколько лет назад, экспериментируя с разрешениями, сделал для себя вывод, что 400 dpi лучше чем 300 для распознавания. С тех пор так и сканирую. Речь о текстах в джепег. Преимуществ тиффов не нашел. Возможно, для картинок есть нюансы.

sad369 написал:
экспериментируя с разрешениями, сделал для себя вывод, что 400 dpi лучше чем 300 для распознавания.
Это ещё вопрос. Сильно зависит от аппаратки сканера. Во всех двух моделях, которые я исследовал, были матрицы с разрешениями кратными 300, а алгоритмы ресайза крайне кривые экономичные - "ближайший сосед"; так, например, для 400-dpi'йного скана само устройство бы сканило в 600, а на-гора выдавало бы прореженные в полтора раза строки: 1-ю, 2-ю, 4-ю, 5-ю, 7-ю и т.д. Во что превращается, например, наклонная под 30 градусов линия при таком прореживании - объяснять не надо? :-)

niksi написал:
Есть мнение, что сканы друг другу для распознавания лучше всего передавать в формате tiff.
Это мнение восходит корнями к теории форматов. TIFF лучше по определению, т.к. "несжатый".
Но весь наш опыт практической работы подсказывает нам, что разница между слегка ужатым jpeg-ом и tiff-ом на практике не ощущается.
Поднять этот вопрос в отдельной теме было предложено г-ну Zadd-у, после того, как он начал разводить оффтоп в теме http://lib.rus.ec/node/261196 , где он хвастался, что заставляет сканировщиков присылать ему гиговые архивы, потому что его опыт говорит о том, что tiff лучше. Собственно этот апломб и стал причиной моего спора с уважаемым. Не любим мы анархистоподобных задавак.
На предложение доказать на реальных примерах, что tiff лучше для наших целей, реакция не последовала. Вернее нам начали цитировать мультики и википедию.
Последний аргумент г-на заключался в том, что по его опыту разница в распознавании имеется. И видимо существенная.
Есть ли у кого-нибудь мысли по этому поводу?


Реплика по тону сказанного:
Обязательно сходите по ссылке, чтобы составить собственное мнение!
Очень уж тенденциозен гн niksi!
Ну ничего, сразу видно, у кого на самом-то деле апломб!
Во-первых, niksi ворвался в тему, сразу с порога заявив "Что за бред!", приводя при этом свой бред, при этом слова свои подтвердить чем-либо отказался, сразу начав с передергиваний, чем продолжает заниматься и в этой теме!
Я свои слова подтвердил уж хотя бы ссылкой на вики, а он вообще ничем, да и чем тут можно подтвердить? Прислать сканы? А зачем? Кто их будет скачивать ради удовольствия? И он это прекрасно знает, но продолжает нести пургу бред.
Цитата:
Собственно этот апломб и стал причиной моего спора с уважаемым. Не любим мы анархистоподобных задавак.

Апломб niksi хорошо виден даже в этом предложении. Даже Anarchist'а сюда приплел, видать Анархист его сильно уел, а ему и возразить было нечего, вот он Анархиста теперь и боится.
Сразу говорю: Анархист не мой клон, а может и вообще не клон.
Кстати, у кого апломб: у меня или у того, кто себя на "мы" называет?
Цитата:
Не любим мы анархистоподобных задавак.

Тоже мне, его величество niksi.

Я надеялся увидеть пост, в котором было бы хотя бы раз написано "tiff". А увидел пост, где 4 раза написано "niksi". Спасибо, доставило.
Еще раз, с чего все началось:

Zadd написал:
А если бы скачал JPEG-и? Было бы мучение разбирать каждую букву!

Но скана, где нужно разбирать каждую букву, мы так и не увидели. Ведь:
Zadd написал:
Прислать сканы? А зачем? Кто их будет скачивать ради удовольствия? И он это прекрасно знает, но продолжает нести пургу бред.

Нет, уважаемый, надо прислать, очень надо прислать такой скан. Ведь это же сенсация. Тиф и джпег, такие, где в тифе все распознается прекрасно, а в джпеге приходится разбирать каждую букву. Нужен, очень нужен такой скан. Я назвал бредом саму возможность наличия такого скана. И продолжаю считать. Пока не будет доказано обратное.
Но обратное доказано не будет, а будет доказано, что меня в свое время уел Анархист, у меня много апломба, и вообще я считаю себя королем. Достойный ответ по теме спора. Собственно с вами все ясно.

У меня нет проблем с объёмом скачивания. Готова распознать оба варианта и выложить рапорт от CompareIt!.

Если делать Djvu, разница, наверное, есть. Если распознавать FR8 или FR7 - я иногда по лени вообще сканирую в ч/б 300 dpi и распознается вполне прилично. Для такого "качества" по-моему что jpg, что tiff... Правда делаю для себя и ни скем никогда не кооперируюсь.

Пока на глаз разницы между jpg и tif - файлами не видно, разницы при распознавании нету.

Да, иногда, при плохой полиграфии, более грубый скан распознается лучше. Что-то, я помню, специально слегка размазывал в jpg, чтобы убрать разрывы в непропечатанных буквах.

Качество изображения легко проверить: бумага невысокого качества, серая, сканировано на 300 точек.
1-я картинка сохранена в tiff, 2-я jpg без сжатия, 3-я jpg, сжатие 7 из 12 по фотошоповской шкале. Размер разворота 3361х2553, 1-я весом в 8,18 МБ, 2-я - 3,34 МБ, 3-я - 528 КБ. На картинке ниже можно провести попиксельное сравнение, tiff и jpg без сжатия практически идентичны и FineRader текст на таких сканах распознает одинаково. На jpg с сжатием 7 возможно будет больше ошибок при распознавании, но увеличение коэффициента сжатия до 10 даст хорошие результаты. Для книг с картинками все-же предпочтительны первые два варианта. Фрагмент скана:

Ссылка на полноразмерный рисунок http://pic4.ru/images/9de19601163e235e317ba62ec3728a34.png

Спасибо за такой научный подход. Собственно, что и требовалось доказать. Тиф и несжатый джпег - суть одно и то же. При разнице в весе в 2 раза.
Что касается сжатия, то я ужимаю на 8 по фотошоповской шкале. И, по-моему, для подавляющего большинства книг, этого вполне достаточно.
При экспорте картинок из ФР автоматически, как мне кажется, судя по размеру получаемых файлов, установлено сжатие на 9.
По этому, что бы получить сжатие на 10, надо менять технологию. А именно: экспортировать тифами и пересохранять джпегами.
Но я вспоминаю наш "научный" эксперимент с golma1, когда попалась какая-то особо выдающаяся книга, где кол-во ошибок ocr зашкаливало. Был послан для эксперимента несжатый джпег. И, что удивительно, некоторые ошибки окра исчезли, но появились другие, не меньшим, или не намного меньшим числом. Таким образом, пересылка несжатых джпегов, чисто эмпирическим путем, была признана нецелесообразной.

niksi написал:
... Тиф и несжатый джпег - суть одно и то же. При разнице в весе в 2 раза. ...
Только tiff тоже бывает сжатый. Скажем, в fr10 если файлик страницы bwPage.frdat открыть, то можно увидеть что это tiff-файл. А если его пересохранить несжатым, получится файло раз в 10 больше исходного... :)

Это, кстати, еще один аргумент в пользу niksi. Причем неубиенный. :)

Можно и не открывать никаких frdat-ов )
А просто сохранить картинки из фр.
Типа: файл-сохранить результаты-сохранить иллюстрации-выбрать все или выбранные страницы и любой понравившийся формат (в том числе tiff с lzw сжатием.)
Будет заметная разница в весе, по сравнению с несжатыми тифами.
Я уж не говорю о том, что тем же ирфаном можно за секунды пакетно перегнать картинки из чего угодно в тифы, png или жпеги с любым сжатием по вкусу.

TaKir написал:
Можно и не открывать никаких frdat-ов )
А просто сохранить картинки из фр.
Типа: файл-сохранить результаты-сохранить иллюстрации-выбрать все или выбранные страницы и любой понравившийся формат (в том числе tiff с lzw сжатием.)
Будет заметная разница в весе, по сравнению с несжатыми тифами.
Я уж не говорю о том, что тем же ирфаном можно за секунды пакетно перегнать картинки из чего угодно в тифы, png или жпеги с любым сжатием по вкусу.
Я это к тому, что FR10 просто хранит результаты сканирования в сжатом виде. Уж наверное не потому, что нежатый tiff гораздо лучше, а скорее наоборот - потому что по барабану.

В чем он хранит, я не знаю, ибо размер пакета (400 чисто текстовых страниц в сером) в ФР-8 - 476МБ, тот же пакет у меня в ФР-9 - 1,45 Гб, а в десятке, говорят, и 2 гига не предел ))
Не иначе, производители железа проплачивают такое раздувание объемов ))

oldvagrant написал:
Только tiff тоже бывает сжатый. Скажем, в fr10 если файлик страницы bwPage.frdat открыть, то можно увидеть что это tiff-файл. А если его пересохранить несжатым, получится файло раз в 10 больше исходного... :)
Это, кстати, еще один аргумент в пользу niksi. Причем неубиенный. :)

Небольшая поправка. FR10 хранит серый скан в файле grayComponent.frdat и, судя по размеру, это как раз таки не сжатый серый tiff (хотя внутрях байты другие...). bwPage.frdat , как можно заключить из названия - это ч/б версия той-же странички.

.

oldvagrant написал:
niksi написал:
... Тиф и несжатый джпег - суть одно и то же. При разнице в весе в 2 раза. ...
Только tiff тоже бывает сжатый. Скажем, в fr10 если файлик страницы bwPage.frdat открыть, то можно увидеть что это tiff-файл. А если его пересохранить несжатым, получится файло раз в 10 больше исходного... :)
Это, кстати, еще один аргумент в пользу niksi. Причем неубиенный. :)

Не понял, почему наличие сжатия tiff каким-то образом может быть в пользу niksi?
Казалось бы, наоборот! TIFF при сжатии использует сжатие без потерь информации и при этом далеко не факт, что размер сжатого tiff будет больше, чем у несжатого JPEG.
Кстати, о загрублении: если первоначальная картинка была в 96DPI, а потом ее просто растянули в 6 раз и сказали, что это 600DPI, то - да, такой скан будет распознаваться хуже, чем честные первоначальные 96DPI, потому что растяжением новой информации не добавишь, а вот имеющуюся запортишь.

niksi написал:
Тиф и несжатый джпег - суть одно и то же. При разнице в весе в 2 раза.
Э-ээ... "Несжатый JPEG" - это что? Я не в курсе. Можешь кинуть в меня примером - не картинки-скриншота, а файла, чтобы глянуть, что в нём внутри?

Рыжий Тигра написал:
niksi написал:
Тиф и несжатый джпег - суть одно и то же. При разнице в весе в 2 раза.
Э-ээ... "Несжатый JPEG" - это что? Я не в курсе. Можешь кинуть в меня примером - не картинки-скриншота, а файла, чтобы глянуть, что в нём внутри?

http://s015.radikal.ru/i333/1012/5c/5a17a053efe1.jpg
upd. "Несжатый" джпег - это тиф, пересохраненный в джпег с максимальным качеством. Например, в фотошопе в окне, которое выскакивает при сохранении джпег, ставим 12.

niksi написал:
"Несжатый" джпег - это тиф, пересохраненный в джпег с максимальным качеством.
А-аа. Проще говоря, сжатый с "качеством" 100%, т.е. с квантом 2. Один фиг это сжатие с потерями, т.к. матрица сжатия единичной быть не может.
Видимо, "несжатый" - это такой рекламный трюк: "несжатости" в нём не больше, чем свежего воздуха в отшибателе нюха, который продаётся под названием "освежитель воздуха".
Ага. "Quality 98%" - т.е. местами квант чуть больше 2, "адаптивное квантование". (Впрочем, есть шанс, что radikal перепаковывал картинку - проверь размер файла, я скачал 2692590 байт.)

Рыжий Тигра написал:
проверь размер файла, я скачал 2692590 байт.

Столько и было закачано. Ничего радикал не ужимает, если сняты при загрузке галочки оптимизации.

На картинке видно что последняя буква, помимо размытия, получила большую контрастность. Возможно это явилось причиной меньшего количества ошибок распознавания в упомянутой книге.

Для большей части - хватит 300 dpi серого независимо от типа: хоть TIFF, хоть JPG. FR9 нормально распознает и 96 dpi.

.

.

извиняюсь за повторы. если бы знал, что он как слон - реагирует медленно, но помнит все...

Мы в печати только TIFF используем

Мы тоже, но для рассматриваемых в данной теме задач большая часть преимуществ этого формата не нужна. А размер tiff файлов действительно можно поставить в недостаток формата. А при сжатом tiff возможны проблемы несовместимости. Хотя последнее утверждение я принял на веру давно и возможности проверить его не было.

Почитал я, чего тут понаписали.
Суммируя вышесказанное:
Конечно, хороший скан одной буквы(так же, как и плохой), не может служить доказательством.
Далее, при сканировании FineReader'ом при задании опции "сканировать в JPEG"(или как оно называется) автоматически сканируется в jpeg с потерями, а чтобы сделать jpeg без потерь, нужно сосканировать в TIFF, а потом уже эти TIFF'у сконвертить в JPEG без потерь. Я всего лишь возражал против утверждения, что лучше серый JPEG без потерь, чем TIFF. По-моему для сканировщика гораздо проще просто сосканировать в TIFF, да и для OCR-щика тоже будет надежнее принять пакет TIFF, чем гадать, какой JPEG ему подсунули дали: с потерями или без! (Что касается затрат на трафик сканировщика, то тут без проблем: Upload в трафике не учитывается, а насчет затрат на загрузку у OCR-щика: ye, это уже моя проблема, раз я сказал, что согласен скачать "лишнее", значит без вопросов и никакой Анархистоподобный(?) niksi мне не указ)
И наконец, тут озвучили ещё один путь сканирования, который побивает одним выстрелом сразу всех зайцев, а именно: делать дежавюшки!
Тут niksi кто-то может возмутиться: как же так, всем ведь известно, что дежавюшки всегда портят качество! А вот и нет, а вот и нет!
Есть такая программа DocumentExpressEditor как раз для работы с дежавюшками. Так вот, у этой проги есть разные режимы профили кодирования, в частности профиль "фотография", в котором информация кодируется без потерь. Конечно, дежавюшка при этом получается большего веса, чем при "обычном","ч/б","рисунок" и пр. профилях, но зато без потерь!
И объём полученной дежавюшки будет меньше, чем у TIFF и/или JPEG!
Да, чуть не забыл: DocumentExpressEditor имеет режим сканирования, так что сканировать можно сразу в DJVU!
Так что, в битве TIFF vs JPEG побеждает DjVu!

На первый взгляд это очень хороший метод. Кодированный в режиме "фотография" дежавю конкретной книги получился у меня весом в 67 мб против 163 мб джпегов этой же книги. И, при беглом анализе, кол-во ошибок OCR - такое же. Годится, кажется. Спасибо за наводку.

Zadd написал:
в JPEG без потерь. [...] гадать, какой JPEG ему подсунули дали: с потерями или без!
Что такое "JPEG без потерь"? В первый раз слышу - а с компграфикой всё ж имею дело не первый десяток лет... :-?
Zadd написал:
(Что касается затрат на трафик сканировщика, то тут без проблем: Upload в трафике не учитывается,
Ха, это как раз у кого как. :-(
Zadd написал:
в битве TIFF vs JPEG побеждает DjVu!
Тьфубля. OCR'ить из DjVu - то ещё заёбищё. Вытащить из него пару сотен страниц отдельными картинками - ручная работа задалбывает. Про "инь-эффект" и его вклад в распознавание вообще скромно умалчиваю:

Рыжий Тигра написал:
Вытащить из него пару сотен страниц отдельными картинками - ручная работа задалбывает.

В каком месте там ручная работа? Я чего-то не знаю? Или у тебя Фаня старый?
Открываем дежавю в фанридере, и сохраняем картинки куда и как хотим, пакетно.
Про качество - пока не понятно, на первый взгляд разпознавание из дежавю-фотографии показалось не хуже, чем из просто джпегов.
Другой вопрос - время, занимаемое на кодировку. Особой нужды как бы нету превращать 150 мб в 75 посредством затратных по времени манипуляций.

niksi написал:
Открываем дежавю в фанридере, и сохраняем картинки куда и как хотим, пакетно.
Пробовал. Открывает со скоростью страница в 3-5 минут. :-( А потом - да, можно сохранять уже со свистом.

Рыжий Тигра написал:
niksi написал:
Открываем дежавю в фанридере, и сохраняем картинки куда и как хотим, пакетно.
Пробовал. Открывает со скоростью страница в 3-5 минут. :-( А потом - да, можно сохранять уже со свистом.

Это у кого как. У меня - 248 разворотов из дежавю-фото открываютя в 10-ом файнриднре за 3 минуты 7 секунд.

Рыжий Тигра написал:
OCR'ить из DjVu - то ещё заёбищё. Вытащить из него пару сотен страниц отдельными картинками - ручная работа задалбывает.

А открыть бесплатным ирфаном дежавю и сохранить пакетно (Options - -> extract all frames) все страницы из дежавюхи в любой нужный тебе формат - религия не позволяет? Или просто такая гипертрофированная любовь к ручной работе? )

TaKir написал:
А открыть бесплатным ирфаном дежавю и сохранить пакетно (Options - -> extract all frames)
О! Не знал. Вообще-то я напрочь забросил IrfanView, когда обнаружил, что он гадит муаром при ресайзе. Но для такого случая достану из архива, отряхну от пыли и опробую. Сенькс!

Цитата:
...побеждает DjVu
который требует установки FineReader 9-10, т.е на универсальность не тянущий.

Wictor написал:
…который требует установки FineReader 9-10, т.е на универсальность не тянущий.

А в чем проблема? У меня FR9 стоит, все нормально распознает.
Ну а если у вас FR8, то всё равно - выход есть: ScanKromsator отлично разрежет на TIFF'ы хоть PDF-ку, хоть дежавюшку.
Так что, кто хочет делать - тот ищет как сделать, а кто НЕ хочет, тот ищет причину, почему это сделать невозможно.
(народная мудрость)

Вместо ScanKromsator, разработчик уже давно забросил этот проект, использую ScanTailor
В _http://www.rapidshare.ru/1716643 сканированный разворот и результат обработки. Файлы tiff, джиеги со сжатием только для фоток "Я и моя кошка на фоне ковра", вывод основан на опыте фотографирования через микроскоп.

Кстати, со сканами, разрезанными СканКромсатором можно даже FR-Home версией распознавать, а не только Pro, не говоря уж о Corp. Так что, как раз-таки самая полная универсальность!

niksi написал:
Есть мнение, что сканы друг другу для распознавания лучше всего передавать в формате tiff. [...] разница между слегка ужатым jpeg-ом и tiff-ом на практике не ощущается.
Согласен, что "слегка ужатый" 300-dpi'йный 256-серый .jpg распознаётся не хуже. Неоднократно получал в таком виде сканы от уважаемых сканировщиков, проблем с распознаванием не имел.
DjVu в качестве источника - категорически не приемлю. Даже не я, а мой ФР: распознаёт такое со скоростью в пару десятков страниц в час. :-(
Несжатые сканы - хороши для иллюстраций, да. Вернее, сжатые с потерями - плохи. Особенно на таких тонких вещах, как растровая печать (фотографии, а пуще того - обложки): артефакты JPEG'ного сжатия, накладываясь на структуру изображения, дают результаты весьма... скажем так, причудливые. Но и на обычных гравюроподобных штриховых иллюстрациях артефакты мешают, поэтому JPEG для этого дела не люблю.
TIFF - хм, а почему не PNG? Для сканов PNG даёт выигрыш в объёме примерно вдвое: сжатие есть, но беспотерьное, т.е. картинка восстанавливается строго 1:1.
X