Как я пленки цифровал, и не только
Сначала даже мысли не было писать статью, все казалось обыденным и малоинтересным. Но к своему удивлению, занимаясь на новогодних выходных приведением в порядок фотоальбомов, с интересом заметил, что не только я решил посвятить этому полезному делу праздничное время. Соответствующая по тематике статья «Опыт создания каталога и индексации семейного фото-архива. Индексация и оцифровка фотопленок» была и на хабре. Чуть позже появилась еще одна статья «Метаданные для организации хранения фото-архива». Посему решил поделиться каким-никаким опытом, может что по крупицам кому и пригодится.
В общем-то идея отсканировать и упорядочить старые фотографии, конечно же, вынашивалась давно, на такой объем работ по сканированию старых фотопленок (больше сотни) и фотографий (тысячи) решиться непросто. Вообще еще с детства хотел, чтобы у меня были оцифрованные старые фотографии прапрабабушек-прадедушек, и вот наконец спустя 20 лет решил сподвигнуться на это дело.
Сканер
Первое, в чем был вопрос — естественно сканер. В свое время, лет 7 назад, пытался оцифровывать негативы и решил запасти пленочный сканер. Денег особо не было, выбрал что подешевле, им оказался Miktotek Filmscan 35. 
По сравнению с монстрами сканирования, стоил он копейки, но и результат выдавал устрашающий. Я использовал к нему Silverfast как наиболее продвинутый софт в то время (может и сейчас). Не знаю, почему, но иногда мне при разных проходах это чудо выдавало то синюю, то зеленую фотку, то зависало все, это было непредсказуемо и очень грустно, над каждым кадром приходилось корпеть по 10-15 минут, выправляя гистограммы и осуществляя прочие танцы с бубном. Вобщем этот процесс отбил у меня охоту сканировать пленки на несколько лет, сканер так где-то и валяется.
- сканировать по большей части буду не я, а родители, благо у них время сейчас есть
- сканировать надо не только пленки, но и фото
- сканировать надо много
- сказочного бюджета нет
Кроме всего означенного я понимал, что сейчас пленка уже не является актуальным носителем, и поэтому скорее всего сканировать надо будет только один раз, правда может уйдет на это много времени.
Итак, пленочные сканеры отпали по двум причинам:
во-первых, предыдущий опыт показал, что за дешево нормальный такой агрегат не купить, а то, что дешево — ой, такой ад второй раз я не вынесу.
Во-вторых, покупать отдельно сканер для фоток и отдельно для пленки — тоже как-то дороговато и нецелесообразно.
Тем более, сказал я себе, если попадется что хорошее — отнесу в профессиональную лабораторию, уж на десяток кадров можно и разориться.
Посмотрев, что есть в продаже из того, что умеет сканировать кроме бумаги еще и пленку, выяснилось, что выбор невелик: или опять же заоблачные цены, или всего пара-тройка вариантов. Перерыв все работающие сразу после праздника магазины оказалось, что есть следующие приемлемые варианты:
- Epson Perfection V330 Photo (A4, 4800 x 9600 dpi, USB 2.0, CCD,Film Adapter)
- Epson Perfection V370, Photo (A4, 4800×9600 т/д, CCD, USB 2.0)
- Canon CanoScan LiDE 700F (A4 9600х9600dpi 48bit CIS Слайд-адаптер USB2.0)
- Canon CanoScan 5600F (A4 4800х9600dpi 48bit Слайд-адаптер USB2.0)
Остальное было или слишком дорого, от 10000, или, наоборот, ничего не умело. К сожалению, CanoScan 5600F отпал по причине отсутствия в данный момент в продаже, хотя по описанию очень неплох. Остальные оказались, по отзывам, примерно одинаковыми, но решающую роль сыграл тот факт, что для Epson’ов были драйвера для Linux, а поскольку хотелось бы работать не только под виндой, то в конце концов выиграл Epson Perfection V330 Photo. Нигде не смог узнать, чем же 330 модель отличается от 370, но поскольку линуксячьи драйверы упоминались только для 330, то остановился на нем, так сказать, «во избежание».
Драйверы берут на сайте AVASYS.
К сожалению под линукс попробовать еще не успел, но в виндовом софте понравилась функция удаления дефектов — на черно-белых старых фотографиях работает на ура. Но с ней тоже надо быть осторожным — иногда может за дефект посчитать что-то стоящее.
В отзывах по поводу сканера местами упоминается проблема с появлением полос при сканировании пленок — но я такого пока не наблюдал. Тем не менее на мой взгляд вот кое-что полезное по этому поводу, найденное в одном из отзывов на яндекс-маркете: «Спустя два года могу отчитаться об итоге расследования: в рамке сканера есть калибровочное окошко, где устанавливается баланс белого. Если туда попадают пылинки — получаются „битые пиксели“, которые при прогоне каретки дают полосы. Это, скорее всего, конструктивный дефект новой светодиодной подсветки (но кто же в этом сознается. ). Итак господа, если у вас есть такой сканер,
удаляйте пыль.»
С каким разрешением сканировать — этот вопрос был не последним. Сканер выдает максимум 4800х9600, но при попытке выставить такое при скане фото 9х13см система стала материться на масштаб, пришлось уменьшать.
Критерий выбора разрешения простой: если считать, что печатать можно со стандартным разрешением 300dpi, то чтобы получить такое же изображение, надо иметь минимум 300dpi. Учитывая, что фото старые, то смысла сильно завышать эту цифру нет — все равно физическое разрешение не позволит получить качество из ничего. Опять же, вряд ли кто-то когда-то захочет печатать плакат с изображение прадеда на формате А1 или даже А4. Если кто и напишет книжку — то вряд ли будет картинка больше чем на лист. Вобщем решил, что для совсем старых сойдет двукратное превышение, для более качественных и более поздних — трехкратное, т.е. 600dpi и 900dpi соответственно. Далее выбрал то, что было наиболее близко из того, что выдала софтина, что шла со сканером.
Для негативов решил использовать максимум — не зря же покупал с таким разрешением… Скорее всего это перебор 4800х4800dpi, но всегда можно потом урезать, но главное, что потом уже не придется пересканировать с другими параметрами и можно спать спокойно.
Сканы сохраняются, естественно, ни в коем случае не в jpeg, дабы избежать потерь на сжатие. Все — только tiff. Вроде, конечно, место кушает побольше, но зато раз отсканировать — и потом проблем не знать: что хочу, то и делаю. К этому я тоже пришел не сразу, но практика показывает, что если сэкономить сейчас — потом буду жалеть и возвращаться к этому вопросу, а так, если все по-максимуму — то потом и сожалеть не о чем.
Каталогизация
Естественно, после оцифровки надо все это дело как-то разгребать. Основной задачей было подписывание пра-пра-родственников, ибо я хотел сохранить историю семьи на будущее, а без грамотных комментариев там никто никогда не разберется.
Вариант сразу обрабатывать фотки и выкладывать на сайт не подходил по двум причинам: во-первых, надо обработать все и сразу, а это время, да и родители в этом ничего не понимают; во-вторых, технологии меняются, и кто б знал, как через пару десятков лет будет выглядеть сайт, если вообще он будет как-то существовать.
Использование умной программы-каталогизатора не подходила по той же существенной причине — нет никакой гарантии, что через несколько десятков лет эта софтина будет жива и соотвественно никто не поймет, что, где и как хранится в ее умном уникальном формате.
На ум пришло решение хранить описание в обычном текстовом файле с тем же именем, что и фото — текст он и в африке текст, наверняка прочитать сможет кто угодно спустя десятиления, даже если придумают еще какой-то супер-юникод, все же это намного надежнее, чем специальный софт. Но как программист я с ужасом смотрел на этот вариант — ну некрасиво и все тут. Да и неудобно в процессе работы.
Родители сказали, что вообще хотят как в ворде — вот фотка, вот подпись — и все понятно. От такого предложения волосы встали дыбом, ибо опять же — сегодня ворд есть — завтра его нет.
Еще один вариант — хранить подписи в EXIF. Тут смущало то, что при обработке картинок многие софтинки EXIF просто игнорируют, в результате потерять драгоценные подписи может оказаться невосполнимым.
В общем, проанализировав всю ситуацию, принял решение: скнируем фото, подписываем его в виде EXIF и потом все эти картинки с подписями делаем read-only, дабы не было никакого соблазна что-то менять, и таким образом гарантируем сохранность информации. Хочется менять — делай копию — и вперед. Ну и бэкапы конечно. И вообще, в конце концов на то мы и программисты, дабы набросать небольшой скриптик, чтоб весь EXIF можно было на всякий случай экспортнуть в текстовый файлик, «во избежание» 🙂
Для работы с EXIF в линуксе есть куча инструментов командной строки, но это неприемлемо для удобной работы с большим количеством картинок. Тем не менее, вот что есть: exif , exiftool , exiv2 , погуглив, можно найти более подробную информацию. Далее я использовал exiftool для пакетной обработки, но об этом позже.
Смотрим, что есть из GUI. Поизучав, что нам предлагает OpenSource сообщество, как-то остановился на DigiKam — «digiKam is an advanced digital photo management application for Linux, Windows, and Mac-OSX», как написано у них на сайте.
Редактировать я решил в GIMP, GNU Image Manipulation Program, аналог фотошопа, но opensource. Поэтому возможность редактировать фото для софтины каталогизации отдельно не требовалась, а вот в самой каталогизации подкупили несколько вещей.
Во-первых, DigiKam редактирует EXIF, что мне и надо.
Во-вторых, все фото сразу на экране, подписываем в окошке рядом и сразу переходим к следующей — быстро, просто и удобно.
В-третьих, было замечено, что в самой EXIF есть несколько похожих тэгов для комментирования: Comment, UserComment, ImageComment, так вот, DigiKam пишет сразу во все, так что вероятность, что эту информацию прочитает другой софт, достаточно велика.
Кроме того, читая отзывы, меня порадовала мысль, что кроме просто EXIF софтинка умеет вести каталог, причем ничего никуда не копируя, в отличие от многих других, а просто обрабатывая все на месте. Это было огромным плюсом — я не искал эту возможность изначально, но она оказалась как нельза кстати. И что мне понравилось — кроме занесения инфы в EXIF, она пишет ее в свою базу и потом фото удобно сортировать и искать по меткам, тэгам, описаниям и т.п. И даже если в какой-то момент софт исчезнет и база тоже — то копия данных останется в EXIF, что, собственно, мне и надо.
Некоторые интересные мысли по каталогизации описаны в уже упоминавшейся статье «Опыт создания каталога и индексации семейного фотоархива. Индексация и оцифровка фотопленок». Так вот, все или почти все эти данные тоже можно держать в EXIF и при необходимости экспортить в любой формат, как нам будет удобно.
Дополнительным плюсом DigiKam является то, что можно в качестве обложки альбома можно выбрать любое фото, а мысль иметь в качестве обложки фото самого бумажного альбома мне понравилась, за что спасибо автору.
Еще один неочевидный момент, с которым я столкнулся при работе с DigiKam: если нет прав на запись в фото-файл, то софтина молча пишет только в свою базу, никак не давая понять, что есть проблемы. Я долго пытался разобраться, почему подпись в проге есть, а в файле — нет, тем более, что в настройках установлена опция «сохранять в файле». Так вот, имейте это в виду — проверяйте права доступа, а то можете потом долго материться.
Выкладываем на сайт
Итак, решены основные задачи — сканирование и каталогизация. Теперь настало время похвалиться перед родственниками, показать знакомым фото. Естественно путем выкладывания фото на сайт. Не так давно я уже делал софтинку для этого дела: сложил нужные фото в
каталог, запустил — и готово, сделался альбом. Об этом я писал на хабре в прошлый раз, «Simple automation: фотоальбом». Теперь же, используя DigiKam, я решил, что прямо в EXIF-тэгах можно помечать фото, надо его помещать в фотоальбом или нет, поскольку при сканировании были всякие картинки, которые на сайт выкладывать не стоит. Да и комментарии теперь можно брать из EXIF.
Вроде бы все хорошо, да не очень.
На сайте все обрабатывается в PHP, и там есть, как мне казалось, замечательная функция для работы с EXIF, read_exif_data() , но как показала практика, эта недофункция показывает только часть данных, абсолютно умалчивая про остальное. Перерыл все что мог — и мечта о легкой жизни канула в лету, пришлось вытаскивать EXIF из файлов на этапе генерирования альбома, благо инструменты командной строки имеют место быть.
В итоге переписал скрипт, вспомнив язвительный комментарий к предыдущей своей статье «Генератор php-файлов на Perl… Месье знает толк. », посмеялся про себя, что все же был прав, что полностью не положился на PHP — вот она мне подставила бы сейчас ножку, а так пара минут — и проблема решена.
Итак, при обработке фото в DigiKam помечаем фото флажком (он там называется PickLabel). Флажок пишется в файл в EXIF. Когда процессим все файлы из каталога — вытаскиваем флажок с помощью exiftool:
Ну и далее в зависимости от флажка — если стоит — то процессим, если нет — пропускаем. Все задается в командной строчке, дабы было удобно. На самом деле тут можно обрабатывать много всего, это уже на вкус и цвет кому что надо.
Ссылка на исходники, если вдруг кому-то понадобится внимательно посмотреть или даже применить: photo_album-r143.tar.gz. Как пользоваться — упомянуто в предыдущей статье, не буду повторяться.
На этом спасибо за внимание, а если кому пригодилось — то безмерно рад.
Критика приветствуется.
UPD: Вот случайно нашел еще на хабре про сканирование негативов — удивляюсь, как раньше не заметил. Пусть будет тут до кучи.
Epson 4490 против 4990: сканируем ч/б негативы
Как я грозился раньше, сравниваю сканер Epson 4490 с его старшим братом 4990. Для меня самое актуальное — сканирование 35мм ч/б пленки, так что с этого и начнем.
Для сравнения я выбрал два немного проблематичных кадра:
Первый: Ilford HP5+ 400 (push 2), проявка в Ilford DD-X по номиналу (13 минут). Снято с рук, при полуденном солнце. Снимок по ошибке переэкспонирован где-то на две ступени, негатив вышел очень плотным.
Второй: тоже Ilford HP5+ 400 (push 2), проявка в Ilford DD-X по номиналу. Снято ночью с рук, бОльшая часть кадра недосвечена, присутствует очень яркий источник света.
Методика
Заранее заявляю, что я в сканировании разбираюсь плохо, так что ногами не пинайте. Оба сканера подключены к одному компьютеру через USB2. Для сканирования использую родную программу Epson Scan 3.04a (знаю, что Silverfast AI многими рекомендуется, у меня эта программа есть, но, почему-то, у меня с ней результаты выходят хуже, чем с Epson Scan — еще не освоил я Silverfast). Сканируем в «16-bit Grayscale», с наилучшим качеством сканирования и разрешением 4800, в TIFF файл. Абсолютно все опции отключены (т.е. без Unsharp Mask, Grain Reduction и т.п.). При сканировании, нажимаем на авто-экспозицию, а затем подстраиваем гистограмку, чтобы захватить все темные и светлые участки. TIFF открываем в ФШ, никак не обрабатывая вырезаем куски для сравнения, которые сохраняем в JPEG с максимальным качеством.
Итак, первый кадр. 4490 отсканировал его за 3м15с, а 4990 — за 3м45с. Сначала, смотрим на самые яркие участки:
Теперь пытаемся посмотреть мелкие детали (фактура дерева, камешки, травинки):
Интересно, что на 4490 явно видно зерно пленки, в то время, как скан с 4990 выглядит более гладким. Добавлено позже: Как мне объяснили ниже, то, что я принял за зерно, на самом деле — шум матрицы у 4490-ой модели, которая не справляется с плотными участками на негативе. Звучит логично, ведь зерно пленки было бы скорее видно в слабо засвеченных участках, чем в плотных пересвеченных.
Сканируем второй кадр. Оба сканера отсканировали его за 2м20с. Яркая лампа в кадре; смотрим на пересвет:
Теперь смотрим на стенку фонаря, которая едва-едва видна:
Опять-таки, разница в динамическом диапазоне заметна при сканировании самых плотных участков, где 4490 справляется хуже.
Разница в динамическом диапазоне (DMax 3.4 у 4490 против DMax 4.0 у 4990) чувствуется при сканировании наиболее плотных участков негативов (т.е. пересветов), где 4490 начинает шуметь, а 4990 справляется без видимых проблем. Разницы в резкозти сканирования я не заметил. [Отредактировал после того, как выяснилось, что на сканах 4490 видно не зерно, а цифровой шум матрицы.]
Почему-то, Epson Scan, при автоматическом нахождении границ кадров, на 4490 берет шире, чем на 4990. Первый кадр был отсканирован в 6671х4255 на 4490, и в 6688х4080 на 4990. Добавлено по прочтении отзывов: Эта «проблема» нахождения границ кадра решается путем изменения настроек программы Epson Scan, можно добиться совершенно полного попадания негатива в скан, включая черную рамку вокруг него.
Главный козырь 4990 для меня — способность сканировать аж 24 35мм кадра за раз (против 12 кадров у 4490).
Крышка у 4490 имеет два фиксированных поднятых полложения — одно где-то на 45 градусов, и еще одно на 90 градусов. У 4990 крышка может быть оставлена в любом положении, что немного удобнее.
У 4490 внешний блок питания, а у 4990 — встроенный, что мне нравится. Выключатель питания у 4490 сзади справа, а у 4990 — на передней панели.
К слову о сканировании и постобработке ч/б пленки
Данное описание применимо к монитору с кинескопом CRT (электронно-лучевая трубка), с ЖК мониторами желательно делать поправки по контрасту и шарпингу.
Цветную пленку оставляю сразу в стороне, т.к. эта тема не совсем для планшетника, и результат всегда будет разным, будет все результаты объединять лишь одно: недостаточно хороший по цветам результат.
Итак, у нас есть черно-белая фотопленка (желательно нормально экспонированная), упомянутый выше сканер, компьютер с графическим редактором и желание получить приемлемый результат. В качестве цели обозначим картинка для веба с кадра 6*6, допустим 800*800 пикселей.
Наилучший результат (по моему личному опыту) дает сканирование ч/б негатива в режиме слайда. По сути, данный вариант сканирования почти не зависит от используемого софта, единственное условие — это отключение всех настроек по автоматической обработке (и шарпинга тоже!). Сканируем в режиме ч/б 16 бит, tiff. Обычно я сканирую с разрешением 1200 точек на дюйм. Tiff и бОльшее по отношению к размеру конечного файла разрешение обеспечат наилучший конечный результат.
Итак, давайте посмотрим на гистограмму отсканированного файла, в полученном с помощью автоопределения контраста файле вы не получите таких областей по краям:
Далее инвертируем изображение, работаем с уровнями. Обратите внимание, что границы слева и справа не очень близко подведены к пику. Сделано это потому, что исходный негатив достаточно контрастен (пуш +2):
В случае с малоконтрастным негативом эти границы я двигаю поближе к пику. Следующий этап — работа с кривыми, тут полная свобода для творчества:
Как сканировать пленочные негативы обыкновенным сканером
Если в Вашем архиве завалялись старые негативы, которые хотелось бы перевести в цифровой формат, у Вас есть возможность отсканировать их. Но простое сканирование для этих целей не подойдет. Для того чтобы всё получилось, нужен мощный источник света, который должен находиться за негативом или много функциональный сканер.
Конечно, можно купить специальный сканер для пленок, но если у Вас уже есть обычное планшетное сканирующее устройство, вполне можно обойтись им. Для сканирования пленки или слайда можно использовать обычный картонный отражатель. Он будет захватывать свет, излучаемый сканером и отражать его с обратной стороны слайда. Такой отражатель даст возможность сканировать плену и слайды как обычные документы.
Для изготовления отражателя нам понадобятся следующие материалы:
Лист плотного картона формата A4 со стороной серебряного цвета
Карандаш
Ножницы
Скотч
Линейка
Приступим к использованию нашего отражателя. На стекло сканера положите пленку или слайд. Сверху поместите отражатель. Чтобы достичь хорошего результата выровняйте одну сторону слайда с центром отражателя. Крышку сканера закрывать не нужно. Можно приступать к сканированию. Если в результате на снимке получится неравномерное освещение, то можно попробовать положить тонкий лист папиросной бумаги между негативом и отражателем. Бумага рассеет световой поток и не даст сканеру захватывать пространство за пленкой.
Добившись удовлетворительного результата, нужно обрезать изображение по контуру слайда, так как сканер сканирует всё стекло, а нам нужен только маленький кадр. Обрезку можно сделать в любом графическом редакторе. Для получения наиболее четкого изображения нужно выполнять сканирование с высоким разрешением. Рекомендуется использовать 1200 DPI.
После сканирования нужно будет провести небольшие фотоманипуляции с изображением. Если Вы сканировали негатив, то придется инвертировать цвета. Это можно выполнить даже в Microsoft Paint, так что тут затруднений возникнуть не должно. Также можно провести небольшую обработку снимка в любом графическом редакторе. Рекомендуется повысить яркость или контрастность.