MangaCleaner Программа для клина манги.

topmo · Сообщение отредактировано в 18:23 04.04.17

Предисловие.
Я сканлейте я совсем недавно и изначально стал работать разово, только над одним проектом. Я несколько дней экспериментировал в фотошопе, и меня постоянно не устраивало, что добиться сохранения яроксти текстуры нужно много плясать с бубном. Окончательно бомбануло, когда выяснилось, что для того что бы провести простейшую бинаризацию изображения требуется сделать уйму действий, в то время как в матлабе я могу сделать это одной строчкой. Так ко мне и пришла идея написать свой собственный алгоритм для чистки манги. Да бы помочь себе и сообществу русского сканлейта.

О программе
В первой версии программы со сканов убираются шумы, грязь и артефакты. В среднем, на обработку одной страницы уходит 5 сек, может варьироваться, в зависимости от мощности компьютера.
Для первой пробы я взял довольно неплохой сканлейт. И на примере этой старинце я покажу как работает программа:
Пример (оригинал)

Если посмотреть на наличие шумов,артефактов и грязи, то их хватает.
Теперь, рассмотрим результат обработки:
Пример (обработанный)

Практически идеально чистая картинка, при этом тесутры сохранили оттенки своих тонов и остались практически невредимы. (Есть мысли как оставить их ещё боле нетронутыми, я работаю над этим). Белый цвет абсолютно белый, чёрный - абсолютно чёрный.
Так как качество сканов достаточно стабильно, на одних настройках, я достаточно легко и быстро, где то за час(учитывая возню с подготовкой файлов к обработке) обработал все 12 глав

Оговорки
Манга из примера довольно проста по рисовке.И я не знаю как программа поведёт себя с более сложными текстурами и задниками, не проверял ещё. Так что я не даю никаких гарантий, что она будет работать со всеми сканами.
Сама программа написана в среде матлаб, поэтому не обладает хорошим быстродействием и оптимизации, а так же весит 600 метров.
Сейчас настройки подогнаны под разрешение этой манги(1000х1600) и не скалируются, так что, чем более разница в разрешении, тем больше вероятность некорректной работы.
В будущем планирую улучшать и стабилизировать работу программы,а так же добавить ещё некоторый функционал.

Мне нужно мнение клинеров. Если программа заинтересует, то я выложу её, и расскажу как ей пользоваться.

З.Ы Я не знал, в каком разделе лучше разместить подобный топик, так что если что, заранее приношу свои извинения. А так же прошу модераторов, поместить запись в шапку, дабы как можно больше людей увидело это. А так же прошу всех распространить информацию среди клинеров.

Jopio

topmo wrote:В среднем, на обработку одной страницы уходит 5 сек

Практически идеально чистая картинка, при этом тесутры сохранили оттенки своих тонов и остались практически невредимы. (Есть мысли как оставить их ещё боле нетронутыми, я работаю над этим). Белый цвет абсолютно белый, чёрный - абсолютно чёрный.

Мне нужно мнение клинеров. Если программа заинтересует, то я выложу её, и расскажу как ей пользоваться.

5 сек это долго, учитывая, что простые экшены в фотошопе, которые, на удивление, справляются с клином страницы из примера куда лучше, чем представленный результат, делают своё дело мгновенно...

моё мнение - просто попытка изобрести велосипед не разобравшись в возможностях фотошопа... да ещё и для очень узконаправленных дел...

topmo · Сообщение отредактировано в 22:36 04.04.17

Jopio

Я не просто так сказал, что это первая версия и нужна доработка. В перспективе она должна обрабатывать любые сканы.
Я знаю на что способен фотошоп, и прекрасно знаю, что там нет ни одной функции, позволяющей удалять части изображения, которые можно описать определёнными математическими параметрами.
Про вас я знаю, и программа нацеленна в первую очередь не на вас. Потому как она позволит, даже не имея никакого опыта, вбив всего 2 параметра получать результат на уровне опытных.
Но для этого мне как раз нужна помощь оптных)

Это не попытка изобрести велосипед, а автоматизация и упрощение труда)

Jopio

ну да, в фотошопе совсем нельзя выделить цвет с нужным разбросом и удалить его...
ну и да, в аналогичном экшене реально аж две переменных... разброс цвета и радиус сглаживания

и нет, нельзя автоматически почистить скан на уровне опытного клинера (за исключением абсолютно банальных по части клина сканов)
более того, столь узконаправленная программа просто склеит ласты и будет предельно бесполезна на хоть сколько-то сложных по части клина сканах...

topmo

Jopio wrote:ну да, в фотошопе совсем нельзя выделить цвет с нужным разбросом и удалить его...
ну и да, в аналогичном экшене реально аж две переменных... разброс цвета и радиус сглаживания

и нет, нельзя автоматически почистить скан на уровне опытного клинера (за исключением абсолютно банальных по части клина сканов)
более того, столь узконаправленная программа просто склеит ласты и будет предельно бесполезна на хоть сколько-то сложных

Иэто вы называете математических описанием? Я имею ввид такие параметры, как площади областей, их пириметры, отноешние площади к пириметру, оэфциент выпуклости и многое другое

Jopio

а толку от стольких переменных, если на выходе пшик, который хуже клина за три копейки без ручного вмешательства?

я просто не вижу потенциала в затее... сканы бывают ОЧЕНЬ разные, подогнать функционал программы, чтобы любой бот введя переменные получил на выходе хороший результат... на основе моего почти девятилетнего опыта представляется невозможным...

разные ситуации требуют разного подхода... и что более важно, ручного вмешательства...

topmo · Сообщение отредактировано в 00:32 05.04.17

Тот самый "пшик" о котором вы говорите лишь самая первая альфа версия )
Единственная ошибка в нём, это пробитый скринтон, и для этой проблемы я уже знаю решение, скоро внесу корективы..
А для более сложных сканов, нужно сделать более сложный алгоритм.
У людей были тысячи лет лет опыта, у они думали, что не смогут летать в небе. НО два каких чувака, сделал :бип: из картоа... И с**а взлетели!

И ещё раз, для тех кто в танке. Это первая рабочая версия и она сырая как питерская погода. А для того, что бы она развилась, мне нужна критика и тестеры.Так что сейчас рано делать выводы о её перспективах и результатах.

利用者名がない

topmo wrote:...Сама программа написана в среде матлаб, поэтому не обладает хорошим быстродействием и оптимизации, а так же весит 600 метров...

После отладки алгоритма в матлабе переписывай на нормальном языке. Лучше с использованием кроссплатформенной библиотеки, вроде Qt или wxWidgets, чтобы не зацикливаться на одной только винде. Хотя, в конце придумал ещё один вариант...

topmo wrote:...Мне нужно мнение клинеров...

Не нужно. У них культ фотошопа, отягощённый синдромом утёнка. Тот же GIMP лучше, многоплатформенный и абсолютно бесплатный, но у команд почти всегда требование — фотошоп. Требование либо ни на чём не основанное, либо кто-то с этого имеет выгоду (не спрашивай, каким образом, я не интересовался, ибо с необоснованными требованиями посылаю сразу, далеко и навсегда).

topmo wrote:...мне нужна критика и тестеры...

Критиков и тестеров ищи среди математиков и программистов. Пользователи — в последнюю очередь. Это вообще общая практика взаимодействия разработчиков с юзерами. В процессе разработки юзера бесполезны и только парят мозги. Вдобавок, по факту, это чисто математическая задача обработки изображения, субъективное мнение юзера не нужно, нужны формальные критерии оценки качества. К тому же, клинеры, как любые юзера, не захотят связываться с тестовыми версиями. А синдром утёнка заставит искать недостатки даже в продукте, который по объективным параметрам намного лучше предшественников. Просто потому, что он сделан «не так, как было». Выкладывай юзерам конечный продукт хотя бы на стадии финальной беты.

Кстати, можно оформить этот алгоритм в виде плагина к тем же фотошопу и гимпу, если есть технические знания. Обычный фильтр, только специализированный — в самый раз там ему место. Тем самым, влияние культа будет сведено к минимуму.

ertaquo

利用者名がない wrote:Не нужно. У них культ фотошопа, отягощённый синдромом утёнка. Тот же GIMP лучше, многоплатформенный и абсолютно бесплатный, но у команд почти всегда требование — фотошоп. Требование либо ни на чём не основанное, либо кто-то с этого имеет выгоду (не спрашивай, каким образом, я не интересовался, ибо с необоснованными требованиями посылаю сразу, далеко и навсегда).

Извините, но не соглашусь. Может клинить в GIMP и легче, но тайпить - просто тихий ужас.
Простой пример: хотите добавить окантовку к тексту? Растрируйте текстовый слой, создавайте выделение по нему, увеличивайте на пару пикселей и заливайте цветом (либо используйте плагин, который делает все то же самое). Для сравнения, в фотошопе достаточно установить настройки эффектов слоя.
Вдобавок движок рендеринга текста в фотошопе гораздо мощнее и функциональнее сам по себе.
Может поэтому и требуют фотошоп, чтобы весь процесс был в одном приложении, чтобы можно было что-то поправить, если что, не натыкаясь на несовместимости и баги конвертирования?

topmo wrote:

Извиняюсь, потестировать не могу по причине отсутствия виндов, да и вообще не клинер я, но вот чисто рассматривая и сравнивая между собой эти две картинки...
Цвета стали ощутимо контрастнее. Черный цвет стал действительно черным, а не темно-серым. Однако при этом на штриховке появились мелкие артефакты в виде белых пятнышек: на огне справа от кулака Нацу, на звездочках, на подкладке накидки Венди. Вдобавок покорежился градиент на шарике у пальца Венди.
Вот кусок, в котором при сравнении это явно видно:

topmo

利用者名がない wrote: После отладки алгоритма в матлабе переписывай на нормальном языке. Лучше с использованием кроссплатформенной библиотеки, вроде Qt или wxWidgets, чтобы не зацикливаться на одной только винде. Хотя, в конце придумал ещё один вариант...

Не нужно. У них культ фотошопа, отягощённый синдромом утёнка. Тот же GIMP лучше, многоплатформенный и абсолютно бесплатный, но у команд почти всегда требование — фотошоп. Требование либо ни на чём не основанное, либо кто-то с этого имеет выгоду (не спрашивай, каким образом, я не интересовался, ибо с необоснованными требованиями посылаю сразу, далеко и навсегда).

Критиков и тестеров ищи среди математиков и программистов. Пользователи — в последнюю очередь. Это вообще общая практика взаимодействия разработчиков с юзерами. В процессе разработки юзера бесполезны и только парят мозги. Вдобавок, по факту, это чисто математическая задача обработки изображения, субъективное мнение юзера не нужно, нужны формальные критерии оценки качества. К тому же, клинеры, как любые юзера, не захотят связываться с тестовыми версиями. А синдром утёнка заставит искать недостатки даже в продукте, который по объективным параметрам намного лучше предшественников. Просто потому, что он сделан «не так, как было». Выкладывай юзерам конечный продукт хотя бы на стадии финальной беты.

Кстати, можно оформить этот алгоритм в виде плагина к тем же фотошопу и гимпу, если есть технические знания. Обычный фильтр, только специализированный — в самый раз там ему место. Тем самым, влияние культа будет сведено к минимуму.

После отладки я буду переписывать на питоне.

Я уже заметил

Что касается кода и алгоритма, то да, тут мнение клинеров вобще не уместно. Но оно нужно, для того что бы добиться нужной картинки. Мне уже указали на косяки и сейчас я работаю над улучшение алгоритма.

Может быть и можно, но я не знаю как. )

topmo · Сообщение отредактировано в 00:35 21.06.17

ertaquo wrote:Извините, но не соглашусь. Может клинить в GIMP и легче, но тайпить - просто тихий ужас.
Простой пример: хотите добавить окантовку к тексту? Растрируйте текстовый слой, создавайте выделение по нему, увеличивайте на пару пикселей и заливайте цветом (либо используйте плагин, который делает все то же самое). Для сравнения, в фотошопе достаточно установить настройки эффектов слоя.
Вдобавок движок рендеринга текста в фотошопе гораздо мощнее и функциональнее сам по себе.
Может поэтому и требуют фотошоп, чтобы весь процесс был в одном приложении, чтобы можно было что-то поправить, если что, не натыкаясь на несовместимости и баги конвертирования?

Извиняюсь, потестировать не могу по причине отсутствия виндов, да и вообще не клинер я, но вот чисто рассматривая и сравнивая между собой эти две картинки...
Цвета стали ощутимо контрастнее. Черный цвет стал действительно черным, а не темно-серым. Однако при этом на штриховке появились мелкие артефакты в виде белых пятнышек: на огне справа от кулака Нацу, на звездочках, на подкладке накидки Венди. Вдобавок покорежился градиент на шарике у пальца Венди.
Вот кусок, в котором при сравнении это явно видно:

Да, пробитые светлые скринтоны проблема, сейчас я устранил, как только доработаю алгоритм для чёрного, выложу программу сразу новой версии

Nonius

Привет! Я начинающий клинер перфекционист) Роботаю в Krita, так как нет винди. Идея с разработкой программы для клининга мне очень нравится. Но лучше говорить не о алгоритме клининга, а автоматизации его отдельных этапов. Но это тянет на вполне масштабный проект, где есть своя структура проекта и т. д.

А от алгоритм очистки от шумов можно подправить:

накладываем маску фильтра, чтоб "сделать все черное черним"
выделяем все "белое" и уменьшаем выделение на 1 пиксель (так не будет белих точок на фоне, ну либо их количество уменьшится)
делаем "белое" полносьтю белым

Будет хорошо, если это будет отдельный инструмент к критте, что применяется к выделенной области, где можно вводить значение маски и уменьшение, а в результате получать слой с куском белой (черной) страницы

Саму програму не использовались, но видела результаты

Milamoi · Сообщение отредактировано в 21:00 26.05.17

Привет!
Мне идея кажется интересной, и то что вы пытаетесь облегчить жизни клинерам - это весьма забавно. Эх, если довести до совершенства, то и вовсе не нужны будут оные. Но не будем о потерянной работе. Я давно работала над мангой в качестве тайпера и клинера, как в быстром переводе так и в медленном. Думаю, актуальна эта программа будет именно в быстрой подаче. Ну, знаете как бывает, глава выходит и все начинают друг друга подгонять в работе. Учитывая, что клин-это не только коррекция тонов, но и убирание дефектов и звуков, весьма перспективно на первом этапе запустить главу в прогу и по очереди дорабатывать сделанные листы. Но, например, у нас в команде были особые требования к корректу сканов и, в прицепе их не так уж много. При должной сноровке и быстрому набору, вырабатываешь рефлекс на обработку (примерно те же 5 секунд занимает в итоге).
Стояла у меня прога Манга Студия, думаю, что там интерфейс приспособлен для таких дел.
Дело-то хорошее и интересное. Если хочешь доводит до конца, возможно стоит взять на вооружение проги например сканер для телефона или что в этом духе. У них же есть своя система обработки данных. Наверняка все проще чем есть на самом деле.
Было бы интересно опробовать, скиньте потестить на сложных сканах.
Удачи!

Bobryk_Rori · Сообщение отредактировано в 00:29 21.06.17

Случайно наткнулся на сию тему, поскольку мы люди дремучие, заняты переводами манги, работой посменно по 12 часов в сутки, после которой язык на бок и отсыпаться...
Думаю, стоит похвалить автора топика за идею и ее попытку реализации, поскольку экономия времени это просто замечательная вещь!
Когда я был зеленым чебуршакой,даже ФШ не умел юзать и делал робкие шаги по стезе переводчика, то мне все было в диковинку. Даже элементарных понятий не имел, что куда, как, почему и зачем. Мог осилить нормально лишь пейнт. Слава богу подрос и научился более-менее сносно работать в ФШ.
Безусловно, программа заслуживает внимания, поскольку чем больше альтернатив, тем лучше. Конкуренция способствует прогрессу. Однако, вот незадача. Как верно заметили выше, сканы - они бывают разные. Разной степени качества, разного размера, разного формата и разного содержания. Пока в нашем мире не изобрели Энтерпрайз, который подобрал бы Дейту, который в свою очередь занялся бы быстрой обработкой сканов. Я не программер, обычный юзер, поэтому мне, как одному из переводчиков, занимающихся и клином и тайпом и переводом текста и т.п. и т.д. в одиночку не совсем понятно, а в чем существенный клин-то сканов ДО и ПОСЛЕ обработки? На мой взгляд, изображение ПОСЛЕ стало резать глаз малозаметными, но тем не менее, элементами. В чем клин-то? Может я чего не понимаю, но клин это очистка не только от грязи и шума, но и от текста? так если текст нужно удалять вручную, восстанавливая картинку, так, извините, :бип: такая программа? Зачем мне тратить лишнее время загрузкой сканов и полуработой в каком-то недоработанном продукте человеческой мысли, чтобы потом еще идти в ФШ? Как показывает практика и опыт, гораздо быстрее и проще все делать в ФШ.
Кто-то упомянул ГИМП? Отпадная программа, обрабатывал в ней сканы, когда был зеленым чебурашкой. Для новичков самое то. Пока лучше фотошопа ничего не придумали. Ах, да, еще есть мангастудио. Тоже отличная программа. пока не сядешь за нее.
нет, можно выдумывать уйму различных программ-шмаграмм, только для кого вы это делаете? Вы сначала определитесь с целевой аудиторией.
"Я это делаю для народа, но не для тех нищих и убогих, а для тех, кто в замках и дворцах!" - а-ля благородное благородному, или что? Вы уж извините нас, этакую чернь, забредшую на ваш праздник жизни, но черни всегда было, есть и будет куда больше.
С другой стороны, читатели тоже люди и делятся на целевые аудитории точно так же. И, поверьте, (да многие это знают прекрасно) им плевать на мелочи. Людям хочется читать, а не любоваться мимолетным великолепием черного квадрата. Люди просто не поймут.
Да-а-а, вы можете и дальше говорить, что вас не волнует чужое мнение, но только от его плевков сложно уворачиваться, а игнорировать во-о-о-обще еще сложнее.
И да, автор топика, вы уж явите нам свою программу, пощупать, потрогать, опробовать, а то понаписать можно целый учебник докучи всего. Нужен опыт работы с ней. Или вы не умеете воспринимать критику нормально? Вас что, в детстве обижали, пинали, били, моськой в лужу совали? Форум-то открытый и общий для всех, а не для конкретных Пети, Васи и дядя Федрика из солнечного Плесецка или Крыжополя. Либо выкладывайте в закрытом кругу и не давайте никакой информации, либо выкладывайте полностью и воспринимайте критику как должное. Вы же не институтка? И да, в подобной манере я могу высказать кому и что угодно в лицо в жизни. Да-а-а, люди частенько обижаются, только смысл обижаться на правду? Глаза режет? тогда стоит носить розовые очки и не высовываться.
Повторюсь снова. Дайте программу в открытый доступ для работы, тогда можно будет говорить о том, нужна она или нет. Тогда и вся эта тема будет иметь смысл, а пока я вижу обсуждение словоблудия и не больше.

Sasha.rikh

Вот я вообще новичок. Зеленая в этом деле, поэтому, ну, очень нужна помощь.
Не понимаю я ничегошеньки про сканы, анлейт, эдит и прочее. Но хочу понять. Желание и рвение при себе имеются, только знания нужны. И толком объясните, что нужно скачивать, чтобы чистить, так называемые, сканы. Хочу пока что одна работать, но везде, где ищу информацию, говорят, что будет сложно и выделяют какую-то одну специальность. Мне хотя бы самой разобраться прежде, чем людей набирать. Я с компьютером на "Вы" и мне сложно разбираться в этих всяких словечках, но, если понадобится, я реально не буду вылезать из справочников.
Очень нужна помощь, и кто сможет откликнуться, объяснить непутевой, что к чему, то буду по гроб жизни обязана, Никакие видео не помогают. Даже сайты все облазила. Ну, вот, ни в какую не понимаю. Понимаю, что муторно, но кто-нибудь, хотя бы кто-нибудь пожалейте.
Если будут обижать и говорить, что "это не мое, лучше бы не бралась", то слушать я, конечно же, не буду. Просто помогите, пожалуйста.
P.s.: на всякий пожарный, я читаю мангу с прошлого года(где-то май) и русский у меня хороший.