Валидация fb2

Опубликовано ср, 15/04/2009 - 19:50 пользователем larin
Forums: 
Функциональность

1. Добавил валидацию загружаемых книг.
2. Прогнал через валидатор существующие. Список непрошедших - http://lib.rus.ec/stat/invalid.

Опубликовано ср, 15/04/2009 - 19:59 пользователем SeNS

Что-то маловато будет для существующих. AFAIK, очень много книг, которые ты перегонял в fb2 скриптом ("стартовый" контент либрусека), не проходят валидацию из-за ошибок того скрипта (в тексте оставались символы "больше" и "меньше", интерпретируемые как теги читалками).
А что есть сам валидатор, на чем написан, где можно пощупать?

Опубликовано ср, 15/04/2009 - 20:02 пользователем larin

SeNS написал:
Что-то маловато будет для существующих. AFAIK, очень много книг, которые ты перегонял в fb2 скриптом ("стартовый" контент либрусека), не проходят валидацию из-за ошибок того скрипта (в тексте оставались символы "больше" и "меньше", интерпретируемые как теги читалками).
А что есть сам валидатор, на чем написан, где можно пощупать?

написан на пыхе, пощупать можно в архиве librusec.zip завтра, как перегенерируется.

Опубликовано чт, 16/04/2009 - 10:48 пользователем SeNS

larin написал:
написан на пыхе, пощупать можно в архиве librusec.zip завтра, как перегенерируется.

Отец, зачод! Пасибки.

Опубликовано чт, 16/04/2009 - 01:10 пользователем Alexx_S

Спасибо!

Опубликовано чт, 16/04/2009 - 01:11 пользователем Tanja45

Спасибо большое!

Опубликовано чт, 16/04/2009 - 02:57 пользователем naruto

ref

Опубликовано чт, 16/04/2009 - 03:08 пользователем TaKir

larin написал:
1. Добавил валидацию загружаемых книг.
2. Прогнал через валидатор существующие. Список непрошедших - http://lib.rus.ec/stat/invalid.

Спасибо! Хоть ясно, с чем бороться )

А нумерацию файлов в списке можно организовать? И как-нибудь общую цифру?
типа в заголовке:
Файлы, не прошедшие валидацию - "столько-то"
1....
2...
3...
и т.д.

Опубликовано чт, 16/04/2009 - 05:59 пользователем golma1

Класс! Спасибо.

А полученный список динамический? Что будет, если я десяток книг из него исправлю? Исчезнут они из списка или придётся повторить прогонку, чтобы создать новый список?

Опубликовано чт, 16/04/2009 - 06:15 пользователем TaKir

golma1 написал:
Класс! Спасибо.
А полученный список динамический? Что будет, если я десяток книг из него исправлю? Исчезнут они из списка или придётся повторить прогонку, чтобы создать новый список?

Динамический, похоже )) Я уже исправил и залил новую версию одной книжки с объединением версий.
Из списка она пропала достаточно быстро ))

Опубликовано чт, 16/04/2009 - 06:19 пользователем golma1

TaKir написал:
Динамический, похоже )) Я уже исправил и залил новую версию одной книжки с объединением версий.
Из списка она пропала достаточно быстро ))

Оптимально! Ларину - очередной виват! :)

Опубликовано чт, 16/04/2009 - 09:01 пользователем F.CYXOB

Здравствуйте!
У меня есть минимум одна валидная книга, встретившаяся в списке (просто взгляд упал) - с Альда. Правда, я её ещё не читал / не вычитывал.
С удовольствием заменю. Список полистаю повнимательней, может быть ещё что-нибудь найду.

Как исправлять, удалять, добавлять? Хорошо бы иметь какую-нибудь однообразную методику или рекомендации.

Опубликовано чт, 16/04/2009 - 10:21 пользователем Bullfear

F.CYXOB написал:
Как исправлять, удалять, добавлять? Хорошо бы иметь какую-нибудь однообразную методику или рекомендации.

А в чем проблема то? Вон справа ссылка "Добавление книги", на нее жмете и выбираете fb2 до двух мегабайт. Все просто.

Опубликовано чт, 16/04/2009 - 10:38 пользователем F.CYXOB

OK! Добавил. А как реагировать (и надо ли) на полученное сообщение "Книга 47389 заменена на исправленную (удалить связь)"? Сорри, у меня мало опыта...

Опубликовано чт, 16/04/2009 - 11:04 пользователем Bullfear

Никак. Сервер нашел дубль и его удалил.

Опубликовано чт, 16/04/2009 - 11:16 пользователем lankier

Ура!

Цитата:
http://lib.rus.ec/stat/invalid

А хорошо бы это куда-нибудь на видное место.

Опубликовано чт, 16/04/2009 - 11:48 пользователем larin

lankier написал:
Ура!
Цитата:
http://lib.rus.ec/stat/invalid

А хорошо бы это куда-нибудь на видное место.

http://lib.rus.ec/stat/ - куда уж виднее. Всё там собрано.

Опубликовано пт, 17/04/2009 - 07:07 пользователем Igorek67

Всегда теперь худшие дубли автоматически удалять будут? Хорошо бы. А как оно само определяет, какая книга лучше?:)

Опубликовано пт, 17/04/2009 - 13:54 пользователем larin

Igorek67 написал:
Всегда теперь худшие дубли автоматически удалять будут? Хорошо бы. А как оно само определяет, какая книга лучше?:)

Оно так и было с самого начала.
Только повадки неестественного интеллекта меняются.

Опубликовано пт, 17/04/2009 - 14:07 пользователем Bullfear

larin написал:
Только повадки неестественного интеллекта меняются.

Вспомнилось "1.0:1.0 версия не лучше" по отношению к libruseс_kit :))) А потом еще было забавно, когда оставляло более позднюю дату - 2011 год, опять же Librusec_kit :)
Кстати, а как такая дата получилась?

Опубликовано пт, 17/04/2009 - 16:39 пользователем larin

Bullfear написал:
larin написал:
Только повадки неестественного интеллекта меняются.

Вспомнилось "1.0:1.0 версия не лучше" по отношению к libruseс_kit :))) А потом еще было забавно, когда оставляло более позднюю дату - 2011 год, опять же Librusec_kit :)
Кстати, а как такая дата получилась?

Чудны повадки неестественного интеллекта...

Опубликовано сб, 18/04/2009 - 06:17 пользователем F.CYXOB

Здравствуйте!

Возможно, в скрипте, формирующем список невалидных файлов, есть ошибка, связанная с чтением тега (book-title) или с монтированием его для вывода...

Файл из списка (цитата):
«img - Не гневи колдуна! (Гусляр - 6 : Гусляр навеки-4) 12K (365) (читать) (скачать) - Кир Булычев»

Скаченный (скачать - http://lib.rus.ec/b/9589/download ) невалидный файл имеет в теге (book-title): «Не гневи колдуна !». т.е., кроме невалидности, содержит ошибку и в названии книги - лишний пробел между словом и восклицательным знаком.

Вопрос: Откуда разница названий книги: в списке не так, как в файле?

Спасибо.

Опубликовано сб, 18/04/2009 - 06:49 пользователем lankier

F.CYXOB написал:
Откуда разница названий книги: в списке не так, как в файле?

В списке показаны названия из базы данных. Кто-то исправил ошибку через страницу редактирования книги, в базе данных появилось новое название, а в файле осталось старое.

Опубликовано сб, 18/04/2009 - 08:13 пользователем F.CYXOB

Спасибо!

Файл обновился удачно, судя по сообщению "Книга 9589 заменена на исправленную (удалить связь)".
А два дня назад он добавился как новый. Пришлось разбираться, удалять исправленный-добавленный, и просить помощи.

Опубликовано вс, 19/04/2009 - 03:20 пользователем nonduc

М-м-м, кажется, валидатор использует тот FictionBookGenres.xsd, в котором нету «Литературоведения» (sci_philology), — я сделал новый .fb2 для «Драмы на дне» (старый файл был в списке невалидных), а валидатор указал, что нету такого жанра в схеме. :( Получилась замена невалидного на… невалидное. :)

Или жанр «Литературоведение» можно проставлять только на страничке редактирования, а в самом дескрипшене *.fb2 его прописывать нельзя?

Опубликовано вс, 19/04/2009 - 05:05 пользователем oldvagrant

nonduc написал:
Или жанр «Литературоведение» можно проставлять только на страничке редактирования, а в самом дескрипшене *.fb2 его прописывать нельзя?

Этот жанр Ларин недавно добавил по просьбам трудящихся. В грибовском списке его нету.

Опубликовано вс, 19/04/2009 - 05:27 пользователем nonduc

Я ж сам и был этими «просящими трудящимися»! :D И то, что жанра нету в Грибовском списке, мне прекрасно известно. :)
У меня тут была не претензия к валидатору, а уточняющий вопрос к Ларину, только и всего.

Опубликовано вс, 19/04/2009 - 05:08 пользователем lankier

Хм.. :) А может действительно оторвать проверку жанров, раз уж движок сам их проверяет? Чтобы не повторяться. В общем я тут подправил xsd, если вдруг понадобится.

Опубликовано вс, 19/04/2009 - 05:32 пользователем nonduc

Не-не, не отрывай, полезная штука, пущай будет! Оченно удобно проверять файлы до заливки. И проверка жанров тоже нужна — мне, во всяком случае, ибо я с *.fb2 работаю не в спецредакторах, а в обычном текстовом, EditPlus’е. :)

Опубликовано вс, 19/04/2009 - 06:23 пользователем lankier

Ну тогда надо взять новый FictionBookGenres.xsd отсюда.

Опубликовано вс, 19/04/2009 - 06:36 пользователем nonduc

Спасибки! :)

Правда, я себе локально сей .xsd уже собственноручно поправил, но остальным пригодится, факт. Если, конечно, Ларин нам не скажет, что в дескрипшене эти либрусековские жанры прописывать нельзя.

Опубликовано вс, 19/04/2009 - 13:15 пользователем larin

nonduc написал:
Если, конечно, Ларин нам не скажет, что в дескрипшене эти либрусековские жанры прописывать нельзя.

Можно.
Мало-ли что там валидатор бурчит, пропустил - значит можно.

Опубликовано вс, 19/04/2009 - 13:52 пользователем nonduc

Gut! :)

Э-э-э… это в смысле, что можно в дескрипшене сразу жанр прописывать. А не обращать внимание на валидатор не смогу — Ordnung muß sein! Зиг одер Тод! Каррамба! :D

Опубликовано ср, 22/04/2009 - 12:43 пользователем oldvagrant

Досточтимый сэр, а нельзя ли чудный список невалидных файлов http://lib.rus.ec/stat/invalid имени камрада lankier'a снабдить нумерами спереди по порядку?
Он большой и в нем трудновато ориентироваться.
Можно, конечно, отгрызать книжки с концов, но бывает и в середине за что-то зацепишься....

Опубликовано ср, 22/04/2009 - 14:01 пользователем larin

oldvagrant написал:
Досточтимый сэр, а нельзя ли чудный список невалидных файлов http://lib.rus.ec/stat/invalid имени камрада lankier'a снабдить нумерами спереди по порядку?

Можно.

Опубликовано чт, 23/04/2009 - 06:46 пользователем oldvagrant

Большое спасибо!

Опубликовано чт, 23/04/2009 - 23:12 пользователем ngeht

Возможно где-то туплю, но выложил на ftp файл, который не проходит валидацию здесь, хотя прекрасно валидируется из .NET со схемой скачанной с www.fictionbook.org.
Файл A_Night_in_the_Lonesome_October.fb2
Выдаваемая ошибка наводит на мысли что срубилась не валидация - а скорее всего парсинг XML, причем не совсем понятно на чем - файл во вполне легальной Win-1252.
Fatal Error 6003: input conversion failed due to input error, bytes 0x8D 0x41 0x6E 0x64 on line 0
Fatal Error 6003: input conversion failed due to input error, bytes 0x8D 0x41 0x6E 0x64 on line 0
Error 1544: encoder error on line 0
Fatal Error 77: Premature end of data in tag p line 1420 in /www/ocr/A_Night_in_the_Lonesome_October.fb2 on line 1420
Fatal Error 77: Premature end of data in tag section line 1342 in /www/ocr/A_Night_in_the_Lonesome_October.fb2 on line 1420
Fatal Error 77: Premature end of data in tag body line 32 in /www/ocr/A_Night_in_the_Lonesome_October.fb2 on line 1420
Fatal Error 77: Premature end of data in tag FictionBook line 2 in /www/ocr/A_Night_in_the_Lonesome_October.fb2 on line 1420
Найдены ошибки!
Error 1872: The document has no document element. on line 0

Опубликовано пт, 24/04/2009 - 02:42 пользователем larin

ngeht написал:
Выдаваемая ошибка наводит на мысли что срубилась не валидация - а скорее всего парсинг XML, причем не совсем понятно на чем - файл во вполне легальной Win-1252.

Win-1252 совершенно нелегальна.
Легальных кодировок и так слишком много - две.
Правильная utf8 и неправильная 1251. Остальные - нелегальны.

Опубликовано пт, 24/04/2009 - 02:57 пользователем ngeht

Перевод в utf8 не спасает. Ошибка остается. Файл nlo1.fb2 на ftp.

Опубликовано пт, 24/04/2009 - 03:04 пользователем larin

Первый же экран - <p><Hi. I'm a watchdog.></p>
В fb2 нет тега <Hi.>

Опубликовано пт, 24/04/2009 - 03:10 пользователем ngeht

Это вообще-то кавычка типографская, а не угловая скобка. :-) Если смотреть бинарным вьюевром в 1252 - то код у неё не 0x3c, а 0xAB. Если в utf8 - два байта 0xC2, 0xAB. Как-то тег все-таки не так оформляется. ;-)
Посмотрите, pls, внимательно на ошибку - это не ошибка XSD валидатора.

Опубликовано пт, 24/04/2009 - 03:18 пользователем larin

ngeht написал:
Посмотрите, pls, внимательно на ошибку - это не ошибка XSD валидатора.

Указанная валидатором строчка (1420):
<p><8d>And the dizziness is not quite dizziness. It feels good."</p>
Что там за ужас вместо открывающей кавычки?

Опубликовано пт, 24/04/2009 - 03:46 пользователем ngeht

Спасибо, прошло.

Опубликовано пт, 24/04/2009 - 03:24 пользователем nonduc

Это никакая не «типографская» кавычка, а совершенно левый знак препинания. :)
Английские кавычки первого уровня — это “” (&_#8220; и &_#8221;). Английские «вложенные» кавычки — ‘’ (&_#8216; и &_#8217;). Пример: “quotes ‘inside’ quotes”.

Опубликовано сб, 25/04/2009 - 16:31 пользователем cancel

Хочу ещё предложить по ходу дела удалять мусор из названия книги (например, альтернативные названия) и переносить его по возможности в аннотацию. А также обновлять номер версии и добавлять историю изменений типа:

&lt;history>
  &lt;p>1.1 : xml and fb2 validation errors fixes&lt;/p>
&lt;/history>

Опубликовано сб, 25/04/2009 - 16:38 пользователем pkn

cancel написал:
Хочу ещё предложить по ходу дела удалять мусор из названия книги (например, альтернативные названия) и переносить его по возможности в аннотацию.

Хочу Вам предложить лучше продумывать свои предложения.

Опубликовано сб, 25/04/2009 - 17:05 пользователем cancel

pkn написал:
Хочу Вам предложить лучше продумывать свои предложения.

Мои предложения очень хорошо обдуманы и базируются на пятилетнем опыте работы с электронными библиотеками (MARC и всё такое, ага?). Так вот альтернативные названия, названия серии и прочее в названии книги — это мусор. Дополнительная информация помещается в соответствующие поля (серия в sequence), а если таковой нет — в комментарии.

Опубликовано сб, 25/04/2009 - 17:13 пользователем lankier

cancel написал:
Так вот альтернативные названия, названия серии и прочее в названии книги — это мусор.

Почему? (Ну кроме эстетических соображений)

Опубликовано сб, 25/04/2009 - 17:32 пользователем pkn

cancel написал:
Так вот альтернативные названия, названия серии и прочее в названии книги — это мусор. Дополнительная информация помещается в соответствующие поля (серия в sequence), а если таковой нет — в комментарии.

Где их становится невозможно найти поиском.

Опубликовано вс, 26/04/2009 - 02:50 пользователем cancel

pkn написал:
Где их становится невозможно найти поиском.

прикрутить поиск по аннотации не такая уж архисложная проблема.

Опубликовано вс, 26/04/2009 - 04:08 пользователем pkn

cancel написал:

прикрутить поиск по аннотации не такая уж архисложная проблема.

Клауза "Мои предложения очень хорошо обдуманы", как я понимаю, снимается. Вот и ладненько.

Страницы
X