Деакцентирование букв по-питоновски

Под деакцентированием я имею в виду убирание закорючек, черточек, крышечек и прочих умляутов с букв европейских (и не только) алфавитов. Задачка такая то и дело возникает при поиске строк.

Насколько я успел заметить, принятый способ решения — просто составление таблиц вида "á" → "a", "è" → "e" и т.д. Способ хороший, но трудоемкий. И насколько я, опять же, успел заметить, какой-то одной универсальной таблицы нет, и все составляют свои (или копируют первую понравившуюся). Мне захотелось поделиться своим решением, которое использует интересные свойства Юникода.

Кстати, слово "интересно" — это известный программистский эвфемизм для понятия "работает, но непонятно, зачем так было извращаться".

Интересное свойство Юникода заключается в том, что для букв с закорючками у него предусмотрены разные формы представления: в одной буква с закорючкой представляется как единый символ, а в другой, как два — буква отдельно, закорючка отдельно.

NFC и NFD — это как раз названия этих форм нормализации.

Идея избавления от закорючек, соответственно, очень простая: представить символы в разобранном (NFD) виде и повыкидывать те, которые закорючки. В Питоне для таких операций над Юникодом есть специальный модуль — unicodedata. В нем, в частности, есть две функции:

• normalize, которая переводит юникодную строку в одну из форм нормализации
• combining, которая возвращает, выражаясь топорно, "класс закорючки" — некий номер, означающий к какой группе закорючек она относится или нуль, если это не закорючка

Соотвественно весь процесс выглядит очень просто:

def deaccent(value):
  from unicodedata import normalize, combining
  value = normalize('NFD', value)
  value = u''.join(c for c in value if not combining(c))
  return value

Это работает, причем, не только для европейских алфавитов, но и например для русских "ё" и "й".

Но есть отдельный вид закорючек, для которых этот способ не работает. Это так называемые "черточки" ("dash"), которые не отделяются от букв в NFD-форме. Я поленился выяснить, почему именно они не отделяются, но у меня есть догадка, что это просто от того, что эти самые черточки очень разные, и их не получается нормально классифицировать: "ø", "Ł", "Đ".

И вот специально для них я составил таки табличку. Получилось так:

def deaccent(value):
  STROKES = {
    u'Ø': u'O', u'ø': u'o',
    u'Đ': u'D', u'đ': u'd',
    u'Ħ': u'H', u'ħ': u'h',
    u'Ł': u'L', u'ł': u'l',
    u'Ŧ': u'T', u'ŧ': u't',
  }
  from unicodedata import normalize, combining
  value = normalize('NFD', value)
  value = u''.join(c for c in value if not combining(c))
  value = u''.join(STROKES.get(c, c) for c in value)
  return value

Вот в таком, приблизительно, виде оно у меня работает в музыкальном сервисе, где каких только написаний исполнителей и альбомов ни встречается.

Для тех, кто еще не спит. Впрочем, с перфекционистской точки зрения, этого для нормализации все равно может не хватать. Помимо букв с акцентами существуют еще и лигатуры — соединения двух рядом стоящих букв в одну по чисто эстетическим соображениям (например "œ" и "ij"; попробуйте выделить — это целые "буквы"). NFD-форма с ними ничего сделать не может (и не должна), но есть еще NFKD-форма (хе-хе :-) ), которая, по идее, как раз придумана, чтобы заменять всякие "научные излишества" на совместимые с ними распространенные буквы. Но и она работает странно: "ij" разделяет на "i" и "j", а "œ" не разделяет. Я в своих исследованиях на этой стадии застрял и постановил, что раз лигатура — это только вариант начертания, а не самостоятельный символ, то можно просто от юзеров требовать, чтобы лигатуры не использовали. Нефиг...