Дубликаты в списках в Питоне

Маниакальный Веблог

Комментарии: 8

1. bogus

   3.10.06 23:47

   тут: http://aspn.activestate.com/ASPN/Cookbook/Python/Recipe/52560

   способ все тот же в целом... ну и коменты рулят...

2. Konstantin

   4.10.06 00:21

   Почему бы не воспользоваться set:

   lst = set(lst)

   или:

   lst = list(set(lst))

   Работает только в python >=2.4, если я не ошибаюсь.

3. Иван Сагалаев

   4.10.06 01:19

   О, множества -- это интересно! Спасибо.

   Хотя тоже вариант не на все случаи, потому что порядок не схраняют. Как, впрочем, и способ через dict.

4. Grigoriy Petukhov

   4.10.06 08:55

   Python Cookbook от О'Рейли - неплохая книженция.
   В частности, там есть рецепты по удалению дубликатов из списков. Далее код.
   Порядок не сохраняется:

   
   # support 2.3 as well as 2.4
   
   try: set
   except NameError: from sets import Set as set
   def unique(s):
       """ Return a list of the elements in s in arbitrary order, but without
           duplicates. """
       # Try using a set first, because it's the fastest and will usually work
       try:
           return list(set(s))
        except TypeError:
           pass  # Move on to the next method
       # Since you can't hash all elements, try sorting, to bring equal items
       # together and then weed them out in a single pass
       t = list(s)
       try:
           t.sort( )
       except TypeError:
           del t  # Move on to the next method
       else:
           # the sort worked, so we're fine -- do the weeding
           return [x for i, x in enumerate(t) if not i or x != t[i-1]]
       # Brute force is all that's left
       u = [  ]
       for x in s:
           if x not in u:
               u.append(x)
       return u
   

   Порядок сохраняется:

   
   # support 2.3 as well as 2.4
   
   try: set
   except NameError: from sets import Set as set
   
   # f defines an equivalence relation among items of sequence seq, and
   # f(x) must be hashable for each item x of seq
   
   def uniquer(seq, f=None):
       """ Keeps earliest occurring item of each f-defined equivalence class """
       if f is None:    # f's default is the identity function f(x) -> x
           def f(x): return x
       already_seen = set( )
       result = [  ]
       for item in seq:
           marker = f(item)
           if marker not in already_seen:
                already_seen.add(marker)
                result.append(item)
       return result
   

5. Mkdir

   4.10.06 11:16

   >>> d = [1, 1, 2, 2, 3, 3]
   >>> list(set(d))
   [1, 2, 3]
   

6. wiz

   9.10.06 11:24

   Если порядок не важен, то set. Если важен, то словарь + your_list.index()

7. Александр Пискарёв

   26.04.07 00:14

   А попробуйте вот это :)

   lst2=reduce(lambda l,i: l if i in l else l+[i],lst,[])

8. Александр Пискарёв

   26.04.07 01:15

   Или так (наверное, побыстрее будет):
   result=[v for i,v in enumerate(src_lst) if v not in src_lst[:i]]

Добавить комментарий