So entfernen Sie Duplikate aus einer Liste in Python

Python Duplikate aus einer Liste entfernen

Eine Liste ist ein Container, der verschiedene Python Objekte, die ganze Zahlen, Wörter, Werte usw. sein können. Es entspricht einem Array in anderen Programmiersprachen.

Hier werden wir verschiedene Möglichkeiten durchgehen, wie wir Duplikate aus einer gegebenen Liste entfernen können. Python.

Methode 1) Entfernen Sie Duplikate mit „Set“ aus der Liste

Um Duplikate aus einer Liste zu entfernen, kann man die eingebaute Funktion set() verwenden. Die Besonderheit der set()-Methode ist, dass sie eindeutige Elemente zurückgibt.

Wir haben die Liste [1,1,2,3,2,2,4,5,6,2,1]. Diese Liste enthält viele Duplikate, die wir entfernen müssen, um nur die eindeutigen Elemente zu erhalten. Die Liste wird der eingebauten Funktion `set()` übergeben. Later Die endgültige Liste wird mithilfe der integrierten Funktion list() angezeigt.

Das Ergebnis sind eindeutige Elemente, wobei alle Duplikate entfernt wurden.

Beispiel

my_list = [1,1,2,3,2,2,4,5,6,2,1]
my_final_list = set(my_list)
print(list(my_final_list))

Ausgang:

[1, 2, 3, 4, 5, 6]

Methode 2) Verwenden der temporären Liste

Um Duplikate aus einer Liste zu entfernen, kann man eine leere temporäre Liste verwenden. Dazu muss man zunächst die Liste mit den Duplikaten durchlaufen und die eindeutigen Elemente der temporären Liste hinzufügen. Later die temporäre Liste wird der Hauptliste zugeordnet.

Beispiel

Hier ist ein funktionierendes Beispiel mit einer temporären Liste.

my_list = [1, 2, 3, 1, 2, 4, 5, 4 ,6, 2]
print("List Before ", my_list)
temp_list = []

for i in my_list:
    if i not in temp_list:
        temp_list.append(i)

my_list = temp_list

print("List After removing duplicates ", my_list)

Ausgang:

List Before  [1, 2, 3, 1, 2, 4, 5, 4, 6, 2]
List After removing duplicates  [1, 2, 3, 4, 5, 6]

Methode 3) Verwenden von Dict

Duplikate lassen sich aus der gegebenen Liste entfernen, indem man `OrderedDict` aus dem Paket `collections` importiert. Dieses ist ab Python 2.7 verfügbar. `OrderedDict` sorgt dafür, dass die eindeutigen Elemente in der Reihenfolge zurückgegeben werden, in der der Schlüssel vorkommt.

Wir verwenden eine Liste und nutzen die Methode fromkeys() aus OrderedDict, um die eindeutigen Elemente aus der Liste zu erhalten.

Um die Methode OrderedDict.fromkeys() nutzen zu können, müssen Sie OrderedDict aus collections importieren, wie unten gezeigt:

from collections import OrderedDict

Hier ist ein Beispiel zum Entfernen von Duplikaten mithilfe der Methode OrderedDict.fromkeys().

Beispiel

from collections import OrderedDict

my_list = ['a','x','a','y','a','b','b','c']

my_final_list = OrderedDict.fromkeys(my_list)

print(list(my_final_list))

Ausgang:

['a', 'x', 'y', 'b', 'c']

Von Python Ab Version 3.5 können wir die reguläre Methode `dict.fromkeys()` verwenden, um die eindeutigen Elemente einer Liste zu erhalten. Die Methode `dict.fromkeys()` gibt eindeutige Schlüssel zurück und hilft so, doppelte Werte zu entfernen.

Ein Beispiel, das die Funktionsweise von dict.fromkeys() auf einer Liste zur Ermittlung der eindeutigen Elemente veranschaulicht, ist folgendes:

Beispiel

my_list = ['a','x','a','y','a','b','b','c']
my_final_list = dict.fromkeys(my_list)
print(list(my_final_list))

Ausgang:

['a', 'x', 'y', 'b', 'c']

Methode 4) For-Schleife verwenden

Die Verwendung von for-Schleife, werden wir die Liste der Elemente durchgehen, um Duplikate zu entfernen.

Zuerst wird das Array leer initialisiert, also `myFinallist = []`. Innerhalb der for-Schleife wird geprüft, ob die Elemente der Liste bereits im Array `myFinallist` vorhanden sind. Falls nicht, wird das Element mithilfe der `append()`-Methode hinzugefügt.

Wenn also ein doppeltes Element gefunden wird, ist es bereits im Array „myFinallist“ vorhanden und wird nicht eingefügt. Betrachten wir nun das folgende Beispiel:

Beispiel

my_list = [1,2,2,3,1,4,5,1,2,6]
myFinallist = []
for i in my_list:
    if i not in myFinallist:
myFinallist.append(i)
print(list(myFinallist))

Ausgang:

[1, 2, 3, 4, 5, 6]

Methode 5) Verwendung des Listenverständnisses

Listenverständnisse sind Python Funktionen, die zum Erstellen neuer Sequenzen (wie Listen, Wörterbücher usw.) unter Verwendung bereits erstellter Sequenzen verwendet werden. Dies hilft Ihnen, längere Schleifen zu reduzieren und Ihren Code leichter lesbar und wartbar zu machen.

Nutzen wir das Listenverständnis, um Duplikate aus der angegebenen Liste zu entfernen.

Beispiel

my_list = [1,2,2,3,1,4,5,1,2,6]
my_finallist = []
[my_finallist.append(n) for n in my_list if n not in my_finallist]
print(my_finallist)

Ausgang:

[1, 2, 3, 4, 5, 6]

Methode 6) Verwendung der NumPy-Methode unique()

Die Methode unique() aus dem NumPy-Modul kann uns dabei helfen, Duplikate aus der gegebenen Liste zu entfernen.

Um mit NumPy zu arbeiten, importieren Sie zuerst das NumPy-Modul:

Schritt 1) NumPy-Modul importieren

import numpy as np

Schritt 2) Verwenden Sie Ihre Liste mit Duplikaten innerhalb der Methode `unique()`. Die Ausgabe wird mithilfe der Methode `tolist()` wieder in eine Liste umgewandelt.

myFinalList = np.unique(my_list).tolist()

Schritt 3) Zum Schluss die Liste ausgeben:

print(myFinalList)

Der endgültige Code mit Ausgabe lautet wie folgt:

import numpy as np
my_list = [1,2,2,3,1,4,5,1,2,6]
myFinalList = np.unique(my_list).tolist()
print(myFinalList)

Ausgang:

[1, 2, 3, 4, 5, 6]

Methode 7) Verwendung von Pandas-Methoden

Das Pandas-Modul verfügt über eine unique()-Methode, die uns die eindeutigen Elemente aus der angegebenen Liste liefert.

So arbeiten Sie mit dem Pandas-Modul:

Schritt 1) Pandas-Modul importieren

import pandas as pd

Schritt 2) Verwenden Sie Ihre Liste mit Duplikaten innerhalb der unique()-Methode:

myFinalList = pd.unique(my_list).tolist()

Schritt 3) Liste ausdrucken:

print(myFinalList)

Der endgültige Code mit Ausgabe lautet wie folgt:

import pandas as pd

my_list = [1,2,2,3,1,4,5,1,2,6]
myFinalList = pd.unique(my_list).tolist()
print(myFinalList)

Ausgang:

[1, 2, 3, 4, 5, 6]

Methode 8) Verwendung von enumerate() und Listenverständnis

Hier verwenden wir eine Kombination aus List Comprehension und `enumerate()`, um doppelte Elemente zu entfernen. `enumerate()` gibt ein Objekt mit einem Zähler für jedes Element in der Liste zurück, z. B. (0,1), (1,2) usw. Der erste Wert ist der Index, der zweite das jeweilige Listenelement.

Es wird geprüft, ob jedes Element in der Liste vorhanden ist; falls ja, wird es aus der Liste entfernt.

Beispiel

my_list = [1,2,2,3,1,4,5,1,2,6]
my_finallist = [i for j, i in enumerate(my_list) if i not in my_list[:j]]
print(list(my_finallist))

Ausgang:

[1, 2, 3, 4, 5, 6]

Häufig gestellte Fragen