CSV-bestanden lezen in Python

In deze tutorial leren we met behulp van voorbeelden CSV-bestanden met verschillende formaten in Python lezen.

We gaan csvvoor deze taak exclusief de module gebruiken die in Python is ingebouwd. Maar eerst zullen we de module moeten importeren als:

 import csv

We hebben al de basisprincipes besproken van het gebruik van de csvmodule om CSV-bestanden te lezen en erin te schrijven. Als je geen idee hebt over het gebruik van de csvmodule, bekijk dan onze tutorial over Python CSV: CSV-bestanden lezen en schrijven

Basisgebruik van csv.reader ()

Laten we eens kijken naar een eenvoudig voorbeeld van het gebruik csv.reader()om uw bestaande kennis op te frissen.

Voorbeeld 1: CSV-bestanden lezen met csv.reader ()

Stel dat we een CSV-bestand hebben met de volgende vermeldingen:

 SN, naam, bijdrage 1, Linus Torvalds, Linux Kernel 2, Tim Berners-Lee, World Wide Web 3, Guido van Rossum, Python Programming

We kunnen de inhoud van het bestand lezen met het volgende programma:

 import csv with open('innovators.csv', 'r') as file: reader = csv.reader(file) for row in reader: print(row)

Uitvoer 

 ('SN', 'Naam', 'Bijdrage') ('1', 'Linus Torvalds', 'Linux Kernel') ('2', 'Tim Berners-Lee', 'World Wide Web') ('3' , 'Guido van Rossum', 'Python Programming')

Hier hebben we het innovators.csv- bestand geopend in de leesmodus met behulp van de open()functie.

Ga voor meer informatie over het openen van bestanden in Python naar: Python File Input / Output

Vervolgens wordt de csv.reader()gebruikt om het bestand te lezen, dat een itereerbaar readerobject retourneert .

Het readerobject wordt vervolgens herhaald met behulp van een forlus om de inhoud van elke rij af te drukken.

Nu gaan we kijken naar CSV-bestanden met verschillende formaten. We zullen dan leren hoe we de csv.reader()functie kunnen aanpassen om ze te lezen.

CSV-bestanden met aangepaste scheidingstekens

Standaard wordt een komma gebruikt als scheidingsteken in een CSV-bestand. Sommige CSV-bestanden kunnen echter andere scheidingstekens gebruiken dan een komma. Er zijn |maar weinig populaire zijn en .

Stel dat de innovators.csv bestand in Voorbeeld 1 gebruikte tab als scheidingsteken. Om het bestand te lezen, kunnen we een extra delimiterparameter aan de csv.reader()functie doorgeven .

Laten we een voorbeeld nemen.

Voorbeeld 2: CSV-bestand lezen met tabscheidingsteken

 import csv with open('innovators.csv', 'r') as file: reader = csv.reader(file, delimiter = ' ') for row in reader: print(row)

Uitvoer 

 ('SN', 'Naam', 'Bijdrage') ('1', 'Linus Torvalds', 'Linux Kernel') ('2', 'Tim Berners-Lee', 'World Wide Web') ('3' , 'Guido van Rossum', 'Python Programming')

Zoals we kunnen zien, delimiter = ' 'helpt de optionele parameter bij het specificeren van het readerobject waarvan het CSV-bestand waaruit we lezen, tabs als scheidingsteken heeft.

CSV-bestanden met beginspaties

Sommige CSV-bestanden kunnen een spatie na een scheidingsteken hebben. Als we de standaardfunctie csv.reader()gebruiken om deze CSV-bestanden te lezen, krijgen we ook spaties in de uitvoer.

Om deze eerste spaties te verwijderen, moeten we een extra parameter doorgeven met de naam skipinitialspace. Laten we een voorbeeld bekijken:

Voorbeeld 3: lees CSV-bestanden met beginspaties

Stel dat we een CSV-bestand hebben met de naam people.csv met de volgende inhoud:

 SN, naam, stad 1, John, Washington 2, Eric, Los Angeles 3, Brad, Texas

We kunnen het CSV-bestand als volgt lezen:

 import csv with open('people.csv', 'r') as csvfile: reader = csv.reader(csvfile, skipinitialspace=True) for row in reader: print(row)

Uitvoer 

 ('SN', 'Naam', 'Plaats') ('1', 'John', 'Washington') ('2', 'Eric', 'Los Angeles') ('3', 'Brad', ' Texas')

Het programma is vergelijkbaar met andere voorbeelden, maar heeft een extra skipinitialspaceparameter die is ingesteld op True.

Hierdoor readerweet het object dat de vermeldingen een aanvankelijke witruimte hebben. Als gevolg hiervan worden de eerste spaties die aanwezig waren na een scheidingsteken verwijderd.

CSV-bestanden met aanhalingstekens

Sommige CSV-bestanden kunnen aanhalingstekens hebben rond elk of enkele items.

Let's take quotes.csv as an example, with the following entries:

 "SN", "Name", "Quotes" 1, Buddha, "What we think we become" 2, Mark Twain, "Never regret anything that made you smile" 3, Oscar Wilde, "Be yourself everyone else is already taken"

Using csv.reader() in minimal mode will result in output with the quotation marks.

In order to remove them, we will have to use another optional parameter called quoting.

Let's look at an example of how to read the above program.

Example 4: Read CSV files with quotes

 import csv with open('person1.csv', 'r') as file: reader = csv.reader(file, quoting=csv.QUOTE_ALL, skipinitialspace=True) for row in reader: print(row)

Output 

 ('SN', 'Name', 'Quotes') ('1', 'Buddha', 'What we think we become') ('2', 'Mark Twain', 'Never regret anything that made you smile') ('3', 'Oscar Wilde', 'Be yourself everyone else is already taken')

As you can see, we have passed csv.QUOTE_ALL to the quoting parameter. It is a constant defined by the csv module.

csv.QUOTE_ALL specifies the reader object that all the values in the CSV file are present inside quotation marks.

There are 3 other predefined constants you can pass to the quoting parameter:

  • csv.QUOTE_MINIMAL - Specifies reader object that CSV file has quotes around those entries which contain special characters such as delimiter, quotechar or any of the characters in lineterminator.
  • csv.QUOTE_NONNUMERIC - Specifies the reader object that the CSV file has quotes around the non-numeric entries.
  • csv.QUOTE_NONE - Specifies the reader object that none of the entries have quotes around them.

Dialects in CSV module

Notice in Example 4 that we have passed multiple parameters (quoting and skipinitialspace) to the csv.reader() function.

This practice is acceptable when dealing with one or two files. But it will make the code more redundant and ugly once we start working with multiple CSV files with similar formats.

As a solution to this, the csv module offers dialect as an optional parameter.

Dialect helps in grouping together many specific formatting patterns like delimiter, skipinitialspace, quoting, escapechar into a single dialect name.

It can then be passed as a parameter to multiple writer or reader instances.

Example 5: Read CSV files using dialect

Suppose we have a CSV file (office.csv) with the following content:

 "ID"| "Name"| "Email" "A878"| "Alfonso K. Hamby"| "[email protected]" "F854"| "Susanne Briard"| "[email protected]" "E833"| "Katja Mauer"| "[email protected]"

The CSV file has initial spaces, quotes around each entry, and uses a | delimiter.

Instead of passing three individual formatting patterns, let's look at how to use dialects to read this file.

 import csv csv.register_dialect('myDialect', delimiter='|', skipinitialspace=True, quoting=csv.QUOTE_ALL) with open('office.csv', 'r') as csvfile: reader = csv.reader(csvfile, dialect='myDialect') for row in reader: print(row)

Output 

 ('ID', 'Name', 'Email') ("A878", 'Alfonso K. Hamby', '[email protected]') ("F854", 'Susanne Briard', '[email protected]') ("E833", 'Katja Mauer', '[email protected]')

From this example, we can see that the csv.register_dialect() function is used to define a custom dialect. It has the following syntax:

 csv.register_dialect(name(, dialect(, **fmtparams)))

The custom dialect requires a name in the form of a string. Other specifications can be done either by passing a sub-class of Dialect class, or by individual formatting patterns as shown in the example.

While creating the reader object, we pass dialect='myDialect' to specify that the reader instance must use that particular dialect.

The advantage of using dialect is that it makes the program more modular. Notice that we can reuse 'myDialect' to open other files without having to re-specify the CSV format.

Read CSV files with csv.DictReader()

The objects of a csv.DictReader() class can be used to read a CSV file as a dictionary.

Example 6: Python csv.DictReader()

Suppose we have a CSV file (people.csv) with the following entries:

Name Age Profession
Jack 23 Doctor
Miller 22 Engineer

Let's see how csv.DictReader() can be used.

 import csv with open("people.csv", 'r') as file: csv_file = csv.DictReader(file) for row in csv_file: print(dict(row))

Output 

 ('Name': 'Jack', ' Age': ' 23', ' Profession': ' Doctor') ('Name': 'Miller', ' Age': ' 22', ' Profession': ' Engineer')

As we can see, the entries of the first row are the dictionary keys. And, the entries in the other rows are the dictionary values.

Here, csv_file is a csv.DictReader() object. The object can be iterated over using a for loop. The csv.DictReader() returned an OrderedDict type for each row. That's why we used dict() to convert each row to a dictionary.

Notice that we have explicitly used the dict() method to create dictionaries inside the for loop.

 print(dict(row))

Note: Starting from Python 3.8, csv.DictReader() returns a dictionary for each row, and we do not need to use dict() explicitly.

The full syntax of the csv.DictReader() class is:

 csv.DictReader(file, fieldnames=None, restkey=None, restval=None, dialect='excel', *args, **kwds)

To learn more about it in detail, visit: Python csv.DictReader() class

Using csv.Sniffer class

The Sniffer class is used to deduce the format of a CSV file.

The Sniffer class offers two methods:

  • sniff(sample, delimiters=None) - This function analyses a given sample of the CSV text and returns a Dialect subclass that contains all the parameters deduced.

An optional delimiters parameter can be passed as a string containing possible valid delimiter characters.

  • has_header(sample) - This function returns True or False based on analyzing whether the sample CSV has the first row as column headers.

Let's look at an example of using these functions:

Example 7: Using csv.Sniffer() to deduce the dialect of CSV files

Suppose we have a CSV file (office.csv) with the following content:

 "ID"| "Name"| "Email" A878| "Alfonso K. Hamby"| "[email protected]" F854| "Susanne Briard"| "[email protected]" E833| "Katja Mauer"| "[email protected]"

Let's look at how we can deduce the format of this file using csv.Sniffer() class:

 import csv with open('office.csv', 'r') as csvfile: sample = csvfile.read(64) has_header = csv.Sniffer().has_header(sample) print(has_header) deduced_dialect = csv.Sniffer().sniff(sample) with open('office.csv', 'r') as csvfile: reader = csv.reader(csvfile, deduced_dialect) for row in reader: print(row)

Output 

 True ('ID', 'Name', 'Email') ('A878', 'Alfonso K. Hamby', '[email protected]') ('F854', 'Susanne Briard', '[email protected]') ('E833', 'Katja Mauer', '[email protected]')

As you can see, we read only 64 characters of office.csv and stored it in the sample variable.

This sample was then passed as a parameter to the Sniffer().has_header() function. It deduced that the first row must have column headers. Thus, it returned True which was then printed out.

Evenzo werd het monster ook doorgegeven aan de Sniffer().sniff()functie. Het retourneerde alle afgeleide parameters als een Dialectsubklasse die vervolgens werd opgeslagen in de variabele deduced_dialect.

Later hebben we het CSV-bestand opnieuw geopend en de deduced_dialectvariabele als parameter doorgegeven aan csv.reader().

Het was de juiste wijze kunnen voorspellen delimiter, quotingen skipinitialspaceparameters in het office.csv bestand zonder dat we ze expliciet te noemen.

Opmerking: de csv-module kan ook worden gebruikt voor andere bestandsextensies (zoals: .txt ), zolang de inhoud de juiste structuur heeft.

Aanbevolen literatuur: schrijf naar CSV-bestanden in Python

Interessante artikelen...