Rešeno: table pandas v postgresql

Zadnja posodobitev: 09/11/2023
Avtor: Python SourceTrail

V svetu analize in manipulacije podatkov je ena najbolj priljubljenih knjižnic Python Pandas . Ponuja vrsto zmogljivih orodij za delo s strukturiranimi podatki, kar olajša manipulacijo, vizualizacijo in analizo. Ena od številnih nalog, s katerimi se lahko sreča analitik podatkov, je uvoz podatkov iz datoteke CSV v bazo podatkov PostgreSQL . V tem članku bomo razpravljali o tem, kako učinkovito in uspešno opraviti to nalogo z uporabo Pandas in knjižnice psycopg2 . Raziskali bomo tudi različne funkcije in knjižnice, ki sodelujejo v tem procesu, in tako zagotovili celovito razumevanje rešitve.

Uvod v Pandas in PostgreSQL

Pandas je zmogljiva knjižnica Python, ki zagotavlja podatkovne strukture, enostavne za uporabo, in funkcije za obdelavo podatkov za analizo podatkov. To je še posebej uporabno, ko imate opravka z velikimi nabori podatkov ali ko morate izvesti zapletene transformacije podatkov. PostgreSQL pa je brezplačen in odprtokoden objektno-relacijski sistem za upravljanje baz podatkov (ORDBMS), ki poudarja razširljivost in skladnost s SQL. Široko se uporablja za obsežne, zapletene naloge upravljanja podatkov.

Zdaj pa recimo, da imamo datoteko CSV, ki vsebuje velik nabor podatkov, in jo želimo uvoziti v bazo podatkov PostgreSQL. Običajen način za doseganje te naloge je uporaba Pande v kombinaciji s knjižnico psycopg2, ki zagotavlja adapter za baze podatkov PostgreSQL, ki nam omogoča komunikacijo z njo s pomočjo Pythona.

Pandas: branje datotek CSV

Prvi korak v našem procesu je branje vsebine naše datoteke CSV s programom Pandas.

import pandas as pd

filename = "example.csv"
df = pd.read_csv(filename)

Ta koda uporablja funkcijo pd.read_csv() , ki prebere datoteko CSV in vrne objekt DataFrame. Z objektom DataFrame lahko preprosto manipuliramo s podatki in jih analiziramo.

Povezovanje z bazo podatkov PostgreSQL

Naslednji korak je povezava z našo bazo podatkov PostgreSQL s pomočjo knjižnice psycopg2. Da bi to naredili, moramo namestiti knjižnico psycopg2, kar lahko storimo z uporabo pip:

pip install psycopg2

Ko je knjižnica nameščena, se moramo povezati z našo bazo podatkov PostgreSQL:

import psycopg2

connection = psycopg2.connect(
    dbname="your_database_name",
    user="your_username",
    password="your_password",
    host="your_hostname",
    port="your_port",
)

Funkcija psycopg2.connect() vzpostavi povezavo s strežnikom baze podatkov z uporabo podanih poverilnic. Če je povezava uspešna, funkcija vrne objekt povezave, ki ga bomo uporabili za interakcijo z bazo podatkov.

Ustvarjanje tabele v PostgreSQL

Zdaj, ko imamo podatke v objektu DataFrame in povezavo z bazo podatkov PostgreSQL, lahko v bazi podatkov ustvarimo tabelo za shranjevanje naših podatkov.

cursor = connection.cursor()
create_table_query = '''
CREATE TABLE IF NOT EXISTS example_table (
    column1 data_type,
    column2 data_type,
    ...
)
'''
cursor.execute(create_table_query)
connection.commit()

V tem delčku kode najprej ustvarimo objekt kurzorja z metodo connection.cursor() . Kurzor se uporablja za izvajanje operacij v zbirki podatkov, kot sta ustvarjanje tabel in vstavljanje podatkov. Nato definiramo poizvedbo SQL za ustvarjanje tabele in jo izvedemo z metodo cursor.execute() . Na koncu spremembe potrdimo v zbirko podatkov z metodo connection.commit().

Vstavljanje podatkov v bazo PostgreSQL

Zdaj, ko imamo tabelo, lahko podatke iz našega DataFrame-a vstavimo v bazo podatkov PostgreSQL z uporabo metode to_sql(), ki jo ponuja Pandas.

from sqlalchemy import create_engine

engine = create_engine("postgresql://your_username:your_password@your_hostname:your_port/your_database_name")
df.to_sql("example_table", engine, if_exists="append", index=False)

V tem delčku kode najprej ustvarimo mehanizem baze podatkov z uporabo funkcije create_engine() knjižnice SQLAlchemy, ki zahteva povezovalni niz, ki vsebuje naše poverilnice za bazo podatkov. Nato z metodo to_sql() vstavimo podatke iz našega DataFrame v tabelo »example_table« v bazi podatkov PostgreSQL.

Na koncu ta članek ponuja izčrpen vodnik o tem, kako uvoziti podatke iz datoteke CSV v bazo podatkov PostgreSQL z uporabo Pandas in psycopg2. Z združevanjem enostavnosti manipulacije podatkov v Pandas z močjo in razširljivostjo PostgreSQL lahko dosežemo brezhibno in učinkovito rešitev za običajno nalogo uvažanja podatkov CSV v bazo podatkov.

Podobni objav: