Pandas를 활용한 데이터 연결과 병합 : concat()과 merge()의 비교

< CONCATENATING AND MERGING >

Reference: https://pandas.pydata.org/pandas-docs/stable/merging.html

 

# 판다스를 활용하여 데이터끼리 연결과 병합을 해보자

# 우선 예제 실행에 필요한 데이터 프레임 세개를 생성하여 각각 df1, df2, df3 으로 메모리에 업로드 한다.

 

df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],
                    'B': ['B0', 'B1', 'B2', 'B3'],
                    'C': ['C0', 'C1', 'C2', 'C3'],
                    'D': ['D0', 'D1', 'D2', 'D3']},
index=[0, 1, 2, 3])

 

df2 = pd.DataFrame({'A': ['A4', 'A5', 'A6', 'A7'],
                    'B': ['B4', 'B5', 'B6', 'B7'],
                    'C': ['C4', 'C5', 'C6', 'C7'],
                    'D': ['D4', 'D5', 'D6', 'D7']},
index=[4, 5, 6, 7]) 

 

df3 = pd.DataFrame({'A': ['A8', 'A9', 'A10', 'A11'],
                    'B': ['B8', 'B9', 'B10', 'B11'],
                    'C': ['C8', 'C9', 'C10', 'C11'],
                    'D': ['D8', 'D9', 'D10', 'D11']},
index=[8, 9, 10, 11])

 

# 컬럼이 동일한 데이터프레임 3개를 한개로 합친다.

# 컬럼명이 같으면, 여러 데이터 프레임을 하나로 합칠 수 있다.
pd.concat( [df1, df2, df3] )

 

# 순서를 바꾸고 싶으면 앞에 쓰면 된다
pd.concat( [df2, df1, df3] )

 

# 두개만 합치고 싶으면 두개만 적으면 됨
pd.concat([ df3, df1 ])

 

< 새로운 데이터를 생성하여 컬럼이 다른경우를 다뤄보자 >

 

# Creating a dataframe from a dictionary
raw_data = {
        'Employee ID': ['1', '2', '3', '4', '5'],
        'first name': ['Diana', 'Cynthia', 'Shep', 'Ryan', 'Allen'], 
        'last name': ['Bouchard', 'Ali', 'Rob', 'Mitch', 'Steve']}
df_Engineering_dept = pd.DataFrame(raw_data, columns = ['Employee ID', 'first name', 'last name'])

df_Engineering_dept

df_Engineering_dept

 

raw_data = {
        'Employee ID': ['6', '7', '8', '9', '10'],
        'first name': ['Bill', 'Dina', 'Sarah', 'Heather', 'Holly'], 
        'last name': ['Christian', 'Mo', 'Steve', 'Bob', 'Michelle']}
df_Finance_dept = pd.DataFrame(raw_data, columns = ['Employee ID', 'first name', 'last name'])
df_Finance_dept

df_Finance_dept

 

raw_data = {
        'Employee ID': ['1', '2', '3', '4', '5', '7', '8', '9', '10'],
        'Salary [$/hour]': [25, 35, 45, 48, 49, 32, 33, 34, 23]}
df_salary = pd.DataFrame(raw_data, columns = ['Employee ID','Salary [$/hour]'])
df_salary

df_salary

 

# 컬럼이 같은 데이터를 합치고, 컬럼이 다른 데이터는??
pd.concat( [df_Engineering_dept ,df_Finance_dept] )

df_Engineering_dept + df_Finance_dept

 

# 컬럼이 같은 데이터는 하나의 변수로 저장
df_all = pd.concat( [df_Engineering_dept ,df_Finance_dept] )

df_all =&nbsp; df_Engineering_dept + df_Finance_dept

 

# df_salary를 봤을때 ID는 같으므로 ID 컬럼을 연결하여 합친다.

 

# merge 함수는 딱 2개의 데이터프레임만 가능하다!!

# concat 은 컬럼만 같으면 개수에 상관이 없지만 merge는 딱 두개만!
# merge 함수는, 공통의 컬럼이 있어서, 해당 컬럼으로 연결시킬수 있을때 사용한다.

 

pd.merge( df_all , df_salary , on= 'Employee ID' )

df_all + df_salary

 

# 이렇게 합쳐보니 df_all 데이터에 있던 6번 Bill 데이터가 사라짐 (df_salary에 6번 정보가 없음)
# merge 함수는 기본적으로 대칭적으로 모든 데이터가 있어야 모두 출력됨

 

## 이럴 경우 빈칸데이터 까지 같이 출력시키고 싶을때 ##
# 왼쪽 데이터프레임의 데이터는 모두 살리고 싶다. (오른쪽을 살리고 싶으면 how = 'right')
# 오른쪽 데이터프레임에 없는 데이터는 nan 으로 표시하도록 하자.

pd.merge( df_all , df_salary , on= 'Employee ID' , how = 'left')

ㄴ 이제 빈칸은 NaN으로 처리되어 깔끔하게 출력되는것을 확인할수 있다.

 

Pandas 기본 강의 개념 정리는 끝! 이후에는 실습문제로