[Python] 파이썬#8 - Pandas의 groupby, numpy, pivot table의 사용 Pandas로 만들어진 data frame을 grouping하는 다양한 방법에 대해서 얘기합니다. 또한 numpy library와 pivot table을 이용하여 데이터를 묶어서 의미있는 값을 가지는 집합으로 나타내 보겠습니다. 이글은 Phtyon 3를 기반으로 작성되었습니다. 데이터 로드 기본예제로 사용할 sample 예제를 로드해 보겠습니다. 앞서 여러번 했으므로 이번에는 한번에 하겠습니다. import pandas as pd # 엑셀파일 로드 xls = pd.ExcelFile('yelp.xlsx') # 각 sheet의 데이터 로드 df = xls.parse('yelp_data') df_cities = xls.parse('cities') df_states = xls.parse('states') # y.. 개발이야기/Python 3년 전
[Python] 파이썬#7 - Pandas를 이용한 data frame의 sum, mean, nunique, counts, 함수적용 이전까지는 데이터를 로드하여 data frame으로 만들고 read, filtering 하는 방법에 대해서 포스팅 했습니다. data frame은 DB의 table 개념과 유사하여 sql에서 지원하는 것들에 대한 기능을 하는 함수들을 제공했었습니다. 이번 포스팅에는 sql의 group함수들을 data frame에서 어떻게 이용할 수 있는지를 확인해 보겠습니다. 이글은 Phtyon 3를 기반으로 작성되었습니다. 데이터 로드 기본예제로 사용할 sample 예제를 로드해 보겠습니다. import pandas as pd xls = pd.ExcelFile('yelp.xlsx') df = xls.parse('yelp_data') df.head() Computation # count(), sum(), mean() -.. 개발이야기/Python 3년 전
[Python] 파이썬#6 - Pandas를 이용한 data frame의 indexing, join, query, filtering 앞서서는 excel을 load하고 해당 정보를 읽는 방법에 대해서 얘기했습니다. 이번 포스팅에서는 pandas의 다양한 함수에 대해서 나열해 보고자 합니다. 이글은 Phtyon 3를 기반으로 작성되었습니다. 먼저 지난번에 로드했던 excel을 다시 로드합니다. import pandas as pd xls = pd.ExcelFile('yelp.xlsx') df = xls.parse('yelp_data') df.head() Data Type의 변환 로드된 데이터의 column의 데이터 타입은 아래와 같습니다. df.dtypes 때로는 string의 함수로 문자열을 편집하고 싶다면 그보다 먼저 type을 변경해야 합니다. stars (별점) 항목은 float64로 되어 있습니다. 한번 string으로 변경해 봅.. 개발이야기/Python 3년 전
[Python] 파이썬#5 - Pandas를 이용한 Excel 파일 Load 앞서 csv.DicReader를 통해서 Dictionary 형태로 데이터를 로드했습니다만 pandas를 이용하면 엑셀의 2차원 배열을 그대로 data frame으로 가져와서 사용할수 있습니다. 마치 DB의 테이블처럼 말이죠.[1] 먼저 pandas를 이용하여 excel을 로드하는 기본적인 구문부터 보도록 하겠습니다. 이글은 Phtyon 3를 기반으로 작성되었습니다. pandas import 및 데이터 로드 import pandas as pd xls = pd.ExcelFile('yelp.xlsx') df = xls.parse('yelp_data') # yelp_data sheet를 읽는다. df2 = xls.parse('cities') # cities sheet를 읽는다. print(type(df)) ye.. 개발이야기/Python 3년 전
[Python] 파이썬#4 - DicReader를 이용한 csv 파일 로드 이글은 Phtyon 3를 기반으로 작성되었습니다. 파이썬은 대부분 그 자체의 사용용도 보다는 Data를 분석하는데 많이 쓰입니다. txt 타입의 형태도 많이 쓰기는 하지만 DB에서 csv로 export한다던가, excel로 작성된 데이터도 많이 다루기 때문에 이 파일을 파이썬에서 import하고 가공하는 방법에 대하여 얘기해 봅니다. csv 파일 로드 import csv my_file = open('albumlist.csv', 'r') # 읽기 모드로 열기 reader = csv.DictReader(my_file) my_file.close() #파일닫기 먼저 csv를 import해야 합니다. 그리고 open 함수와 open mode를 지정하여 파일을 읽습니다. r: 읽기전용 (기본모드) w: 쓰기전용 (.. 개발이야기/Python 3년 전