데이터 분석 학습일지🐣

🅿️SQL project : Olist_E-Commerce_Data_Analysis (230811 - 230822)

boiled egg 2023. 8. 23. 12:53

▶️ Notion Link 

 

SQL project

A new tool for teams & individuals that blends everyday work apps into one.

bb2-bb5.notion.site

 

 

  • 1차 분석 
    • 8/14 - 8/16
    • 데이터 전처리 및 EDA
    • 해당 이커머스 배경 지식, 비즈니스 도메인 지식 탐색
 

[1차]Olist E-Commerce Data Analysis

📖 목차

bb2-bb5.notion.site

  • 2차 분석 
    • 8/16 - 8/18
    • 데이터 분석
    • 분석 과정과 도출해낸 결론, 인사이트 위주 정리
 

[2차]Olist E-Commerce Data Analysis

📖 목차

bb2-bb5.notion.site

 

[최종]Olist E-Commerce Data Analysis

최종 발표 자료

bb2-bb5.notion.site

 

Back_Data

Tool

bb2-bb5.notion.site


회고

이번 프로젝트는 'Olist'라는 브라질 이커머스 플랫폼에서 제공하는 오픈 데이터를 사용하여 진행했다. 2016-2018 기간 동안 10만여 건 정도 되는 데이터로, 실제 데이터를 개인 정보를 제외하고 드라마에 등장하는 이름으로 변경해서 제공하다보니(왕좌의 게임) 많은 사람들이 프로젝트나 분석 연습에 사용하는 것으로 보인다. 확실히 더미 데이터만 만지다 실무와 흡사한 데이터와 과정을 거쳐보니, 어떻게 감을 잡고 시작하며 어려운 부분에선 여러 방식을 시도해보는 둥 단기간에 여러 스킬이 향상된 것을 체감할 수 있었다. 첫 프로젝트에서는 파이썬 위주로만 사용하던 방식을 이번엔 엑셀, 파이썬, SQL 이외 flourish나 다양한 협업툴을 접목시켜보았고 실제 현업과 가장 비슷한 느낌으로 진행했다.

가이드라인을 최대한 참고하며 따라 갔지만 짧은 기간 내 최대한의 성과를 내고 싶은 마음에 1, 2차 분석은 많이 헤매기도 하고 마땅한 결과가 나오지 않아 포기하고 싶은 마음도 있었다. 특히 목표 의식과 일정 관리 부분에서 반성할 점이 많았다. 일정 관리는 단기 프로젝트라는 점에서 마음이 조급해 일단 시작해버린 탓에 목표 의식이 흐려져 오히려 중간 중간 시간이 허비되는 일이 많았다. 첫 단추를 잘 꿰야 하는데 목적 없이 진행하면서 내가 이 데이터 분석을 '왜' 하는 것이며 어떤 것을 위해 '무엇을' 분석해야 하는지에 대한 의문이 들었다. 처음엔 그저 주어진 일을 시행하는 느낌으로 하다보니 진행을 하면 할수록 분명한 결과가 나오지 않았고 당연히 결과물은 엉망이었다. 중간 피드백을 받았을 땐 '넓은 주제, 얕은 분석'에 대한 지적이 있었고 방향성을 설정하는 것이 얼마나 중요한 일인지 그제서야 깨달았다. 당연히 갈피를 못잡으니 여러 방향에 대해 탐색하는 정도로만 분석을 했고 심층적인 결론을 낼 수 없었다.

따라서 전처리 및 도메인 정리는 마쳤으니 '누가 이 분석을 활용할 수 있을까?'란 생각으로 방향 설정을 했고 그제서야 프로젝트가 좀 더 수월해지기 시작했다. 주제에 대한 narrow down과 deep dive하여 발견한 결론을 어떻게 활용할 것인가에 대한 포인트를 앞으로도 잘 인지하고 있어야 겠다. 기간이 정해진 상태에 늦게 갈피를 잡다보니 분석에 대해 원하는 만큼 심층적인 결론과 임팩트 있는 인사이트는 도출하지 못했지만 개인적으로 더 시도하며 개선해보고 싶다.