로운's 기술노트

목표 : 통계학 강의 완강, 파이썬 챌린지반 (3회차) 수강 공가로 새로운 팀원들과 오늘 처음 만났다.사전캠프를 제외하면 벌써 3번째 팀이라 그런지 다들 밝고 익숙해 보였다.사실상 통계와 머신러닝이 적용될 첫 프로젝트라 무거운 마음이 일부 있었지만, 마음이 놓인다.  이번 챕터에서의 메인 목표는 총 2가지인데,하나는 '통계', 다른 하나는 '머신러닝'이다. 일단 통계학 강의는 어제부터 수강했는데,음- 일단 통계는 강의를 먼저 2회독하고 6/3(월)부터 진행될 통계학 세션에 집중하는 것이 나을 듯싶다.  머신러닝은 파이썬 챌린지에서 배운 개념을 토대로 6/3(월)부터 프로젝트가 시작되는 약 2주간 최대한 정리하며 소화해보려 한다.파이썬 300제와 他학습반 수강, 코드카타는 서브 목표이다. 이왕이면 즐겁게다..

ㅇ 프로젝트 : 음악 플랫폼 유저 행동 데이터 분석 (notion.site)ㅇ 데이터 : Spotify User Behavior Dataset (kaggle.com)지금까지 개인적으로 준비한 내용을 정리해보았다.프로젝트에 흐름에 알맞는 시각자료 및 근거로 사용하기 위해 각 문항은 독립적으로 서술하였으나 포함하는 내용은 별도 주석처리 하였다. [Preprocessing] One-Hot Encoding 처리columns_to_encode = ['spotify_listening_device', 'music_Influencial_mood', 'music_lis_frequency', 'music_expl_method']for column in columns_to_encode: df_temp = df[colu..

범주형 리서치 데이터..단순히 데이터가 오브젝트 타입이라고만 생각했는데, 큰 오산이었다.먼저 전처리부터..하 리서치의 중복값을 허용해서 설문받아 각각의 범주가 매우매우 길다.         * 이게 고작 2개의 범주... > "While Traveling, Workout session, leisure time, Night time, when cooking",                                                    "Office hours, Study Hours, While Traveling, Workout session, leisure time") 해서 만만한 엑셀로 도전하려다 컬럼이 예상보다 많아 생각을 고쳐먹었다.검색 끝에 One-Hot Encoding라는 게 있어..

1. 데이터 모델링의 이해1) 데이터 모델링의 이해ㅇ 데이터 모델링 : 데이터베이스에서의 모델은 데이터베이스 관리 시스템(RDBMS)이 지원하는 데이터베이스의 구조나 형식을 의미한다. >> 현실 세계를 추상화하여 표현하는 것 - 정의정보 시스템 구축을 위해 데이터 관점의 업무를 분석하는 과정 현실 세계의 데이터를 약속된 표기법에 의해 표현하는 과정 데이터베이스를 구축하기 위한 분석 및 설계의 과정        *  '개발만'을 위한 (x), '구현만'을 위한 단계이다 (x) - 특징추상화(Abstraction) : 현실세계를 일정한 형식에 맞추어 표현하는 것 단순화(Simplification) : 복잡한 현실 세계를 약속된 규칙에 기반한 제한된 표기법이나 언어로 표현 명확화(Clarity) : 대상에 대..

기초 프로젝트 첫날,팀원들과 프로젝트 주차 타임라인과 Role,데이터선택, 기획안 작성, 데이터 전처리&분석을 진행했다.17일(금) 데이터 선정, 기획안 작성, 전처리, 분석  ---- 완료20일(월) 데이터 분석 및 결론 도출21일(화) 분석&데이터 시각화              오후부터 발표 자료 준비22일(수) 발표 자료 제작(1.5일)23일(목) ~21:00 영상제작(0.5일)                           여유(0.5일)    # 불확실성 변수 발생에 대비한 여유시간- 발표제 : 홍영지- 기록담당 : 이준성, 이강욱- 초안발표 : 이준민- 최종발표 : 백종욱 이번 프로젝트 기간은 일주일이 채 되지 않기 때문에 데이터는 무난한 Spotify로 선택했다.이번 데이터리스트들은 재밌어 ..

ㅇ 오늘 목표[오전] 개인 과제 마무리 & 제출[오후] SQLD 준비     새로 배운 내용# 기초 통계량 확인iris.describe()iris.describe([.25, .5, .75, .95, .99]) # percentile(분위수)를 추가 조정 가능# pivot_table의 aggfunc을 명시하지 않는 경우, mean()이 기본값!iris.pivot_table(values=['Sepal Length', 'Petal Length'], index='Species')# apply와 agg의 차이 : 거의 유사하나 agg는 여러 개의 함수를 동시에 적용할 수 있다는 장점이 있음!iris.groupby('Species').agg({ 'Sepal Length': ['sum', 'mean', 'st..

ㅇ 오늘 목표[오전] 전날 세션 정리[오후] 개인 과제 + 전처리&시각화 세션(2/2)   오늘은 pandas관련 개인 과제가 지급된 날이다.당연히 마냥 쉽지만은 않았지만,베이직 문제의 hint도 그렇고 지난 파이썬 과제보다 난이도는 조금 낮은게 아닌가 싶은 생각이 든다. 오늘 새로 배운 내용은 아래와 같다.[문법] Pandas2 (10 minutes to pandas) (tistory.com) [문법] Pandas2 (10 minutes to pandas)ㅇ 사용방법import numpy as npimport pandas as pdㅇ 판다스에서 제공하는 데이터 타입- Series : 1차원 형태의 데이터 (정수, 문자열, Python 객체 등 대부분의 타입이 들어 갈 수 있음)- DataFrame : ..

ㅇ 사용방법import numpy as npimport pandas as pdㅇ 판다스에서 제공하는 데이터 타입- Series : 1차원 형태의 데이터 (정수, 문자열, Python 객체 등 대부분의 타입이 들어 갈 수 있음)- DataFrame : 2차원 배열 형태의 표(행과 열)로 이루어진 데이터 * 0차원 = schalar(스칼라) = 단일 값  1차원 = vector(벡터) = 리스트  2차원 = matrix(행렬) = 2중 중첩 리스트  3차원 이상 = tensor(텐서) = 3중 이상 중첩 리스트# Series>> s = pd.Series([1, 3, 5, np.nan, 6, 8])>> s0 1.01 3.02 5.03 NaN4 6.05 8.0dtype: floa..

ㅇ 다음 목표[오전] 파이썬 300제 [오후] 강의 정리 + 전처리&시각화 세션(1/2)  오늘 데이터 전처리 시각화 세션으로 새로 배운 pandas 문법이 많다.pandas문법은 따로 정리할 예정이다.그 외는 아래 기술하겠다. SQLD 시험이 다음 주로 다가왔다.이제 진짜 공부할 때가 왔다.이번 주까지 격파르타 이론을 적어도 1바퀴 돌리고,차주엔 기출 위주로 진행할 예정이다. ㅇ Python에서 괄호의 사용처  ( ) : 함수, 튜플  [ ] : 리스트, Series, DataFrame, 인덱싱, 슬라이싱  { } : 딕셔너리, 포메팅  ㅇ 다음 목표[오전] 격파르타 SQLD 4~5일차 [오후] 개인 과제 + 전처리&시각화 세션(2/2)

ㅇ 오늘 목표[오전] 파이썬 300제[오후] 생활코딩 DB 19,20강(완강) + 데이터전처리&시각화 강의 완강(+복습/정리)   지난 5/9(목) 제공된 강의는 기존 파이썬 과제에서 다소 애를 먹었던 데이터 가공에 대한 갈증을 해소하는 시간이 되었다.기본 전처리는 물론 pandas 기본 문법 개념과 사용방법에 대해 다루어 시간을 갖고 정리가 필요할 듯하다. 특히 이번 주는 본가사정으로 100% 집중하지 못했다.따라서 주말 간 강의 정리 마무리와 파이썬 300제, 여력이 된다면 SQLD 공부까지 목표해보려 한다.   ㅇ 다음 목표[오전] 파이썬 300제 [오후] 강의 정리 + 격파르타 SQLD 4일차