로운's 기술노트

목표 : [오전] 파이썬 300제            [오후] 태블로 과제, 대시보드 태블로를 더 학습해 보아야겠지만아직까진 엑셀이 좀 더 효율적인 툴인 듯하다.일단 오늘 과제부터 진행해 보았다.역시 생각했던 대로 난이도 자체는 높지 않았다.(물론 완성도 차이는 있겠지만 그건 디자인의 영역이라 생각한다) 추가로, 프로젝트를 정리하고자 심화프로젝트에 대한 심층 피드백을 받았다.사실 메인 튜터님은 개선사항이 없고 바로 포트폴리오에 쓰면 된다고 하셨지만 수강생 기준의 관점인 것으로 보여 다른 튜터님 의견도 들어보았다.(서면 피드백이 예정되어 있지만, 개선사항 위주 피드백이 필요-)ㅇ 좋았던 점- 발표 순서와 논리적인 진행이 좋다- 성별과 연관되지 않을 법한 컬럼까지 시도해 본 흔적이 좋았다(색상 등)ㅇ 아쉬운..

목표 : [오전] 파이썬 300제           [오후] 태블로 완강 태블로를 완강했다.실습하며 진행하니 생각보다 오래걸렸다.태블로 툴 자체는 생소하긴 하지만 기존 엑셀 등과 많이 유사하기 때문에 금방 적응하지 싶다.내일은 프로젝트 대비 대시보드를 만들어보려한다.태블로(Tableau)_3~4강 (tistory.com) 지난 프로젝트 도중 틀어진 GPU버전 세팅을 오늘 남는 시간에 진행했으나 결과는 처참히 실패.내일 다시 시도하고 성공해보이겠다.  다음 목표 : [오전] 파이썬 300제                     [오후] 태블로 대시보드, GPU세팅

목표 : [오후] 태블로 강의 수강 심화 프로젝트를 마치고새로운 챕터와 새로운 팀원들을 만나게 되었다.사실 BI는 통계와 함께 이번 트랙의 목표 중 하나였기 때문에 기대가 크다.태블로(Tableau)_1~2강 (tistory.com) 아직 지난 프로젝트 준비의 피로가 남아있긴 하지만,약 보름 동안의 짧은 챕터이기 때문에 더 정신차리고 집중해야겠다.  다음 목표 : [오전] 코드카타, 파이썬 300제                   [오후] 태블로 강의 수강

심화프로젝트 최종 발표회 프로젝트 발표회를 진행했다.다른 조들의 발표를 보니 자극이 많이 되었다.사실 이번엔 GPU세팅과 딥러닝 학습에 시간을 많이 들였기 때문에조금 소홀했던 더 통계지식을 프로젝트에 녹이는 연습과 다양한 학습모델을 사용하는 연습을 중심으로 해야겠다.그리고 다음 프로젝트는 대시보드도 한번 만들어보고 싶다..! 그리고 우리 팀-지금까지 함께한 다른 팀들도 물론 좋았지만, 유독 즐겁고 긍정적인 분위기의 팀이라 오래 기억에 남을 듯 하다.다들 비슷한 실력에서 비롯된 것인지는 몰라도서로 격려하고 피드백을 나누며 '최선이 아닐지라도 차선을' 알아가는 과정 자체에 큰 의미가 있었다고 생각한다. 앞으로도 각자의 자리에서 비상하길!

심화프로젝트 4일 차  어제 밤부터 원활한 딥러닝을 위해 GPU세팅을 진행했다.로컬PC환경에 따라 Python부터 CUDA, cuDNN, TensorFlow까지 모든 버전이 호환되어야 CPU사용에서 GPU사용으로 전환이 가능하다. 뭐 호환해야할 프로그램 갯수도 많지 않고 환경변수나 cmd명령어 사용, 가상환경 세팅은 경험이 있던 터라오래 걸릴거라 생각은 안했던 것이 실책이었다.결국 오늘 정오가 되어서야 완료하게 되었다.나중에 들어보니 튜터님도 새로 설치하실 때마다 긴장하신다고... 자세한 방법은 아래 링크 클릭!딥러닝을 위한 GPU 세팅 (tistory.com)  오후 시간엔 지난번( Chapter 3. 데이터 분석 입문 (10주차_2/5) (tistory.com) )에 적용 후보로 꼽았던 트랜스포머 모..

심화프로젝트 3일 차 어제 하던 단어 토큰화와 정규화를 보완하고 TF-IDF를 적용해 보았다.정규화 참 오랜만에 써보는 듯하다 그러나 막상 적용해 보니 인코딩이 깨지는 부분이 발생하였다.여러 방법을 찾아보다가 utf-8로 정착하였다. (처음엔 오류 나던 녀석이...)# df = pd.read_csv(file_address, encoding="latin1") # 기존_text일부 깨짐# df = pd.read_csv(file_address, encoding="iso-8859-1") # text일부 깨짐# df = pd.read_csv(file_address, encoding="utf-16") # 에러 UnicodeError: UTF-16 stream does not start with BOM# df ..

심화 프로젝트 2일 차.오늘은 어제 이미지 범주화를 진행하다 발견한 문제를 해결해보려 한다.사실 이미지 상위 5종은 디폴트 이미지(프로필사진 미설정)이고 하위 5종은 404 error로 자칫 성별을 유추할 수 있을 것으로 보이는 컬럼이 날아가게 될 상황이다. 이에 response code가 200인 것을 걸러 유효이미지의 숫자를 파악해보고자 한다.이 작업의 결과에 따라 이미지 컬럼을 사용할 수 있을지 없을지가 달려있다.# 유효 이미지 분류기import requestsdef is_image_url(url): try: response = requests.get(url) if response.status_code == 200: content_type = res..

심화 프로젝트가 시작되었다.일정은 24.06.17(월) 09:00 ~24.06.24(월) 21:00까지 제출로 총 8일간 진행된다.데이터셋은 meta-data의 '트위터 사용자 성별 분류 프로젝트'이다. 무엇보다 팀 프로젝트인 만큼 팀원들과 방향성을 맞추어 가는 것이 중요하다고 생각한다.때문에 사전에 프로젝트 목표뿐 아니라 회의방식, 프로젝트 방향, 업무 role, 세부일정 등 많은 것을 정해두었다.그러면 막연히 진행하는 것보다 프로젝트 흐름을 알기도 쉽고, 계획이 일부 틀어져도 대응이 수월하다.스트레스도 안받는걸보니 p화가 되어가나- 4명으로 시작하는 만큼 더욱 똘똘 뭉쳐서 최선의 결과를 도출하는 것이 최우선 과제라고 볼 수 있겠다.많은 회의와 튜터님들 조언을 참고하여 3가지 분야로 나누어 전처리를 진..

목표 : [오전] 머신러닝 군집(Clustering)_세션           [오후] 머신러닝_과제 제출 ML_비지도학습_군집분석(Clustering)ㅇ 정의 : 피쳐(컬럼) 유사성의 개념을 기반으로 전체데이터셋을 그룹으로 나누는 그룹핑 기법 (각 그룹 = 클러스터)    ㅇ 프로세스  1. 전처리 pre-processing1) 기간 설정 : 통상적으로 3개월~1년의 data. 그러나 목적과 의도에 따라 유연하게 대처 (but, 1주일은 무리!)2) 이상치 기준설정 및 제거 : 다양하게 사용해보고 비교하기  . Z-Score데이터의 분포가 정규 분포를 이룰 때, 데이터의 표준 편차를 이용해 이상치를 탐지각 데이터(행) 마다 Z-score 를 구합니다. Z(표준점수) 값은 X에서 평균을 뺀 데이터를 표준편..

목표 : [오전] 머신러닝 분류(Clasification)_세션           [오후] 머신러닝_과제  머신러닝의 지도학습 중 '분류' 라이브세션을 수강했다.대표적인 4가지 기법을 알게 되었다.수강을 하다가 KNN에서 K이웃의 수가 동일하거나 *데이터 가중의 불균형에 대해 의문이 들었는데, 마치고 따로 문의드려 보니 *가중KNN이라는 것도 있더라..* 데이터 가중의 불균형데이터 포인트특성레이블새로운 데이터3 데이터14A데이터22A데이터37B데이터49B데이터58B* 가중 KNN (Weighted KNN) - 각 이웃에 대한 가중치를 계산하고, 이 가중치를 사용하여 예측을 수행- 가중치는 일반적으로 거리의 역수와 같은 함수를 사용하여 계산. - 따라서 이웃과의 거리가 가까울수록 해당 이웃의 영향력이 더 ..