💦 item 수가 많아서 RAM 초과

user-item간의 유사도 측정, item-item간의 유사도 측정에 있어 row * column 수가 커서 RAM 초과되어 행렬 생성이 되지 않는 문제 발생(pivot table 생성, 학습 시 안됨)

• 해결 방법 1) item 수를 줄임
• 해결 방법 2) 타입 변환
• 해결 방법 3) colab 결제
• 해결 방법 4) category화 시켜서 그룹 간의 유사도를 측정 후 상품 추천
• 해결 방법 5) 함께 샀던 제품들을 가지고 matrix 생성
• 해결 방법 6) K-mean clustering 이용하여 사용자 분류

💦 The least populated class in y has only 1 member, which is too few.

 The minimum number of groups for any class cannot be less than2.

1명의 유저가 1개의 제품만 구매했을 경우, train/test set으로 분리할 수 없을 때 나는 에러

즉, 2개 이상의 상품을 구매한 유저에 대해서만 학습, 테스트 진행하기로 함.

유저 110,27명 → 85,705명으로 줄임

💦 평점 요인이 없어서 가중치를 적용할 요인이 없음

• 해결 방법 1) reorder 항목을 가중치 요소로 적용
• 참고 문헌) Recommender system 책

💦 최종 결정

1. category 기준으로 유사도 측정 → 자기 자신을 포함한 3개의 카테고리 추출

   • 유사도 측정 방법

     1. 코사인 유사도(구현 완료)

     2. 자카드 유사도(구현 완료)

     3. apriori 알고리즘 적용

2. 3개의 카테고리 안에 있는 상품끼리 matrix 생성

   • user_item 간 matrix 생성
   • item_item 간 matrix 생성

3. 모델 학습 진행

   • CF(KNN기반)
   • CF(SGD기반)
   • Content-based 기반
   • NLP(one-hot-encoding)
   • NLP(Word2Vec)