봉식이와 캔따개

https://www.inf.unibz.it/~ricci/ISR/papers/p293-davidson.pdf 분명 얼마전까지만해도 NLP쪽 논문을 읽고 있었는데 어쩌다보니 추천시스템 관련 논문을 읽어야하게됐다... 파파고의 도움을 받아 번역... 공부 겸 다시 정리... 요약 세계에서 가장 인기 있는 온라인 동영상 커뮤니티인 유튜브에서 사용중인 동영상 추천 시스템에 대해 논의한다. 시스템에서는 사이트 활동을 기준으로 사용자에게 개인화된 영상set을 추천해준다. 시스템이 직면한 몇 가지의 문제와 이를 해결하는 방법에 대해 논의한다. 1. 소개 개인화 추천은 오늘날의 풍부한 정보 환경에서 정보 검색 및 컨텐츠 검색을 위한 핵심 방법이다. 순수 검색(쿼리) 및 탐색(유도된 혹은 유도되지 않은)과 결합하면 사용..

PCA는 차원 축소 방법 중 하나이다. 차원축소란? 많은 feature들로 구성된 다차원의 데이터 세트의 차원을 축소해 새로운 차원의 데이터 세트를 생성하는 것을 말한다. 차원이 증가할수록(feature가 증가할수록) 예측 신뢰도가 떨어지고 과적합이 발생히고 개별 feature간의 상관관계가 높을 가능성이 있다. 차원 축소를 하는 이유에는 여러가지가 있는데 첫번째는 시각화 (차원이 3차원이 넘어가면 시각화를 할 수 없기 때문에 시각화를 위해 차원 축소를 한다) 두번째는 노이즈 제거 세번째는 메모리 절약 네번째는 모델 성능 향상 등의 이유가 있다. → 정리 데이터에 feature가 많은 경우가 있는데 모든 feature가 결과에 중요한 영향을 끼치는 것은 아니다. 따라서 가장 중요한 feature 몇 개 ..

CNN이란? CNN은 Convolution Neural Network의 약자이다. 말그대로 Convolution 작업을 수행하는 Neural Network라는 뜻이다. CNN은 이미지를 분석하기 위한 패턴을 찾는데 유용한 알고리즘이고 이미지를 직접 학습하고 패턴을 사용해 이미지를 분류한다. CNN은 기존에 image 인식에 사용하던 FCNN(Fully Connected Neural Network)이 가지고 있는 한계를 개선하기 위해 개발되었다. FCNN FCNN은 input image를 픽셀의 행으로 직렬화 한 후, 이것을 입력 신호로 주는 방식으로 동작한다. 이러한 방식은 직렬화를 수행하는 과정에서 데이터의 형상이 무시된다는 문제점이 있다. 픽셀은 주변 픽셀과 관련이 있는데 fully connected..

Train Data 모델을 학습시키기 위한 Data Train data를 이용해 각기 다른 모델을 서로 다른 epoch로 학습시킨다 (epoch : 전체 Data set에 대해 한 번 학습을 완료한 상태) 모델을 학습하는 데에는 Train data만 사용한다 Validation Data 학습이 이미 완료된 모델을 검증하기 위한 Data 모델을 학습시키지 않는다 학습시키지는 않지만 학습에 관여한다 Test Data 학습과 검증이 완료된 모델의 성능을 평가하기 위한 Data 학습에 전혀 관여하지 않고 최종 성능을 평가하기 위해 쓰인다 Validation Data의 역할 그림에서 우측으로 갈 수록 epoch를 늘려가면서 train data를 학습시키는 과정이다. 가운데 그림은 train data 뿐 아니라 일..

기존에 face_recognition 라이브러리를 사용하여 얼굴을 찾아내고 블러처리해서 비식별화 시키는코드가 있었는데 손이 얼굴에 아주 조금만 겹쳐도 얼굴을 인식하지 못해 비식별화가 풀리는 문제점이 있었다. 이 문제점을 보완해보는것이 저번주 일과였다... 일단 caffemodel을 이용하였는데 원래는 얼굴을 학습시켜서 face recognition까지 가능한듯 하다. 하지만 이 얼굴이 누구얼굴인가는 아직 중요하지 않으므로 패스... from imutils.video import VideoStream from imutils.video import FPS import numpy as np import imutils import time import cv2 import os 필요한 친구들 import~ pro..

이번에 부산을 갈 일이 있어서 KTX를 예약하려는데 콘센트가 있는 자리로 예약을 해야 맘편히 핸드폰 충전하며 갈 수 있잖아요! 보통 맨 앞, 맨 뒤 자리에는 콘센트가 있다고 알고있는데 정확히 어떤 자리에 콘센트가 있는지 이번 기회에 알아봤습니다. KTX 산천 KTX 산천에서는 어느 자리든 본인 좌석 밑과 앞좌석 뒤에 콘센트가 있기 때문에 충전기 자리 걱정은 안하셔도 됩니다. 하지만 맨 앞자리는 앞좌석이 없기 때문에 둘이서 하나를 사용해야하는 불상사가 ㅠㅠ 여유롭게 이용하시려면 맨 앞자리는 피하시는게 좋을 것 같습니다. KTX KTX 열차에는 4명이 마주앉을수 있는 동반석이 있습니다. 이 동반석을 중심으로 바로 뒷 자석부터 콘센트가 있고 그 후로 한 좌석씩 건너서 콘센트가 있습니다. 그리고 위의 법칙대로 ..

이번엔 뜬금없이 영상처리다... 살면서 한번도 안해봤고 해볼거라고 생각도 못했음. 하지만 시키니까 합니다... https://pysource.com/2019/06/27/yolo-object-detection-using-opencv-with-python/ YOLO object detection using Opencv with Python - Pysource We’re going to learn in this tutorial YOLO object detection. Yolo is a deep learning algorythm which came out on may 2016 and it became quickly so popular because it’s so fast compared with the prev..

Only one SparkContext may be running in this JVM (see SPARK-2243). To ignore this error, set spark.driver.allowMultipleContexts = true 이러한 에러가 났을 때 해결방법. 여러개의 spark context를 사용 가능하게 설정해주면 된다. SparkConf conf = new SparkConf().setAppName("sample").set("spark.driver.allowMultipleContexts", "true");