목록~2022 흔적들 (7)

봉식이와 캔따개

The Youtube Video Recommendation System (2010)

https://www.inf.unibz.it/~ricci/ISR/papers/p293-davidson.pdf 분명 얼마전까지만해도 NLP쪽 논문을 읽고 있었는데 어쩌다보니 추천시스템 관련 논문을 읽어야하게됐다... 파파고의 도움을 받아 번역... 공부 겸 다시 정리... 요약 세계에서 가장 인기 있는 온라인 동영상 커뮤니티인 유튜브에서 사용중인 동영상 추천 시스템에 대해 논의한다. 시스템에서는 사이트 활동을 기준으로 사용자에게 개인화된 영상set을 추천해준다. 시스템이 직면한 몇 가지의 문제와 이를 해결하는 방법에 대해 논의한다. 1. 소개 개인화 추천은 오늘날의 풍부한 정보 환경에서 정보 검색 및 컨텐츠 검색을 위한 핵심 방법이다. 순수 검색(쿼리) 및 탐색(유도된 혹은 유도되지 않은)과 결합하면 사용..
~2022 흔적들/추천 2021. 9. 2. 18:12
[error] Only one SparkContext may be running in this JVM

Only one SparkContext may be running in this JVM (see SPARK-2243). To ignore this error, set spark.driver.allowMultipleContexts = true 이러한 에러가 났을 때 해결방법. 여러개의 spark context를 사용 가능하게 설정해주면 된다. SparkConf conf = new SparkConf().setAppName("sample").set("spark.driver.allowMultipleContexts", "true");
~2022 흔적들/Spark 2020. 2. 11. 10:47
파이썬 아나콘다(Anaconda) 설치하기

올해 목표 중 하나인 파이썬을 시작하며... Anaconda 부터 깔아봅시다. Anaconda는 여러가지 패키지를 포함하고 있는 Python 배포판이라고 보시면 됩니다. 1. 아나콘다 설치 파일 받기 https://www.anaconda.com/distribution/ Anaconda Python/R Distribution - Free Download Anaconda Distribution is the world's most popular Python data science platform. Download the free version to access over 1500 data science packages and manage libraries and dependencies with Conda. ww..
~2022 흔적들/Python 2020. 2. 5. 15:23
Spark Streaming으로 Kafka Topic 값 받아오기

오늘은 Spark Streaming 으로 Kafka를 통해 집어넣은 값을 뽑아내보라는... 이야기를 듣고 진행해보았습니다. Spark도 잘 모르는데 하려니까 너무 막막해요... 2020/01/29 - [프로그래밍/Etc] - [Kafka] java로 kafka producer 작성하기 [Kafka] java로 kafka producer 작성하기 kafka 글이 벌써 세개... 카테고리를 만들어야할지 고민이 된다. 오늘은 java로 kafka producer를 작성해보겠다. 목표 : 1초에 한번 씩 랜덤한 숫자를 내보내는 producer 작성하기!! 1. project 생성하기 우선 Mav.. bong-sik.tistory.com 위 글과 이어지는 내용입니다. 일단 Maven Project를 생성하고 Sp..
~2022 흔적들/Spark 2020. 2. 5. 11:05
[Kafka] java로 kafka producer 작성하기

kafka 글이 벌써 세개... 카테고리를 만들어야할지 고민이 된다. 오늘은 java로 kafka producer를 작성해보겠다. 목표 : 1초에 한번 씩 랜덤한 숫자를 내보내는 producer 작성하기!! 1. project 생성하기 우선 Maven 프로젝트를 생성해줍니다. 2. dependency 추가 pom.xml에 kafka dependency를 추가해줍니다 org.apache.kafka kafka-clients 1.1.0 org.apache.kafka kafka-streams 1.1.0 org.apache.kafka kafka_2.11 0.8.2.1 3. producer 작성 1초에 한번씩 1~100 사이의 숫자를 내보내도록 작성하였다. package kafkaProducer.producer; ..
~2022 흔적들/Etc 2020. 1. 29. 17:43
[Kafka] Kafka 토픽생성, 메시지보내기/받기

https://bong-sik.tistory.com/2 [Kafka] Window에서 Kafka 설치하기 Window에서 Kafka를 설치해보자! 우선 아래의 사이트에 접속합니다. https://kafka.apache.org/downloads Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org Binary downloads에서.. bong-sik.tistory.com Kafka를 설치했다면... 토픽을 생성해보자~ (카프카 설치 디렉토리로 이동한 다음 진행해주었습니다) 생성 : .\kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-fac..
~2022 흔적들/Etc 2020. 1. 21. 17:20
[Kafka] Window에서 Kafka 설치하기

Window에서 Kafka를 설치해보자! 우선 아래의 사이트에 접속합니다. https://kafka.apache.org/downloads Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org Binary downloads에서 원하는 버전을 다운받습니다. 스칼라 버전에 따라 나누어져 있는데 스칼라를 사용하지 않는다면 상관없는것 같습니다. 2.12를 권장한다고 쓰여있어서 저는 2.12를 다운받겠습니다. 아무거나 누르면 파일이 다운로드됩니다. 원하는 곳에 압축을 풀어줍니다. 이제 실행시켜보겠습니다. 우선 Zookeeper를 먼저 실행시켜줍니다. 저는 cmd창보다 Window PowerShell이 더 익숙하여 PowerShel..
~2022 흔적들/Etc 2020. 1. 21. 13:26
Prev 1 Next