티스토리

marsjin.space

검색하기

블로그 홈

marsjin.space

marsgjin.tistory.com/m

marsjin97 님의 블로그입니다.

구독자: 1

방명록 방문하기

주요 글 목록

[2022-07-11] 새롭게 나아가기 위한 준비 보호되어 있는 글입니다. 공감수 0 댓글수 0 2022. 7. 11.
(작성중) 네이버 지식그래프 Deview 정리 지식그래프의 특징과 네이버에서의 활용 지식그래프는 데이터의 출처에 상관없이 의미단위의 엔티티로 구성되어, Semantic(의미) 특성을 가지게됨 네이버에선 지식베이스로 검색결과를 보여줄 때, 그래프 구조로 엮어있는 지식그래프 상에서 엔티티를 찾고, 엔티티와 연결된 정보를 사용자에게 제공하고 있음 지식그래프의 활용 [검색] QA, 추천 서비스 [금융] 사람 엔티티가 여러개의 신용카드를 발급받는 경우와 같은 신용 사기 탐지 [금융] 회사나 조직에서의 관계 그래프를 참고하여 진행하는 신용 등급 평가 [금융] 생산에 필요한 원재료의 공급이나 수요 간의 관계를 파악하여 사회 문제(ex.코로나) 발생 시 영향력 평가 [의학] 질병 확진자의 감염경로 파악 [커머스] 상품 추천 (ex. 아마존의 쇼핑 상품 그래프) [.. 공감수 0 댓글수 0 2022. 7. 6.
[Linux] 리눅스 기본 코드 정리 일부 리눅스 터미널에서 사용했었던 코드를 기억하기 위해 작성한 아카이브 자료입니다. 지속적으로 코드들을 업데이트해갈 예정입니다. 혹시나 검색을 통해 들어오신 분은 ctrl+f를 활용하시기 바라며, 추가적으로 궁금한 부분이 있다면 언제든 댓글에 남겨주시면 감사하겠습니다. 링크를 통한 파일 다운로드 wget [링크] tar파일 압축해제 #tra 파일 압축해제 tar -xvf [파일명.tar] #tar.gz 파일 압축해제 tar -zxvf [파일명.tar.gz] 깃허브 기본 코드 # 깃허브 브랜치 목록 확인 git branch -a # 깃허브 브랜치 생성 git branch [브랜치 이름] # 깃허브 브랜치 변경(체크아웃) git checkout [브랜치 이름] # 깃허브 업데이트 과정 # 1. 수정 내역 a.. 공감수 0 댓글수 0 2022. 6. 29.
(작성중) 멀티모달 연구의 필요성 보호되어 있는 글입니다. 공감수 0 댓글수 0 2022. 6. 27.
[NLP] Naver Search ColBERT 관련 발표 정리 ColBERT 모델 구현을 위해 다시 관련 내용을 살펴보았다. 간단하게 정리한 내용을 공유하고자 한다. 자세한 내용은 직접 발표 영상을 보는 것을 추천한다. 영상링크: https://tv.naver.com/v/23650668 ColBERT 모델 특징 Late Interaction 방식의 도입 질의와 문서 간 관계를 구하는 것을 미뤄두고 미리 문서에 대한 모든 임베딩을 미리 구축해두는 방식을 사용함. 검색 단계에서는 Maxsim 방식을 도입하여 시간복잡도를 감소시키고, 효율적으로 Retrieval 및 Ranking 과정을 진행. 기존 BERT 모델과 동급의 성능 기존의 BERT 모델에서 단순화함으로써 발생하는 성능상의 핸디캡을 기본적으로 가지고 있음. 하지만, 중요한 Term에 가중치를 부여하는 효과를 통.. 공감수 0 댓글수 0 2022. 6. 22.
[2022-06-19] 코테를 봤다 보호되어 있는 글입니다. 공감수 0 댓글수 0 2022. 6. 19.
[2022-06-18] 다시 시작의 어려움 보호되어 있는 글입니다. 공감수 0 댓글수 0 2022. 6. 18.
[실험기록 #1] QA모델에서의 도메인 특화 Pretraining 실패 경험담 보호되어 있는 글입니다. 공감수 0 댓글수 0 2022. 6. 12.
[NLP] Task-Alignment Fine-Tuning(2차 파인튜닝) ODQA 프로젝트를 진행하며... 이번 프로젝트에 있어서 우리는 MRC 모델에 2차 파인튜닝을 진행하여 성능을 올렸었다. 여기서 말하는 2차 파인튜닝이란 먼저 공개적으로 구축된 대형 MRC 데이터인 KorQuad 데이터에 대해 1차적으로 파인튜닝을 진행하고, 2차적으로 우리가 구축한 도메인 특화 QA 데이터를 이용하여 2차 파인튜닝을 진행하였다. 하지만, 이는 우리의 아이디어를 기반으로 진행된 방법이라, 검증되지 않은 방법을 시도하여 성능을 올린 것이나 마찬가지였다. 특히, F1, EM(Exact Match) 두 성능 중 하나만 올랐었기 때문에 이 방식이 우수하다고 증명할만한 충분한 관련 근거가 존재하지 않았다. 뒷받침할 논문을 찾다가, 아래와 같이 'Fine-tuning Strategies for Do.. 공감수 0 댓글수 2 2022. 6. 9.
[NLP] ColBERT 논문 살펴보기 ColBERT 모델 성능 MRR@10 기준 BM25 및 다른 딥러닝 기반 IR 모델에 비해 높은 성능을 자랑 colbertv2 버전은 여기서 Hard negateve mining 및 Distillation from a cross-encoder를 적용하여 성능을 더 끌어올려서 SOTA를 달성했다고 함 ColBERT 모델 Retrieval 구조 BERT와 같은 딥러닝 모델을 활용하여 효율적이면서도, 성능이 좋은 Retrieval 모델을 생성하는 것이 목표 기존 BERT 모델의 경우 입력에 Query와 Document가 하나의 단일 인풋으로 전달됨 모든 (쿼리 종류)*(Document 종류)에 해당하는 모든 경우의 수에 대해 모델 아웃풋 결과값을 얻어야하는 구조 ColBERT 모델의 경우, 구조상 단일 Que.. 공감수 0 댓글수 0 2022. 6. 4.
[2022-05-15] NLP 대회(ODQA) 진행에 대한 반성 및 고찰 약 3주간 네이버 부스트캠프에서 ODQA 대회를 진행하였다. 팀원들이 열심히 달려준 덕분에, 내부에서 1등이라는 좋은 성적을 거둘 수 있었다. 겉으로는 굉장히 좋은 결과였지만, 개인적으론 스스로에 대한 부족함을 여실히 들어낸 많은 아쉬움이 남는 대회였다. 솔직하게 얘기하면 여러 가지 사정 및 악재가 겹친 것은 부인할 수 없다. 하지만 그럼에도 불구하고 대회의 전반적인 협업 및 참여에 있어 개인적으로 많이 부족했었던 것 역시 변함이 없다. 따라서, 그러한 부분을 최대한 잘 정리하여 기억하고 다시는 반복하지 않기를 위해 이 글을 작성하기로 마음 먹었다. 1. 모르는 부분에 대한 완전히 해결한 상태에서 프로젝트 진행하기 먼저, 초기에 개인적인 사정으로 열심히 참여하지 못하여, 초중반부터 열심히 달렸다. 그렇다.. 공감수 0 댓글수 0 2022. 5. 22.
[NLP] Siamense Network를 이용한 Sentence Bert (S-BERT) BERT를 Similarity Search에 활용하기 clustering 및 similarity search에 활용하기 위해, 두문장(query, answer)을 토큰을 이용하여 이어붙여서 BERT 모델을 통과하여 CLS 토큰 출력값을 기반으로 문장의 유사성을 찾을 수 있음 하지만, 이런 방식의 경우 모든 sentence pair에 대해서 출력을 진행해야 하기 때문에, 연산시간에 있어서 한계가 명확하고 성능도 좋지 못함 (ex. 10000개의 sentence에서 유사한 후보군을 조사하는데에 65시간이 걸림) Sentence-Bert의 차별점 siamense 네트워크와 triplet 네트워크를 활용한 BERT의 변형 버전에 해당 Tf-idf와 같은 sparse embedding류와는 달리 semantica.. 공감수 0 댓글수 0 2022. 5. 10.
[NLP] 트랜스포머 모델에 커스텀 데이터에 대한 MLM 학습 진행하기 * 가볍게 진행해본 내용으로, 자세한 내용은 아래 참고문헌을 참고해주세요 Langauge 모델 Pretraining 트랜스포머 Language 모델은 기본적으로 두가지 학습을 통해 Pretrained 모델을 생성한다. 바로, MLM(Masked Language Modeling)과 NSP(Next Sentence Prediction)을 통해 언어모델을 생성한다. 이미 많은 논문들에서 밝혀졌지만, NSP보다는 MLM이 트랜스포머 모델의 성능 향상에 주요한 영향을 끼친다고 얘기하고 있다. 관련 코드 실행 그럼 이미 Pretrained된 모델에 추가로, Custom 데이터에 MLM 학습을 진행할 수 있을까? Huggingface 라이브러리를 활용하면 간단하게 진행해볼 수 있다. 허깅페이스 라이브러리 깃허브를 c.. 공감수 0 댓글수 0 2022. 5. 7.
[NLP] MRC(ODQA) 태스크 관련 지표 본 내용은 부스트캠프 오피스아워에서 진행되었던 내용을 정리하여 재가공한 내용입니다. 1.Exact Match(EM) 모델의 예측과 실제 답이 정확하게 일치할 경우에만 점수를 부여 일치할 경우 0, 일치하지 않을 경우 1로 표현 이분법적인 방식의 점수지표. 정확한 답을 얻어야하는 것을 최우선 목표로하는 태스크의 경우 괜찮지만, 그런 태스크가 아닌이상 부분점수를 반영하지 않아 적합하지 않은 지표일 수 있음 2. Precision@K 모델에서 1로 예측한 것 중에 실제 1이 얼마나 있는지의 비율 내가 추천한 아이템 K개 중 실제 사용자가 관심있는 아이템의 비율 단순히 텍스트 단어 하나를 맞추는 것이 아닌 구나 문장을 맞춰야할 때 적합한 Metric으로 생각됨. 예측한 답의 단어 구성 중 몇 개의 단어가 실제 .. 공감수 0 댓글수 0 2022. 5. 6.
[2022-05-04] MRC 대회에 대한 오해 멘토링 시간에, ODQA 논문에 대한 얘기가 나왔다. MRC 논문들 위주로 탐색했었을 때에는 논문들이 잘 나오지 않았다. 그래서 원래 잘나오지 않는 것인가 이했었다. 사실상 ODQA TASK는 본문에서 답을 찾아내는 MRC TASK 뿐만 아니라 가장 유사한 문서를 찾아오는 Document Retrieval 및 Information Retrieval 분야가 함께 결합된 태스크이다. 그래서 MRC 태스크 만으론 논문을 찾기가 어려웠던 것이다. 이번부터라도 좀더 IR, DR 관련 논문을 보면서, 어떻게 유사한 문서들 잘 Retrieval할 지 고민해봐야겠다. 공감수 0 댓글수 0 2022. 5. 5.
[22-05-03] UniVL Eval_epoch 함수 내 Torch 관련 코드 복기 torch 데이터를 transpose torch.transpose( data, dim0, dim1 ) 유사도 matrix에서 유사도가 높은 상위 K개 원소 가져오기 torch.topk( sim_matrix, k) torch matrix 간 곱셈 toch.matmul() torch개체 안에 들어있는 여러개 matrix concat torch.cat( torch개체, axis) torch개체 내 행 또는 열 기준 정규화 torch.nn.functional.normalize( ) 인진이가 작성한 Eval_epoch 함수 오류 찾아내려다, 결국 찾아내질 못했다. 대신에, 코드를 뜯어보면서 나도 모르게 헷갈렸거나 잘몰랐던 Torch 함수 관련 내용을 정리해볼 수 있었다. 매번 볼 때마다 새로운데, 이제는 제대로 .. 공감수 0 댓글수 0 2022. 5. 3.
[MLOps] MLflow 기본 실행 코드 0. MLflow 정의 머신러닝의 라이프사이클을 관리해주는 MLOps 도구에 해당. 모델 학습 기록, 모델 환경 관리, 모델 배포 지원, 다양한 모델 버전 관리 등의 기능을 제공하고 있음. 1. MLflow에서 생성하는 Experiment 단위 어떤 문제를 해결하고자 하는가에 따라 구분. WandB에서의 Project 단위와 유사 experiment 생성 : mlflow.create_experiment(동일한 이름에 대해 한번만생성 가능, 다시 동일한 코드로 실행시 에러 발생) 기존 experiement를 활성화 : mlflow.set_experiment() 2. MLflow에서 생성하는 Run 단위 하나의 experiment, 즉 하나의 Experiment 내에서 이뤄지는 다양한 실험에 해당. Wand.. 공감수 0 댓글수 0 2022. 4. 30.
[Knowledge Graph] ‘우크라이나-러시아 전쟁’ 지식그래프 시각화 결과 및 총평 본내용은 부스트캠프 3기 RE 데이터 구축 프로젝트를 진행하면서 작성된 내용입니다. 관련 프로젝트 내용은 아래 깃허브 링크에서 활용하실 수 있습니다. https://github.com/boostcampaitech3/level2-data-annotation_nlp-level2-nlp-09 0. 지식그래프 전체 결과 다양한 연결관계를 가진 지식그래프 전체 모습 1. 우크라이나 - 러시아 관계에서의 적대국가와 우호국가들 ’러시아’, ‘우크라이나’와 ‘org_friendly’ 관계와 ‘org_hostile’ 관계를 맺고 있는 ‘ORG’ 타입의 엔티티들 2. 우크라이나와 러시아가 보유한 다양한 자산들(무기, 병력, 시설) ‘우크라이나’ 또는 ‘러시아’ ‘ORG’ 엔티티와 ‘org_property’를 가지고 있는 .. 공감수 1 댓글수 2 2022. 4. 25.
[Knowledge Graph] 지식그래프 구축을 위한 사전지식 본내용은 부스트캠프 3기 RE 데이터 구축 프로젝트를 진행하면서 작성한 내용입니다. 관련 프로젝트 내용은 아래 깃허브 링크에서 활용하실 수 있습니다. https://github.com/boostcampaitech3/level2-data-annotation_nlp-level2-nlp-09 용어에 대한 정의 지식그래프 지식그래프란 관련 있는 정보들을 엣지와 노드로 표현한 지식구조로 표현한 것이다. 노드는 객체(ex. 인물 지역 등)를 표현하며, 엣지는 객체들 간의 관계(ex.가족 관계, 직업)를 나타낸다. 정보를 일반적인 지식그래프의 형태로 저장하면 연관성 높은 정보들을 쉽게 확인할 수 있기 때문에, 사용자에게 더욱 풍부한 정보를 제공할 수 있다. 그래프 DB 그래프 데이터베이스는 행과 열을 가지는 표 형식.. 공감수 1 댓글수 0 2022. 4. 25.
F1-macro, F1-micro 스코어 평가지표들 나는 제대로 알고 있는 것인가 이번에 진행되었던 부스트캠프 RE 태스크 대회에서 리더보드 등수 평가 기준 Metric은 F1-macro, Auprc이었다. 또한, 우리 조는 모델 학습과정 중 Best model을 선택하는 기준을 한차례 조정을 진행한 바있다. 여러 시나리오로 테스트해본 결과, 베이스라인 디폴트값인 loss 보다 f1-score가 적합하다고 판단하였고, 변경하여 높은 성능 향상을 달성할 수 있었다. 우리는 이러한 내용들을 당당하게 랩업리포트에 작성하였다. 하지만, 이번에 멘토님께 랩업보고서를 보여주면서, 질문을 받았다. Macro-f1과 Micro-f1은 어떤 원리로 점수가 산정되는가에 대한 질문이었다. 순간 나와 팀원들 모두 몰라 당황할 수 밖에 없었다. 이로써, 다시 한번 어떤 새로운 .. 공감수 0 댓글수 0 2022. 4. 23.
[Multimodal] 구글 Show and Tell 논문 훑어보기 논문 개요 2015년 구글에서 발표한 이미지 캡셔닝 분야 논문 트랜스포머 구조를 사용하기 전에 나온 뉴럴 모델 분야에서의 선구적인 이미지 캡셔닝 모델 end to end 형태를 가진 Neural Image Caption(NIC) 모델을 제안하였음 모델 구조 이미지 임베딩의 경우 CNN을 활용하였으며, 텍스트 생성 부분의 경우 LSTM 모델을 활용하였음. 인풋 이미지가 CNN 모델을 통과하여 Context 벡터를 생성하여, 이를 Seq2Seq 형태로 LSTM기반 텍스트 생성모델의 초기 입력으로 사용하였음. (이미지를 설명하는) 텍스트 문장 생성의 경우, 위 식과 같이 각 파라미터(θ*)는 이미지(I)에 대하여 텍스트 문장(S)의 확률을 maxmize하는 방향으로 학습할 수 있도록 구조화되어 있음 stoch.. 공감수 0 댓글수 0 2022. 4. 20.
Huggingface에서 AMP를 적용하는 방법 16비트와 32비트 일반적으로 딥러닝 모델을 실행할 때 사용하는 숫자의 형태는 32비트이다. 이는, 2^32 = 4,294,967,296 가지의 숫자 정보를 표현할 수 있다는 뜻이다. 하지만, 이렇게 세세하게 표현할 수 있는 만큼 단점이 있다. 바로 연산의 속도가 늦어진다는 점이다. 모델 및 데이터 크기 또는 하드웨어 사양에 따라 천차만별이긴 하지만, 일반적으로 랩실이나 코랩에서 돌리는 GPU를 기준으로 bert-base와 같은 가벼운 모델로 텍스트 데이터를 학습하면 최소 30분은 소요된다. 그렇다면 한번쯤 이런 생각을 해볼 수 있을 것이다. 그렇다면 16비트로 돌려볼 수 있지 않을까?와 같은 생각 말이다. 그러면 좀 더 빠른 연산을 통해 시간을 절약할 수 있지 않을까 생각이 들것이다. 하지만, 반대로 .. 공감수 0 댓글수 0 2022. 4. 16.
2022 국제인공지능대전(AI 엑스포) 방문기 오늘 국내 최대규모의 AI 전시회인 국제인공지능대전을 네이버 부스트캠프 NLP 트랙 팀원들과 함께 다녀왔습니다. 인공지능이 어떻게 다양한 산업에서 적용되고 있으며, 연구되고 있는지를 실감하고자 방문하였습니다. 국제 인공지능은 국내 AI산업이 빠르게 성장함에 따라, 관련 기업 및 산업체들이 참여하여, 개발중이거나 현재 사업을 진행중인 다양한 인공지능 기술들을 전시하고 있습니다. 올해의 경우, 약 3일간 개최되었으며, 금요일 하루는 퍼블릭데이로 일반 기업체 사람들 뿐만 아니라, 일반인들에게도 오픈이 되었습니다. 약 350개의 기업체들이 참여하였으며, 네이버 클라우드, NHN Cloud, 메가존클라우드 등 주요 클라우드 기업들이 스폰서로 행사에 참여하였습니다. 입장료의 경우 10000원이며, 올해의 경우 1주.. 공감수 0 댓글수 0 2022. 4. 16.
BERTAdam 옵티마이저의 진실 BERT 모델의 적용사례를 찾다보면, 한번씩 발견할 수 있는 신기한 옵티마이저가 있습니다. 이름하여, BertAdam입니다. Adam인데, BERT 모델의 적용에 최적화된 Adam 옵티마이저로 알려져 있습니다. NLP 모델의 옵티마이저들의 옵션들을 고려하다보면, 한번쯤 성능 향상의 기대를 안고 사용해보고 싶어집니다. 실제로 이 옵티마이저는 Google팀이 BERT(Devlin et al., 2019) 논문에서 실험할 때 사용했던 옵티마이저입니다. 비록 이전에 한번도 사용되지 않았으며, 검증이 완료되지 않은 상태였지만, BERT와 같이 유명한 논문에서 사용되면서 급속도로 확산되기 시작하였습니다. Huggingface와 같은 오픈 라이브러리에서 BERT 모델 학습과정에서 필연적으로 사용되기 시작하였으며, 타.. 공감수 1 댓글수 3 2022. 4. 15.
[Multimodal] UniVL모델에서 사용된 MIL-NCE Loss MIL-NCE Loss의 발견 UniVL(A Unified Video and Language Pre-Training Model) 모델 코드를 들여다보면, 일반적으로 많이 알려진 Cross Entropy, LabelSmoother, Focal 로스와 같이 일반적으로 사용되는 Loss와는 다른 MIL-NCE Loss가 사용되고 있음을 알 수 있다. UniVL: A Unified Video and Language Pre-Training Model for Multimodal Understanding and Generation With the recent success of the pre-training technique for NLP and image-linguistic tasks, some video-ling.. 공감수 0 댓글수 0 2022. 4. 10.
[CNN에서 DenseNet까지] 컴퓨터 비전 모델 변천사 CNN 기초용어 Convolution 합성곱 Channel 채널 Filter 필터 Stride Padding 패딩 Pooling 풀링 관련 내용에 대한 이해가 필요하다면, 아래 링크 참고해보기 CNN, Convolutional Neural Network 요약 CNN 모델 구성요소 Convolution 레이어 필터를 이용하여 입력 이미지로 부터 특징을 추출하는 수학적 연산 ex) Convolved Feature Pooling 레이어 필터를 이용하여 입력 이미지로 부터 특정 범위의 값을 압축(연산)하여 특징을 추출 ex) MaxPooling Fully connected 레이어(FCN) 2차원의 배열 형태 이미지를 1차원의 평탄화 작업(flatten)을 진행한 벡터를 하나의 벡터로 연결 모델의 의사결정(ex... 공감수 0 댓글수 0 2022. 3. 21.
TEST CNN 기초 Convolution 합성곱 Channel 채널 Filter 필터 Stride Padding 패딩 Pooling 풀링 CNN, Convolutional Neural Network 요약 CNN의 구성요소 Convolution 레이어 과 Pooling 레이어 [Convolution 정의] 필터를 이용하여 입력 이미지로 부터 특징을 추출하는 수학적 연산 [Pooling 정의] 필터를 이용하여 입력 이미지로 부터 특정 범위의 값을 압축(연산)하여 특징을 추출 ex) MaxPooling 이미지 특징들을 추출하고, 추출한 특징 기반 피처맵 생성하는 레이어 Fully connected 레이어(FCN) [Fully Connected 레이어 정의] 2차원의 배열 형태 이미지를 1차원의 평탄화 작업(flatt.. 공감수 0 댓글수 0 2022. 3. 21.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.