Deep learning (10) 썸네일형 리스트형 Overleaf column width figure 너비 / cm 단위 저장 너비 16.66 cm 높이 22.5 cm 이 정도 넓이다 [코드] 이미지의 패치 단위 얼만큼 차지하는지 보는 코드 / 패치 별 평균 보는 방법 1. 이미지의 패치 단위 얼만큼 차지하는지 보는 코드 import matplotlib.pyplot as pltimport numpy as npfrom PIL import Imageimport requestsfrom io import BytesIO# Image dimensionsimg_size = 224patch_size = 14num_patches = 16# Function to load and resize imagedef load_and_resize_image(url, size): response = requests.get(url) img = Image.open(BytesIO(response.content)) img = img.resize((size, size)) return n.. 이미지 normalize의 중요성 / clamp(0, 1) 이미지 normalize의 중요성 toy experimentimage = self.vae.decode(pred_original_sample.to(self.weight_dtype)).sample image를 vae에서 처음 추출했을 때 image 값의 범위 image의 값의 범위는 -1 ~ 1 사이에 있었다. image를 저장해보기 이 이미지를 255 값으로 바꾸고 이미지를 출력해봤을 때 이렇게 원래 이미지 색깔이 안나오는 문제가 발생한다 image normalize clamp(0,1) image = (image / 2 + 0.5).clamp(0, 1)image = (image / 2 + 0.5).clamp(0, 1) 따라서 normalize를 0~1로 해야 255 .. Imagenet에서 이미지 생성 / class-conditional과 resolution task 이미지넷은 이미지 분류 및 기타 컴퓨터 비전 작업에 사용되는 대규모 데이터셋입니다. 수백만 장의 레이블 이미지를 포함하며, 이 이미지들은 수천 개의 카테고리로 분류되어 있습니다. 그리고 이미지넷을 이용한 Image generation task는 이미지넷을 학습해 해당 클래스 레이블 없이 또는 사용해서 이미지를 생성하는 태스크를 의미합니다. 이 태스크는 우선 크게 class-conditional 과 unconditional, 그리고 resolution 등으로 나눠볼 수 있습니다. Unconditional Unconditional, 직역시 조건이 없는 생성은 모델이 특정한 지침이나 조건 없이 이미지를 생성하는 것을 의미합니다. 모델은 훈련 데이터셋 분포를 학습하면서 이미지를 생성하는데, 조건이 없다면 훈련 .. 대규모 언어모델의 Training compute / 구성요소 "Training compute"라는 용어는 제와 같은 대규모 언어 모델(LLMs)에 있어서 훈련 단계 동안 사용되는 계산 리소스와 파워를 의미합니다. 대규모 언어 모델을 훈련시키는 과정은 방대한 양의 데이터를 복잡한 신경망 구조를 통해 처리하는 것을 포함하며, 이 과정은 상당한 계산 능력을 요구합니다. 이런 Training compute에 포함될 요소들에는 무엇이 있을지 알아보겠습니다. Training compute 논문 마다 Training compute를 넓게 또는 좁게 해석하기도 한다. 그 중 대표적인 구성 요소들을 알아보려고 한다. 1. 프로세서 processor 프로세서란 거대한 언어 모델을 학습시키는 데 사용되는 GPU나 TPU를 비롯한 전문 하드웨어들을 의미합니다. GPU는 그래픽 처리 장.. Take home message에 대해서 Take home message에 대해서 학술 논문 연구 발표나 리뷰를 쓸 때 마지막에 take home message라는 섹션을 둘 때가 있다. 이는 summary와 비슷한 느낌을 주는데 왜 take home 일까? 그냥 요약이랑 무엇이 다를까? 라는 궁금증에서 찾아보았고 take home message에 넣어야 하는 내용을 살펴보았다. take home message take home message는 연구 리뷰 작성자나 발표자가 해당 연구 논문을 읽은 후 가장 중요한 발견이나 핵심적인 통찰력을 전달하는 섹션을 의미한다. 그냥 단순한 결론이나 요약은 논문이 주장한대로 main contribution이나 자기가 만들어낸 방법론을 전달할 수도 있다. 하지만 take home message는 집에 가서도 생.. 생성모델 비교에 왜 FID가 IS보다 비교척도로 많이 쓰일까 이미지 생성 모델, 특히 생성적 적대 신경망(GANs) 모델을 평가할 때 두 가지 인기있는 지표는 생성된 이미지의 품질을 평가하는 데 사용됩니다: 프레셰인셉션거리(FID)와 인셉션점수(IS). 각각 다른 목적을 가지고 있으며 생성된 이미지의 다른 측면을 측정합니다. Paperswithcode 같은 논문 비교 사이트를 들어가보거나 논문의 테이블을 보면 보통 FID를 기준으로 비교 성능을 줄 세우는 것을 알 수 있습니다. FID나 IS 모두 생성모델 비교에서 잘 쓰임에도 불구하고 결국 줄 세울 때는 FID를 우선으로 하는 이유가 뭘까요? 1. IS 인셉션 점수 인셉션 점수 (IS) 인셉션 점수는 사전 학습된 인셉션 모델을 사용하여 이미지의 품질을 평가합니다. 인셉션 모델은 본래 이미지 분류 태스크를 위해 학.. 사이트가 다운되었거나 사용할 수 없음 / 애드센스 알고리즘 기준 1. 문제 사이트가 다운되었거나 사용할 수 없음 애드센스를 블로그에 연결하려고 할 때 이 문구로 거절이 되는 경우가 있습니다. 여러 블로그에서는 sitemap이나 색인 정보를 수정하는 등의 문제로 해결하라고 말하고 있습니다. 하지만 애드센스는 나날이 그 승인 조건과 색인 생성에 관해 점점 더 엄격해지고 있습니다. 따라서 근본적인 해결방법을 위해서는 애드센스 정책에 대한 이해가 필요합니다. 2. 애드센스 정책 애드센스는 고품질의 원본 콘텐츠와 잘 정립된 사이트를 원합니다. 대부분의 블로그가 거절을 당하는 이유는 크롤링이 문제라기 보다 '콘텐츠'가 없기 때문에 애드센스에 적합하지 않았다고 판단되었기 때문이죠. Google Developers는 랭킹 시스템 가이드를 살펴보면 유용한 콘텐츠 시스템이 되어 있어 .. [딥러닝] 논문 리뷰 작성할 때 목차 table of contents 추천 [딥러닝] 논문 리뷰 작성할 때 목차 table of contents 추천 인공지능과 머신러닝을 공부할 때 논문은 필수로 거치는 과정입니다. 특히 스터디나 연구를 진행할 때 논문 리뷰 발표를 진행하는 경우가 많습니다. 이때 여러 시행착오를 거쳐서 느꼈던 순서와 논문 리뷰에 포함하면 좋을 내용들이 있었는데, 이번 글에서 정리해보고자 합니다. -1. Title 0. Table of Contents 1. Introduction 2. Related Work 3. Method / Methodology / Proposed Work 4. Experiments 5. Summary / Discussion / Limitation 6. +Appendix -1. 제목 가장 첫번째 페이지는 제목 페이지입니다. 제목 페이지에는 .. [딥러닝] AI Winter과 Propagation 역전파 0. 딥러닝의 탄생 배경 딥러닝 연구자들의 궁극적인 꿈은 생각하는 기계를 만드는 것이었습니다. 그러다 보니 자연스럽게 뇌를 공부하게 되었습니다. 뇌에는 뉴런이라는 유닛이 단순 동작하면서도 굉장히 복잡한 기능을 수행할 수 있게 됩니다. 어떻게 이런 간단한 유닛이 복잡하게 연결되어 여러 가지 시너지를 만들 수 있었던 것일까요? 뉴런에는 값에 대한 '역치'라는 것이 있습니다. 뉴런에 입력되는 값이 역치 즉 기준치 이상이면 활성화되지만 낮다면 활성화되지 않습니다. 이런 모습을 본 딴 것이 바로 activation functions, 한글로 활성함수입니다. 뉴런에 입력되는 인풋을 x라고 표현한다면 뉴런 내의 weight가 x에 곱해진 값과 bias라는 편향이 더해져 결과 output y를 만듭니다. 이 아웃풋 y.. 이전 1 다음
