Windows에서 Obsidian을 Google Drive로 동기화해서 쓰다 보면 어느 순간 이런 상황을 겪게 됩니다.Google Drive 데스크톱 앱이 갑자기 실행이 안 됨고쳐서 되게 해두면 며칠 뒤 또 같은 문제 반복노트를 저장할 때마다 파일이 자잘하게 계속 바뀌는데, 이런 사용 패턴과 Google Drive 동기화 엔진의 궁합이 좋지 않음이 글은 이 문제에서 벗어나기 위해 구축한 구조와, 그 과정에서 겪은 삽질까지 순서대로 정리한 기록입니다. 최종 구조구간방식역할Windows PC ↔ 개인 서버 ↔ 안드로이드Syncthing (실시간, 양방향, P2P)실제 노트 작업개인 서버 → Google Driverclone sync (매일 새벽 자동, 단방향)재해 대비 백업핵심 아이디어는 "실시간 작업"과 ..
시리즈 구성1편: 병목의 기초 - 연산량과 메모리 비용 ← 현재 글2편: 하드웨어 최적화 - 활성화 함수, 텐서 코어, 양자화3편: 배포와 설계 - 전/후처리 병목과 정확도 예상 코드를 보고 딥러닝 모델의 속도 문제를 찾으려면 두 가지 척도를 먼저 이해해야 합니다.연산량(MACs) 과 메모리 비용(Memory MAC) 입니다.이 둘은 같아 보이지만 완전히 다른 개념이고, 어떤 병목인지에 따라 해결 방법도 달라집니다. ※ 이 포스팅에 나오는 코드는 PyTorch를 기반으로 작성됩니다.01. 연산량 공식 — MACs딥러닝 모델의 연산량을 계산할 때 가장 표준적으로 사용하는 단위는 MACs(Multiply-Accumulate Operations) 입니다.1 MAC = 1번의 곱셈 + 1번의 덧셈1 MAC ≈ ..
모델을 실제 엣지 디바이스나 NPU에 배포하려다 보면 양자화를 피하기 어렵습니다.특히 VisionicNet 개발 과정에서 INT8 배포를 시도하며 PTQ가 왜 실패하는지, QAT가 내부적으로 어떻게 동작하는지를 직접 겪었는데, 이번에 개념을 처음부터 다시 정리해봤습니다.수식과 가상 예시를 통해 두 방식의 차이를 단계별로 비교합니다. 양자화란FP32(32비트 부동소수점)로 표현되는 가중치와 활성화 값을 INT8 등 낮은 비트의 정수형으로 변환하여 메모리 사용량을 줄이고 추론 속도를 높이는 기법입니다.대표적인 방식이 PTQ와 QAT 두 가지입니다. PTQ (Post-Training Quantization, 훈련 후 양자화)이미 학습이 완료된 모델의 파라미터를 추가 재학습 없이 직접 양자화하는 방식입니다. 기..
갈수록 어마어마한 발전을 이루는 AI. 그 중에서 이미지 인식 기능도 매우 핫한 기능입니다. 이걸 맛보기로 한번 해보려고 합니다. 이미지 인식이란? 이미지 인식를 간략하게 표현하자면, 어떠한 이미지가 입력되면 해당 이미지 내의 객체가 무엇인지 알려주는 것이라고 생각하면 됩니다. 아래 예시 사진으로 한번 확인해 보시죠 보시면 평범한 사진이라도 객체의 특징을 잡아내서 무엇인지 알려주고 %까지 안내해줍니다. 굉장히 신기하면서 어려울 것 같은 이미지 인식을 우린 Yolo v5를 사용해서 간단하게 해봅시다. Yolo v5란? You Only Look Once 는 한번 보고 바로 인식을 하는데 목표를 둔 모델입니다. 이름 뜻 그대로 신속한 이미지 인식 성능을 보이는 모델입니다. 그럼 이를 사용해 detction(인..
모델을 개발하다 보면 자연스럽게 외워지는 내용들이 있습니다. IoU, mAP, Precision, Recall 같은 지표들이 그렇습니다.매일 보다 보니 수치는 바로 읽히는데, 막상 누군가 "그게 정확히 뭔가요?"라고 물으면 말로 설명하기가 생각보다 애매할 때가 있습니다. 이번 기회에 한 번 제대로 정리해두려 합니다.아는 내용이지만, 써놓으면 나중에 찾아보기 편하기도 하고요. IoU - 박스가 얼마나 겹쳐있는가IoU(Intersection over Union) 는 사용자가 지정한 정답 박스(라벨)와 AI가 예측한 박스가 얼마나 일치하는지를 나타내는 값입니다.IoU = 두 박스의 겹치는 면적 / 두 박스의 전체 합친 면적통상적으로 IoU가 50% 이상이면 "검출한 것"으로 인정합니다.50% 미만이면 아예 잘..
모델을 실제 엣지 디바이스나 NPU에 배포하려다 보면 양자화를 피하기 어렵습니다.특히 VisionicNet 개발 과정에서 INT8 배포를 시도하며 PTQ가 왜 실패하는지, QAT가 내부적으로 어떻게 동작하는지를 직접 겪었는데, 이번에 개념을 처음부터 다시 정리해봤습니다.수식과 가상 예시를 통해 두 방식의 차이를 단계별로 비교합니다. 양자화란FP32(32비트 부동소수점)로 표현되는 가중치와 활성화 값을 INT8 등 낮은 비트의 정수형으로 변환하여 메모리 사용량을 줄이고 추론 속도를 높이는 기법입니다.대표적인 방식이 PTQ와 QAT 두 가지입니다. PTQ (Post-Training Quantization, 훈련 후 양자화)이미 학습이 완료된 모델의 파라미터를 추가 재학습 없이 직접 양자화하는 방식입니다. 기..
AI 모델을 뜯어보다 보면 결국 벡터, 행렬, 선형변환, 고유값·고유벡터 같은 개념과 계속 마주치게 됩니다.이 글은 "AI는 결국 무엇을 하는 존재인가"라는 질문에서 출발해,선형변환의 정의부터 고유값·고유벡터가 실제로 PCA(전처리)와 SVD(모델 압축)에서 어떻게 쓰이는지까지 정리한 학습 노트입니다. 1. 선형변환은 "행렬"이 아니라 "동작"이다저는 선형 변환을 공부하면서 개념에 대해 갈피를 못잡고 있었습니다.특히 가장 먼저 짚어야 할 오해는 "선형변환 = 행렬"이라는 개념입니다.정확히는 다릅니다.선형변환 $T$: 벡터를 다른 벡터로 옮기는 추상적인 동작(함수). 아래 두 조건을 만족해야 합니다.가법성: $T(\mathbf{x}+\mathbf{y}) = T(\mathbf{x}) + T(\mathbf{y..
딥러닝 코드를 짜다 보면 W @ x, A @ B 같은 행렬 곱셈을 매일 씁니다.그런데 막상 "행렬이 뭔가요?"라고 물으면 "숫자를 격자로 늘어놓은 것"이라는 답 이상을 말하기가 쉽지 않습니다. 이번에는 행렬의 두 가지 관점, 행렬 곱셈이 왜 그런 규칙으로 계산되는지, 그리고 CNN에서 행렬 곱셈이 어떻게 쓰이는지까지 순서대로 정리해봤습니다. 행렬을 보는 두 가지 관점1. 정적인 관점 - 데이터를 담는 그릇가장 직관적인 형태입니다. 서로 연관된 데이터를 행(Row)과 열(Column)로 정리하는 표입니다.엑셀 시트 / DB 테이블: 행은 '사람', 열은 '키, 몸무게, 나이'흑백 이미지: 가로×세로 픽셀의 밝기 숫자를 담은 격자판 ($28 \times 28$ 행렬)인접 행렬: 사람 간 친구 관계나 웹페이지..
38일간 돌아가던 학습이 끝났습니다.epoch 300를 학습하면서 생긴 좌충우돌을 기록해보고자 합니다.프로젝트 목적이 프로젝트는 timm이나 HuggingFace의 ViT를 가져다 쓰는 게 아니라,patch embedding · multi-head attention · transformer block · classifier head까지 전부 PyTorch로 직접 구현하며Transformer 아키텍처를 체득하는 개인 학습/연구 프로젝트입니다. 로드맵은 이렇습니다.ViT 구현 - Transformer 구조 직접 구현 및 검증VLM 구현 - 학습된 ViT를 시각 인코더로 삼아 LLM + Projector를 연결하는 LLaVA류 멀티모달 파이프라인 구축데이터셋 단계적 확장 - MNIST → ImageNet-1K..
지난 글에서 표본분산의 분모가 $n-1$인 이유를 설명할 때 자유도(Degrees of Freedom)를 잠깐 언급했습니다.그 개념을 제대로 이해하려면 좀 더 파고들 필요가 있어서, 이번에는 자유도와 그 주변 개념들을 같이 정리합니다.자유도 (Degrees of Freedom, df)자유도는 전체 데이터 중 어떤 제약에도 얽매이지 않고 독립적으로 선택할 수 있는 데이터의 수입니다.$$df = N - K$$$N$은 전체 데이터 수, $K$는 독립적인 제약 조건의 수입니다. 자유도를 이해하는 핵심은 두가지 종류의 데이터를 구분하는 것입니다. 1. 독립적으로 새롭게 제공되는 정보. 기존 데이터나 공식으로 예측할 수 없는 순수한 새 정보2. 평균 같은 이미 계산된 제약 조건 때문에 자동으로 결정된 값 표본분산에..
