티스토리

은긔 노트

검색하기

블로그 홈

은긔 노트

engui-note.tistory.com/m

은긔짜응 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

Flexible! Powerful! Einops Einops? tensor의 차원을 원하는대로 바꿀 수 있는 라이브러리 굉장히 직관적이며 빠르게 작동 Example 기본 코드 예시 from einops import rearrange, reduce, repeat # rearrange elements according to the pattern rearrange(torch.zeros((3,244,244)), 'c h w -> h w c').shape #torch.Size([244, 244, 3]) # combine rearrangement and reduction reduce(torch.zeros((16,3,224,224)), 'b c (h h2) (w w2) -> b h w c','mean',h2 = 16, w2 = 16).shape #torch.Siz.. 공감수 0 댓글수 0 2022. 8. 10.
Introduction of Image Segmentation 목차 Image Segmentation이란 이름 그대로 image를 분할하는 방법이다. classification은 한장의 image가 어떤 클래스일지 맞추는 작업이고, object detection은 특정 object의 bounding box를 찾는 작업이다. segmentation은 더 나아가서 image의 모든 픽셀에 대해서 클래스를 예측하는 작업이다. Image Segmentation의 구분 Semantic segmentation, Instance segmentation, Panoptic segmentation으로 구분이 가능하다. 간단히 설명하면 semantic segmentation은 단순히 pixel의 클래스를 구분 하는 작업이고, instance segmentation은 같은 클래스여도 서.. 공감수 1 댓글수 0 2022. 7. 28.
SPP(Spatial Pyramid Pooling) 와 ASPP(Atrous Spatial Pyramid Pooling)의 차이점(Multi-scale representation) 목차 SPP(Spatial Pyramid Pooling) SPP는 CNN에서 입력 이미지의 크기 (H, W)에 상관없이 항상 동일한 feature를 추출하기 위해 고안된 방법으로 FC layer에 들어가기 직전인 CNN의 마지막 레이어의 feature map에 적용된다. 임의의 크기로 입력된 feature map에서 3개의 다른 스케일로 max pooling을 진행한다. 논문에서는 4x4, 2x4, 1x1의 3개의 다른 스케일을 적용했는데 여기서 말하는 4x4, 2x2, 1x1는 픽셀의 크기가 아닌 패치(patch)의 개수를 의미한다. 즉 4x4는 feature맵을 4x4의 패치로 잘라서 maxpooling을 하겠다는 의미이다. 예시를 들면 feature map의 크기가 8,8일 경우 (H,W; 여기서 .. 공감수 0 댓글수 0 2022. 7. 27.
원본 이미지와 마스크 이미지 합성(with opacity) Problem Image segmentation 결과인 mask를 원본 이미지위에 투명도를 줘서 segment를 확인할 수 있게끔 하려고함. 근데 cv2.drawContours에는 opacity를 줄 수 없기 때문에 찾아보니 cv2.addWeighted를 이용해서 원본이미지 위에 덮어 씌우는 방식으로 해결 Solution # get input image origin = self.get_origin_image() # get score of segment score = self.get_score() # get mask of segment masks = self.get_masks() # black mask for fill polygon blank_mask = np.zeros(origin.shape) # dra.. 공감수 0 댓글수 0 2022. 7. 13.
DeepMC_4 / Decoder 목차 Introduction E) Attention Mechanism과 연결되어있는 F) Decoder 부분을 살펴본다. Decoder의 output이 Attention의 input으로 사용되기 때문에 맨 처음에 Decoder LSTM을 어떻게 구현해야할지 고민을 많이 했다. 일반적인 nn.LSTM을 사용하면 time step별로 output을 뽑을 수 없기 때문이다. Method & Material E) Attention Mechanism은 2 level attention (Position Based Content Attention Layer, Scale Guided Attention Layer)로 이루어져 있고, 각각 Context vector c, c`을 time step 별로 출력해준다. 그리고 .. 공감수 0 댓글수 0 2022. 6. 23.
Pytorch lightning DDP constant가 device에 할당되지 않는 문제 / Tensor for argument #2 'mat1' is on CPU, but expected it to be on GPU Problem 단일 GPU에서 실행되던 코드를 DDP로 옮기다가 발생한 문제 기존에 init할때 s_i를 to.(device)로 해두었는데, 로그를 print로 찍어보니 cpu로 나와있다. 그렇다. init할때는 GPU에 아직 할당되기 전이라서 device가 cpu로 나온 것이다. forward할때는 device가 CUDA:0 ~ 2로 나오는데 forward에 입력으로 계속 넣어줘서 해결할 수도 있지만 근본적으로 해결을 해야 할 필요가 있었다. Traceback (most recent call last): File "/home/ubuntu/jini1114/DeepMC/trainer.py", line 81, in trainer.fit(deepmc, datamodule=dl) File "/home/ubunt.. 공감수 0 댓글수 0 2022. 6. 21.
Layer List로 이루어진 모델 RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same 오류 해결방법 목차 Problem DeepMC 모델을 구현하던 중, Layer List를 선언해야할 일이 생겼다. WPD를 이용해 다중 스케일로 분류한 입력값으로(실험에서는 7개 스케일) 동일한 구조를 가진 CNN stack를 학습해야하는 상황이다. 그래서 CNN stack을 다음같이 선언했다. self.CNNstacks = [CNNstack(self.num_encoder_feature) for _ in range(self.num_of_CNN_stacks)] 그리고 모델 fit을 진행했더니 뱉는 에러가 RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same 에러였다. 에러 전문은 다음과 .. 공감수 0 댓글수 0 2022. 6. 21.
DeepMC_3 / 2 Levels Attention Mechanism 목차 Introduction 저번 D)Multi-Scale Deep Learning에 이어서 다음 부분인 E)Attention Mechanism부분이다. DeepMC 모델에서 사용된 attention은 2가지 종류로 해당 논문에서는 '2 levels of attention models' 라고 표현하고 있다. 2 levels은 각각 Position Based Content Attention Layer, Scale Guided Attention Layer이다. Method & Metarial D) Multi-scale Deep Learning에서 다중 스케일로 encoding 된 데이터를 attention mechanism을 이용해 Decoder에 입력할 context vector(c)를 계산하는 과정이다... 공감수 0 댓글수 0 2022. 6. 16.
DeepMC_2 / Multi-Scale Deep Learning 목차 Introduction 저번 C)WPD에 이어서 다음 단계인 D)Multi-Scale Deep Learning 부분이다. DeepMC 논문에서 설명하고 있는 모델의 추론 방식은 C)WPD(Wavelet Packet Decomposition)을 5 levels로 분리해 기상 데이터를 다양한 scale관점에서 encoding하고 attention을 이용해 분리한 다양한 scale의 데이터중에 예측에 어떤 데이터를 사용할지 가중치를 이용해 결정한다. D)Multi-Scale Deep Learning은 전체 모델에서 Encoder 부분으로 CNN stack과 CNN-LSTM스택으로 구분된다. 각각을 코드로 구현해 동작이 잘 되는지 확인해본다. Material & Method CNN stack과 CNN-LS.. 공감수 0 댓글수 0 2022. 6. 15.
pytorch_lightning.utilities.exceptions.MisconfigurationException: to use manual_backward, please disable automatic optimization: set model property automatic_optimization as False 에러 해결 @property def automatic_optimization(self) -> bool: return False 목차 Problem 다른 에러를 해결하기 위해 manual_backward를 추가를 해서 발생한 에러이다. pytorch_lightning.utilities.exceptions.MisconfigurationException: to use manual_backward, please disable automatic optimization: set model property `automatic_optimization` as False Solution 에러에서 설명한대로 automatic_optimization을 False로 바꿔주면 해결되는 문제이다. LightningModule 클래스 안에 넣.. 공감수 0 댓글수 0 2022. 6. 14.
RuntimeError: Trying to backward through the graph a second time, but the saved intermediate results have already been freed. Specify retain_graph=True when calling .backward() or autograd.grad() the first time. 에러해결 목차 Problem Pytorch lightning으로 DeepMC 모델을 training하려고 시도하던중에 만난 에러이다. RuntimeError: Trying to backward through the graph a second time, but the saved intermediate results have already been freed. Specify retain_graph=True when calling .backward() or autograd.grad() the first time. optimizer를 호출하기 전에 backward를 2번 호출하면 발생하는 에러라고 말한다. https://github.com/PyTorchLightning/pytorch-lightning/discussion.. 공감수 0 댓글수 0 2022. 6. 14.
Python 그래프 부드럽게 그리기 (Python plot line smooth) Problem matplotlib.pyplot을 이용해 plot을 그리려고하는데 time scale이 달라서 모양이 이쁘지 않게 나오는 경우가 있다. 아래 plot에서 origin은 time step interval이 1이고, wavelet_n 은 time step interval이 2**n으로 나오게 된다. 즉 wavelet_5는 두 값간의 time step interval이 32로 나오게 되서 굉장히 딱딱한 모양이 나오게 되며, 경향성을 알기도 어렵다. Solution scipy의 make_interp_spline함수를 이용해 해결했다. 예시 코드는 다음과 같다. # example origin_y = [10,5,2,6,20,30] origin_x = [0,4,8,12,16,20] # time step.. 공감수 0 댓글수 0 2022. 5. 24.
DeepMC_1 / Wavelet Packet Decomposition (WPD) 목차 Introduction DeepMC(Kumar, Peeyush, et al. "Micro-climate Prediction-Multi Scale Encoder-decoder based Deep Learning Framework." Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining. 2021.) 논문의 모델을 구현을 시도했다. 전처리에 WPD(Wavelet Packet Decomposition)을 이용해 time siries data를 time scale별로 분해하여 multi-scale deeplearning을 하는 프로세스가 있다. 그림 1의 C부분에 해당하는 내용을 실제 데이터를 이용해서 WPD를 .. 공감수 0 댓글수 0 2022. 5. 23.
nvidia-smi ; Failed to initialize NVML: Driver/library version mismatch 에러 해결 Problem jini1114@user1:~/git/data/mp4$ nvidia-smi Failed to initialize NVML: Driver/library version mismatch 어제까지만해도 잘 실행되던 nvidia-smi가 갑자기 아침부터 안되기 시작했다. 뭐가 원인인지는 모르겠지만 예전에 해결해본적이 있어서 간단하게 해결한 방법을 정리하겠다. Solution nvidia 관련 모듈을 전부 지워준 뒤, nvidia-smi를 실행하면 된다. 우선 nvidia 관련 모듈을 확인해준다. jini1114@user1:~/git/data/mp4$ lsmod | grep nvidia nvidia_uvm 995328 0 nvidia_drm 57344 3 drm_kms_helper 188416 1 n.. 공감수 0 댓글수 0 2022. 5. 19.
Multi-GPU Deep Learning_2 (using DDP, MaskRCNN) 목차 Introduction 이세돌 Image segmentation에 사용하던 MaskRCNN을 기존 pytorch에서 pytorch lightning으로 옮기는 동시에 DDP도 적용하여 Multi-GPU Deep Learning을 시도했다. Method & Material torchvision의 maskrcnn모델을 학습에 사용했다. 모델의 구조는 다음과 같다. 더보기 MaskRCNN( (transform): GeneralizedRCNNTransform( Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) Resize(min_size=(800,), max_size=1333, mode='bilinear') ) (backbone): Back.. 공감수 0 댓글수 0 2022. 5. 17.
RuntimeError: Only Tensors created explicitly by the user (graph leaves) support the deepcopy protocol at the moment 해결 Problem Multi-GPU DDP Deep Learning 중에 loss를 copy하는 부분에서 문제가 발생했다.(고 생각된다..) 에러 전문은 다음과 같다. 더보기 Traceback (most recent call last): File "/home/ubuntu/jini1114/ddp_test/maskrcnn_trainer.py", line 54, in trainer.fit(ddpmaskrcnn, datamodule=dl) File "/home/ubuntu/anaconda3/envs/pytorch/lib/python3.8/site-packages/pytorch_lightning/trainer/trainer.py", line 460, in fit Traceback (most recent call la.. 공감수 0 댓글수 0 2022. 5. 17.
model 학습 시 loss대신 predict 결과가 나올 경우 Problem mask rcnn transfer learning중에 loss dict를 구하는 상황이었는데, model(image,target)넣어도 다음처럼 predict 결과만 숭숭 나왔다. {'boxes': tensor([[ 23.0990, 377.5876, 305.9265, 562.2125], [ 11.2159, 242.4047, 369.8665, 428.1471], [155.2247, 96.2208, 580.0000, 248.9312], [ 5.0806, 275.1395, 101.7696, 426.0195], [ 20.9149, 266.0938, 331.9341, 614.7516], [ 11.2956, 134.7541, 386.5382, 542.4605], [ 57.4241, 228.0799, .. 공감수 0 댓글수 0 2022. 5. 17.
Dataloader dictionary에서 batch를 밖으로 빼내기 Problem 기존에 pytorch로 구현되어 있는 maskrcnn training 코드를 pytorch lightning으로 바꾸다가 발생한 문제. 모델의 loss를 계산하기위해 입력하는 데이터의 형식이 약간 다른 문제가 발생. batch가 dictionary 안에 들어가 있어서 이를 dictionary 밖으로 빼내야 한다. # 현재 상태 { 'boxes': tensor([[[ 25., 209., 343., 610.]], [[181., 138., 550., 608.]]], device='cuda:1') } # 되어야하는 상태 # batch가 dictionary 밖으로 나와야함 [ {'boxes': tensor([[ 25., 209., 343., 610.]], device='cuda:1')}, {'box.. 공감수 0 댓글수 0 2022. 5. 17.
RuntimeError: stack expects each tensor to be equal size 에러 해결 Problem mask rcnn 모델을 학습하기위해 dataset과 dataloader를 구성한 뒤 코드를 실행했을 때, 다음과같은 에러가 발생했다 RuntimeError: stack expects each tensor to be equal size, but got [3, 680, 720] at entry 0 and [3, 580, 620] at entry 4 Solution batch로 묶는 이미지의 사이즈가 달라서 묶을 수 없다고하는 뜻이라, dataloader setup의 transform에 resize를 넣어서 해결해야 한다. def get_transform(self): transform = [ transforms.Resize((580,620)), ToTensor() ] return Compose.. 공감수 0 댓글수 0 2022. 5. 16.
change edge thickness (using opencv Morphological Transformations ) Problem cv2.canny를 이용해 추출한 edge의 thickness를 올리고 싶어서 방법을 찾던중 형태학적 변환(Morphological Transformations)을 opencv에서 이미 제공을 하고 있는 것을 발견했다. thickness를 늘릴수도있고, 줄일수도있고, 잡티를 제거할수도 있는등, 다양한 방법을 제공하고 있었다. 난 그중에 thickness를 늘리는 것이 목적이었으므로 해당 함수를 적용했다. Solution plt.subplot(1,3,1) plt.imshow(edges,cmap='gray') plt.subplot(1,3,2) kernel = np.ones((3,3),np.uint8) dilation = cv2.dilate(edges,kernel,iterations = 1) p.. 공감수 0 댓글수 0 2022. 5. 16.
gray scale image to RGB image (using opencv) Problem image에서 egde를 추출할 일이 있었는데, edge는 gray scale이라 1channel만 가지고 있었다. 원본 image에 edge를 추가할 목적이라 1channel의 edge를 3channel로 맞춰주는 작업이 필요했다. Solution # original image read img = cv2.imread('/path/to/image.jpg') img.shape # (680,720,3) # Canny Edge Detection edges = cv2.Canny(image=img, threshold1=50, threshold2=200) edges.shape # (680,720) # 1channel image to 3channel image img2 = cv2.merge((edges.. 공감수 0 댓글수 0 2022. 5. 16.
AttributeError: 'YourDataModule' object has no attribute '_has_prepared_data' 해결방법 Problem LightningDataModule을 다루면서 나타난 에러인데, 처음엔 단순히 prepare_data 함수를 정의하지 않아서 발생한 문제인 줄 알았는데, 해당 함수를 정의했음에도 불구하고 다른 _has_~~~ 에러들이 발생했다. AttributeError: 'YourDataModule' object has no attribute '_has_prepared_data' Solution 해결방법은 굉장히 간단했는데, LightningDataModule의 init안에 super().__init__()를 작성하면 바로 해결이 된다. def __init__(self, root, batchsize = 16,num_workers=24): super().__init__() self.root = root s.. 공감수 0 댓글수 0 2022. 5. 13.
LightningDataModule을 for loop에서 이용하는 방법 Problem LightningDataModule을 만들어서 Trainer에 직접 넣는 것은 해봤지만, predict할 때도 이용을 해보고 싶어서 이거저거 찾던 와중에 대부분의 코드는 다음처럼 batch를 불러오는 것을 확인했다. dl = AutoEncoderDataLoader(root = data_path, batchsize=128) dl.setup() next(iter(dl)) 근데 난 for loop으로 돌리고 싶어졌다. 단순히 그 이유였다. Solution for batch in dl.train_dataloader(): #do something 간단하다. 공감수 0 댓글수 0 2022. 5. 13.
Warning: find_unused_parameters=True 해결방법 (DDP programming) Problem DDP 코드를 만들어 학습하다가 갑자기 아래 warning이 발생했다. [W reducer.cpp:1050] Warning: find_unused_parameters=True was specified in DDP constructor, but did not find any unused parameters. This flag results in an extra traversal of the autograd graph every iteration, which can adversely affect performance. If your model indeed never has any unused parameters, consider turning this flag off. Note that thi.. 공감수 0 댓글수 0 2022. 5. 13.
Multi-GPU Deep Learning_1 (using DDP) 목차 Introduction Data Parallel과 분산 딥러닝에 익숙해지기 위해서 간단한 auto-encoder를 만들었다. Data Parallel에는 크게 DP와 DDP가 있는데, 그 둘의 차이점은 이미 간단하게 서술한바가 있다. Data Parallel(DP), Distributed Data Parallel(DDP)의 차이 목차 Keywords Data Parallel(DP), Distributed Data Parallel (DDP), Multi-GPU training, All reduce Data Parallel(DP), Distributed Data Parallel(DDP)의 차이 Compared to DataParallel, DistributedDataPar.. engui-note.tis.. 공감수 0 댓글수 0 2022. 5. 12.
가수의 목소리 변경_1 (Singing Voice Conversion) 목차 Introduction Voice Conversion is a technology that modifies the speech of a source speaker and makes their speech sound like that of another target speaker without changing the linguistic information. Singing voice conversion is to convert a singer's voice to another one's voice without changing singing content. 음성 변환은 언어 정보를 변경하지 않고 원본 화자의 음성을 수정하여 다른 대상 화자의 음성처럼 들리게 하는 기술이다. 그 중에서도 노래소리변환은 .. 공감수 0 댓글수 0 2022. 5. 9.
Data Parallel(DP), Distributed Data Parallel(DDP)의 차이 목차 Keywords Data Parallel(DP), Distributed Data Parallel (DDP), Multi-GPU training, All reduce Data Parallel(DP), Distributed Data Parallel(DDP)의 차이 Compared to DataParallel, DistributedDataParallel requires one more step to set up, i.e., calling init_process_group. DDP uses multi-process parallelism, and hence there is no GIL contention across model replicas. Moreover, the model is broadcast at.. 공감수 0 댓글수 0 2022. 5. 4.
노래에서 목소리와 악기소리 분리_完 (music demixing using mdx-net & MUSDB18 dataset) Introduction mixing은 멀티 트랙이 보편화된 작곡 환경에서 각 트랙간의 레벨 밸런스를 맞추고 여러 가지 소리들을 하나의 마스터 트랙이 모아 섞는 작업을 의미한다.(위키참고) demixing이란 mixing의 reverse 작업으로 합쳐진 하나의 파일에서 보컬, 드럼, 베이스 등등으로 구분하여 추출하는 작업이라고 생각하면 쉽다. 개인적으로 만들고 있는 영상이 여러명의 영상을 합친 영상인데, 노래소리가 중복해서 들려서 싱크 맞추기가 상당히 까다로운 상태이다. 이를 해결하기위해 생각한 방법이 만약 음성파일에서 노래소리를 제거하고 음성만 추출할 수 있다면, 싱크를 어느정도만 맞춰도 노래가 서로 공명하지 않고 깔끔한 소리가 날 수 있을 것 같아서 시도해봤다. Method & Material 알고리즘.. 공감수 0 댓글수 0 2022. 4. 14.
현실의 춤을 가상공간으로 매핑하기_관 (using 3D human pose estimation) Introduction 저번 글을 마무리할 때 향후 적용해볼만한 내용에 대해 정리를 했었다. 이번 글에서는 그중에 시도했던 내용 + 추가로 진행된 사항에 대해 정리하겠다. Method & Result 우선 저번글 마무리에 작성한 내용은 다음과 같다. 우선 먼저 해볼 것은 VMD converter의 내용을 수정하는 것이다. motion capture의 경우 입력 format으로 FBX, BVH가 있는 것으로 확인했는데, FBX는 3d pose coordinate에서 변환하는 방법을 찾지 못한상태이고, BVH의 경우 github을 뒤지다가 3d pose에서 변환하는 코드를 찾아서 맞게 수정해볼 생각이다. BVH 데이터를 만들면 rokoko 애드온을 이용해 bone들끼리 retargeting을 진행할 것이다... 공감수 0 댓글수 0 2022. 4. 13.
현실의 춤을 가상공간으로 매핑하기_1 (using 3D human pose estimation) Introduction 내가 좋아하는 노래의 춤을 내가 좋아하는 캐릭터가 추는 것을 보고 싶은 마음은 덕질하는 사람이면 누구나 한 번쯤 생각해봤을만한 내용이다. 하지만 춤과 관련된 내용을 한번도 다뤄본적이 없고 아바타또한 다뤄본적이 없기 때문에 앞으로 난관이 많을 것으로 생각된다. 잠깐 가상공간에서 춤추는 것에대해 찾아봤을때 코딩공부를 처음했을때의 느낌이 들 만큼 너무 새로운정보가 많아서 무엇부터 시작해야할지 몰랐다. 우선 현실세계에서의 춤이 가상공간으로 매핑되는 과정이 단순하다고 생각되지는 않기 때문에 여러가지 알아보고 준비해야할 내용이 많았다. 현재 가상공간의 아바타를 춤추게 만드는 방법은 많겠지만 많이 찾아본 결과, 가장 많이 사용되는 툴은 아무래도 MMD라고 생각된다. 많은 사람들이 예전부터 사용.. 공감수 0 댓글수 0 2022. 4. 6.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.