본문 바로가기

전체 글

 (38)
현실의 춤을 가상공간으로 매핑하기_1 (using 3D human pose estimation) Introduction 내가 좋아하는 노래의 춤을 내가 좋아하는 캐릭터가 추는 것을 보고 싶은 마음은 덕질하는 사람이면 누구나 한 번쯤 생각해봤을만한 내용이다. 하지만 춤과 관련된 내용을 한번도 다뤄본적이 없고 아바타또한 다뤄본적이 없기 때문에 앞으로 난관이 많을 것으로 생각된다. 잠깐 가상공간에서 춤추는 것에대해 찾아봤을때 코딩공부를 처음했을때의 느낌이 들 만큼 너무 새로운정보가 많아서 무엇부터 시작해야할지 몰랐다. 우선 현실세계에서의 춤이 가상공간으로 매핑되는 과정이 단순하다고 생각되지는 않기 때문에 여러가지 알아보고 준비해야할 내용이 많았다. 현재 가상공간의 아바타를 춤추게 만드는 방법은 많겠지만 많이 찾아본 결과, 가장 많이 사용되는 툴은 아무래도 MMD라고 생각된다. 많은 사람들이 예전부터 사용..
python에서 Semantic segmentation을 이용한 누끼따기_完 (remove background, semantic segmentation using python) Introduction 저번글(python에서 Image matting을 이용한 누끼따기_1 (remove background, Image matting using python))에서는 Image matting을 이용해 배경으로부터 아바타를 분리하는 작업을 진행했다. 배경이 깔끔하거나 아바타의 외곽선이 명확한 경우에는 matting작업이 원활하게 진행 되었지만, 배경에 영상이 있거나 아바타 외곽선이 명확하지않은 경우에는 matting작업을 해도 배경까지 mask에 포함되는 경우가 많았다. 이러한 경우를 보완하기위해 matting작업대신 차라리 아바타의 위치를 찾는 segmentation 모델을 사용하는것이 좀 더 정확하게 아바타를 추출할 수 있는 방법일 것 같아서 시도해봤다. Method 이번 seman..
python에서 Image matting을 이용한 누끼따기_1 (remove background, Image matting using python) Introduction Image Matting is the process of accurately estimating the foreground object in images and videos. 즉 이미지에서 전경 물체(foreground object)를 정확하게 추정하는 작업이다. 즉 익숙한 말로 '누끼 따는 작업'이다. 크로마키 영상이 아닌 일반영상(배경부분의 색이 단일색이 아닌경우)에는 누끼를 따는 작업을 편집툴 (프리미어프로, 다빈치리졸브 등)에서 지원을 어느정도 해주긴 하지만, 성능이 그렇게 좋지는 않다. 정교한 누끼를 위해서는 사람이 직접 작업을 진행해야하지만 60프레임 영상길이가 3분만 되어도 10800프레임이고 여러명의 영상을 누끼를 따려면 * 영상갯수만큼 늘어나게 되는데, 이걸 일일이..
Tensorflow/Keras Out of memory 해결 Out of memory out of memory(이후 OOM)는 여러가지 경우에 발생할 수 있다. 하지만 본문에서 다뤄볼 경우는 하나의 서버 (multi-gpu 환경 포함)에서 여러 keras process를 실행할 때 발생하는 OOM에 대해 말한다. 우선 같은 서버 내에 keras model을 사용하는 process를 실행한 뒤 keras model을 사용하는 process를 하나 더 실행하게 되면 나중에 실행한 process는 높은 확률로 OOM에러를 뿜고 사망할 것이다. Why? 사용자의 잘못이 아닌 tensorflow의 정책 때문이다. 이에 대한 이유로 다음과 같이 설명하고 있다: By default, TensorFlow maps nearly all of the GPU memory of all ..
python mask to polygon, reducing points in polygon Introduction 2021 인공지능 온라인 경진대회의 hair segmentation 부분에 참여를 했고, 그 과정에서 가장 많이 고생했으면서 새롭게 알았던 부분에 대해 공유를 하고자 이 글을 작성한다. 우리 팀에서 사용한 모델은 torchvision의 mask R-CNN로 mask를 결과물로 줬고, 대회 submission form은 polygon이었다. 여기서 mask는 binary로 제공되지 않고, 각 픽셀 별 확률로 나타나 있기 때문에, 어느정도까지를 mask로 봐야할지 정하는 threshold 또한 최적화를 진행했다. 출력으로 얻는 mask 이미지를 polygon으로 바꿔야했고, submission json 파일크기에 제한이 있어 polygon의 갯수를 줄여야(최적화) 했다. mask를 p..
[AI 논문 리뷰] Automatic segmentation of fish using deep learning with application to fish size measurement 제목 : Automatic segmentation of fish using deep learning with application to fish size measurement APA citation : Garcia, R., Prados, R., Quintana, J., Tempelaar, A., Gracias, N., Rosen, S., ... & Løvall, K. (2020). Automatic segmentation of fish using deep learning with application to fish size measurement. ICES Journal of Marine Science, 77(4), 1354-1366. Abstract 오늘날 echosounder는 어군을 탐지하고 어류의 ..

티스토리툴바