천천히찬찬히 천천히찬찬히

전체 글

• Learning Rate Scheduler

  라이브러리/PyTorch 2022. 4. 26. 11:08

  작성예정 참고 https://pytorch.org/docs/stable/optim.html https://www.kaggle.com/code/isbhargav/guide-to-pytorch-learning-rate-scheduling/notebook https://sanghyu.tistory.com/113 https://wikidocs.net/157282

  Read More
• TF Keras 학습 속도 줄이기 (30%)

  라이브러리/Tensorflow keras 2022. 4. 26. 10:15

  만약 최신 GPU로 TF Keras를 이용하고 있다면, 몇 줄만 추가해서 30% 정도 학습속도를 줄일 수 있다. from tensorflow.keras import mixed_precision policy = mixed_precision.Policy('mixed_float16') mixed_precision.set_global_policy(policy) *주의: TF에선 마지막 레이어가 softmax (sigmoid인 경우도)라면 stability를 위해 float32로 바꾸는 걸 추천함! output_layer = tf.keras.layers.Activation('sigmoid', dtype='float32')(output_layer) 참고 https://www.kaggle.com/competition..

  Read More
• gc.collect, torch.cuda.empty_cache()

  라이브러리/PyTorch 2022. 4. 25. 23:53

  gc.collect: Forces an immediate garbage collection of all generations torch.cuda.empty_cache(): Releases all unoccupied cached memory currently held by the caching allocator so that those can be used in other GPU application and visible in nvidia-smi

  Read More
• UNSUPERVISED SEMANTIC SEGMENTATIONBY DISTILLING FEATURE CORRESPONDENCES

  논문리뷰 2022. 4. 22. 10:48

  참고 https://arxiv.org/pdf/2203.08414.pdf https://www.engadget.com/mit-computer-vision-algorithm-identifies-images-down-to-the-pixel-130051112.html

  Read More
• Windowing (CT)

  의료영상/의료영상기본 2022. 4. 21. 12:57

  gray-level mapping, contrast stretching, histogram modification, contrast enhancement로 알려진 Windowing는 CT 이미지의 grayscale요소를 CT 번호를 통해 조작하는 프로세스이다. 이를 수행하면 특정 구조를 강조하도록 영상의 모양이 변경된다. 이미지의 밝기는 window level을 통해 수정되며 대비(contrast)는 window width를 통해 조정된다. Window level - Brightness Window width - Contrast Window width Window Width (WW)는 영상이 포함하고 있는 CT 번호의 범위를 측정한 것이다. 즉, 2000 HU와 같은 넓은 WW는 더 넓은 CT 번호를 표..

  Read More
• Hounsfield unit

  의료영상/의료영상기본 2022. 4. 21. 12:20

  Hounsfield units (HU) are a dimensionless unit universally used in computed tomography (CT) scanning to express CT numbers in a standardized and convenient form. Hounsfield units are obtained from a linear transformation of the measured attenuation coefficients. This transformation is based on the arbitrarily-assigned densities of air and pure water: radiodensity of distilled water at standard t..

  Read More
• Tensor moduels

  라이브러리/PyTorch 2022. 3. 7. 14:18

  Tensor moduels tensor는 NumPy arrays와 컨셉적으로 유사하다. tensorsms n-차원 배열로 수학적 함수를 적용하고, GPU를 이용해 계산을 가속화 할 수 있으며, computational graph와 gradients 를 추적하는데 사용 될 수 있다. PyTorch에서 tneosrs는 연속적인 메모리 덩어리(contiguous chunks of memory)에 저장된 수치 데이터의 1차원 배열에 대한 views로 구현된다. 이런 배열은 stroage instances라 불린다. 모든 PyTorch tensor는 storage 속성을 갖고 있는데, 이를 호출함으로써 기본 storage 인스턴스(the underlying storage instance)를 출력할 수 있다. po..

  Read More
• torch.utils.data

  라이브러리/PyTorch 2022. 3. 7. 14:04

  torch.utils.data torch.utils.data module하에는 torch가 제공하는 여러 데이터셋과 DataLoader class를 제공하는데, 이는 추상화와 유연하게 구현하는데 도움을 준다. torch.utils.data.DataLoader 예시는 다음과 같다. form torch.utils.data import TensorDataset, DataLoader train_ds = TensorDataset(X_train, y_train) train_dl = DataLoader(train_ds, batch_size=bs) for x_batch, y_batch in train_dl: pred = model(x_batch) ###### # 다음과 같이 batch를 iterate할 필요 없다. f..

  Read More