!pip install trimesh!pip install --upgrade kerasimport osimport globimport trimeshimport numpy as npimport kerasfrom tensorflow import data as tf_datafrom keras import opsfrom keras import layersfrom matplotlib import pyplot as pltkeras.utils.set_random_seed(seed=42) DATA_DIR = keras.utils.get_file( "modelnet.zip", "http://3dvision.princeton.edu/projects/2014/3DShapeNets/ModelNet10.zip", ..

📍 자연어 처리 기초 - 토큰화(Tokenization)자연어 처리에서 크롤링 등으로 얻어낸 코퍼스 데이터가 필요에 맞게 전처리되지 않은 상태라면, 해당 데이터를 사용하고자하는 용도에 맞게 토큰화(tokenization) & 정제(cleaning) & 정규화(normalization)하는 일을 해야함주어진 코퍼스(corpus)에서 토큰(token)이라 불리는 단위로 나누는 작업을 토큰화(tokenization)라고 부릅니다 ✅ 단어 토큰화(Word Tokenization)토큰의 기준을 단어(word)로 하는 경우, 단어 토큰화(word tokenization)단어(word)는 단어 단위 외에도 단어구, 의미를 갖는 문자열 포함입력: Time is an illusion. Lunchtime double s..

📍 문자 단위 RNN(Char RNN)모든 시점의 입력에 대해서 모든 시점에 대해서 출력을 하는 다대다 RNN다대다 RNN은 대표적으로 품사 태깅, 개체명 인식 등에서 사용RNN의 입출력의 단위가 단어 레벨(word-level)이 아니라 문자 레벨(character-level)로 하여 RNN을 구현한다면, 이를 문자 단위 RNN이라고 합니다import torchimport torch.nn as nnimport torch.optim as optimimport numpy as np ✅ 1. 훈련 데이터 전처리하기문자 시퀀스 apple을 입력받으면 delicious를 출력하는 RNN을 구현할 예정입니다!입력 데이터와 레이블 데이터에 대해서 문자 집합(voabulary)을 만듭니다(문자 집합은 중복을 제거한 ..

from google.colab import drivedrive.mount('/content/drive')import torchimport numpy as nptimestep = 10 # 시점의 수 -> NLP 분야에서는 보통 문장의 길이! (구성하는 단어의 수)input_size = 4 # 입력의 차원 -> 단어 벡터 디멘젼(차원)hidden_size = 8 # 은닉 상태의 크기 -> 메모리 셀의 용량inputs = np.random.random((timestep, input_size)) # 입력에 해당되는 2D 텐서hidden_state = np.zeros((hidden_size)) # 초기 은닉 상태는 0(벡터)로 초기화# 은닉 상태의 크기 hidden_size로 은닉 상태 만듬.print(hidd..

✅ Pytorch ✅ Pytorch를 활용해야 하는 이유import torchfrom torch import nnfromtorch.utils.data import DataLoaderfrom torchvision import datasetsfrom torchvision.transforms import ToTensor# 공개 데이터 셋에서 학습 데이터를 내려 받습니다.training_data = datasets.FashionMNIST( root="data", train=True, download=True, transform=ToTensor(),)# 공개 데이터 셋에서 테스트 데이터를 내려 받습니다.test_data = datasets.FashionMNIST( root="data",..