본문 바로가기
반응형

전체 글56

LSTM, GRU 개념 및 용어 정리 안녕하세요. 하이퍼(Hyper)입니다. 오늘은 기존 RNN의 문제를 보완한 LSTM(Long Short-Term Memoty),GRU(Gated Recurrent Unit))에 대해 간략히 알아보겠습니다. 기본적인 RNN의 경우 시계열 데이터에서 시간적으로 멀리 떨어져 있는 즉 장기(Long Term)의 의존관계를 잘 학습할 수가 없었습니다. 기울기가 소실 되거나 폭발되기 때문이죠. 이런 문제는 Gate라는 구조가 추가 된 LSTM, GRU로 장기 의존 관계를 학습하여 해결할 수 있습니다. 그렇다면 왜 기울기 소실이 되는 걸까요? RNN은 순전파 시 tanh함수를 사용하는데, 여기서 문제가 발생하는 것입니다. tanh의 미분 값은 1이하이며 x가 0으로 부터 멀어질수록 값이 점점 작아지며 0에 근사하게 .. 2023. 6. 12.
RNN 용어 정리 안녕하세요. 하이퍼(Hyper)입니다. 이번에 RNN가 무엇인이 간단히 알아보려합니다. CBOW(Continuous bag-of-words) Truncated BPTT(Backpropagation Through Time) RNNLM(RNN Language Model) CBOW (Continuous bag-of-words) '가방 속의 단어'로 직역할 수 있다. 순서는 무시된다는 속 뜻을 내포하고 있다. (순서 대신 분포를 이용한다.) 단어 벡터를 은닉층에서 연결하는 방식이다. [단점] 맥락의 크기에 비례해 가중치 매개변수도 늘어난다. 이런 문제를 RNN으로 해결한다. Truncated BPTT(Backpropagation Through Time) 순전파 신경망은 그대로 유지하고, '역전파'의 신경망 연결.. 2023. 6. 12.
[C++] namespace 네임스페이스 개념 정리 안녕하세요. 하이퍼(Hyper)입니다. 오늘은 C++에서 가장 흔히 사용하는 namespace(네임스페이스)에 대해 알아보려합니다. 오늘도 쉬운 예시와 함께 알아보겠습니다. [목차] 1. namespace(네임스페이스)란? 무엇인가? 2. namespace(네임스페이스)의 요소에 접근하는 방법 1. namespace(네임스페이스)란? 무엇인가? 여러 개발자가 공동으로 하나의 프로젝트를 만드는 경우가 빈번합니다. 그 때 너도나도 간단하면서 한 눈에 알아 볼 수 있는 변수명을 사용하게 되는데, 그러다보니 변수명이 겹치는 아찔한 상황이 많이 발생 됩니다. 이 때 namespace(네임스페이스)를 알면 아찔한 상황?을 피할 수 있습니다. 예를들어 티비를 만드는 개발 부서에서 Sound를 담당한 A가 "init".. 2023. 6. 5.
[리눅스/Linux] 파일링크 ln 명령어 파일 링크란? 윈도우의 바로가기와 같은 것 소프트 링크(심볼릭 링크) 하드링크 윈도우에서 보통 프로그램을 설치하면 바탕화면이나 윈도우 Dock부분에 바로가기를 만듭니다. 실행을 할 때는 설치 위치까지 가지 않고 바탕화면에서 더블 크릭하여 바로 실행하죠! 리눅스에서 ln- 명령어를 쓰는 이유도 위와 같다고 볼 수 있습니다. 소프트 링크(심볼릭 링크) 원본 파일의 데이터 확인 가능 직접 수정 불가능 원본파일 삭제 시 데이터 확인 불가능 소프트 링크는 원본 파일의 위치만 가리키는 포인터를 생성하여 원본파일에 담긴 내용을 볼수 있지만 직접 수정은 안됩니다. 하드 링크 원본 파일의 데이터 확인 가능 직접 수정 가능 원본 파일 삭제 시 데이터 확인 가능 하드링크는 원본 파일이 가리키는 데이터의 주소를 직접 가르키기.. 2023. 6. 2.
반응형

티스토리툴바