반응형

분류 전체보기 509

[Improving: Hyper-parameter tuning, Regularization and Optimization] Optimization - RMSprop

This note is based on Coursera course by Andrew ng. (It is just study note for me. It could be copied or awkward sometimes for sentence anything, because i am not native. But, i want to learn Deep Learning on English. So, everything will be bettter and better :)) INTRO RMSprop means Root Mean Square prop that can also spead up gradient descent. MAIN In order to provide intuition for this example..

[Improving: Hyper-parameter tuning, Regularization and Optimization] Optimization - Momentum

This note is based on Coursera course by Andrew ng. (It is just study note for me. It could be copied or awkward sometimes for sentence anything, because i am not native. But, i want to learn Deep Learning on English. So, everything will be bettter and better :)) INTRO MAIN WHAT If we take steps of gradient descent, it slowly oscillate toward the minimum. This up and down oscillation slows down ..

[Improving: Hyper-parameter tuning, Regularization and Optimization] Exponentially weighted averages

This note is based on Coursera course by Andrew ng. (It is just study note for me. It could be copied or awkward sometimes for sentence anything, because i am not native. But, i want to learn Deep Learning on English. So, everything will be bettter and better :)) INTRO There are a few optimization algorithms that are faster than gradient descent. In order to understand those algorithms, we need ..

[Improving: Hyper-parameter tuning, Regularization and Optimization] Mini-batch gradient descent

This note is based on Coursera course by Andrew ng. (It is just study note for me. It could be copied or awkward sometimes for sentence anything, because i am not native. But, i want to learn Deep Learning on English. So, everything will be bettter and better :)) INTRO One thing that makes it more difficult is that Deep Learning tends to work best in the regime of big data. We are able to train ..

[나 혼자 지구 한 바퀴]26,27,28.10.2017 피곤함 누적과 타테브 가기

친구들이 모두 아침 일찍 떠났다. 조지아로 가는 버스를 타기 위해서, 테란(이란 수도)로 가는 버스를 타기 위해서. 나는 늦잠을 부리고 도시를 다시 걸었다. 아르메니아 깃발 찾기는 빼먹지 않기! 친구들도 갔고 쓸쓸하고 해서 양념닭볶음이랑 쌈밥 그리고 와인을 사서 배부르고 취하게 먹었다. ------------------------------------27일------------------------------- 다음 날 일찍 타테브로 가려고 했는데 코피가 났다... 아... 내 피로가 많이 누적되었구나 라고 느꼈다. 결국 짐을 다시 풀고 하루 더 묵겠다고 했다. 실컷 퍼질러 자고 나니 기운이 조금 좋아졌다. 그 사이 저녁이 되었는데, 필리핀 친구들이 밥을 해주었다!!!! 우리나라 갈비탕?! 와... 이거..

[나 혼자 지구 한 바퀴]25.10.2017 아르메니아 주변 관광하기! [Garni, Geghard, Seven lake and other place]

어젯밤에 관광업체를 여러 곳 비교하면서 흥정을 했다. 그래서 한 사람 당 2만원 해서 4명이서 함께 가게 되었다. 그런데 왜 이렇게 좋지 못한 건지... 조지아 사람들이 그립다. 뭐만 하면 너희들은 이게 비싸다고 생각하냐 라고 물으니, 완전 짜증났다. 이야기는 나중에... Geghard Monastry 처음 들린 곳은 Geghard Monastery였다. 지금 생각하면 이 곳이 가장 볼 것도 많았고 배울 것도 많았고 값졌다. 내려서 수도원 정문으로 들어가면 되는데, 왼쪽에 샛길이 있길래 올라갔다. 올라가니 돌들이 쌓여있고 비밀스러운 작은 사원이 나타났다. 벽에는 많은 문자들이 새겨져 있었다. 이렇게 절벽 바위에 작은 교회 같은 것이 있었다. 아무래도 이곳은 관광객을 위한 곳이 아닌 것 같아서 내려갔다. ..

[나 혼자 지구 한 바퀴]24.10.2017 예레반, 아르메니아 돌아다니기

10시에 출발해서 아침 5시 쯤에 도착했다. 이 시간에도 열려있는 호스텔이 있을까 걱정이었지만, B1 호스텔 이 24시간 열려있었다. 4시간 정도 잠을 잔 뒤에 아르메니아의 수도, 예레반을 돌아다니기로 했다. 가장 큰 공원인 Public square에 가는 도중에 작은 광장이 있었다. 거기서 찍은 예레반 액자 샷 Public square에 가면 [I love Yerevan]을 볼 수 있다. 친구들과 멋진 샷!!! 광장을 벗어나 오페라 하우스로 갔다. 다양한 공연을 볼 수 있다. 약 7천원 정도면 공연을 볼 수 있었다. 하지만 우리가 있는 주에는 공연을 하지 않았다. 오페라 하우스 메인 광장이라고 할 수 있는 Casacade complex에 도착했다. 다양한 작품들이 길을 따라서 놓여있다. 그리고 저 멀리..

[Improving: Hyper-parameter tuning, Regularization and Optimization] Programming - Gradient Checking

This note is based on Coursera course by Andrew ng. (It is just study note for me. It could be copied or awkward sometimes for sentence anything, because i am not native. But, i want to learn Deep Learning on English. So, everything will be bettter and better :)) INTRO To be clear that our backward propagation is correct, we are going to use gradient checking. Backpropagation computes the gradie..

[Improving: Hyper-parameter tuning, Regularization and Optimization] Programming - Regularization

This note is based on Coursera course by Andrew ng. (It is just study note for me. It could be copied or awkward sometimes for sentence anything, because i am not native. But, i want to learn Deep Learning on English. So, everything will be bettter and better :)) INTRO We will find where the goal keeper should kick the ball so that the French team's players can then hit it with their head. Each ..

[Improving: Hyper-parameter tuning, Regularization and Optimization] Programming - Initialization

This note is based on Coursera course by Andrew ng. (It is just study note for me. It could be copied or awkward sometimes for sentence anything, because i am not native. But, i want to learn Deep Learning on English. So, everything will be bettter and better :)) INTRO We are going to initialize the weights to separate the blue dots from the red dots. We will use a 3-layer neural network. And we..

반응형