Hong Yohan

so coord

[boostcourse] Day4 학습기록_minibatch28

Date:


학습 내용

피어세션 👨‍👨‍👦‍👦 👨‍👨‍👦

모더레이터 : 김준태

참가자 : 강재현, 권예환, 김준태, 박마루찬, 서광채, 장동건, 홍요한

추가안건

🌈Pstage 이미지 분류대회 준비하자!

1. 파이토치 공부하기
2. 각종 이미지 분류 모델 찾아보기
3. 논문을 참고하여 알고리즘 작성해보기

- 다음 주 월요일까지 각자 맡은 모델 논문 읽어보고 정리해서 발표하기

AlexNet  : 강재현, 권예환
ResNet : 김준태, 박마루찬
GoogLeNet : 서광채, 장동건, 홍요한

과제 리뷰

  • 선택과제 1 (Gradient Descent, 발표자 : 장동건) → 발표 후 과제 내 수식의 코딩 관련해 피드백

  • 선택과제 3 (MLE, 발표자 : 홍요한) → 최대가능도 함수를 실제로 구현하며 이론과 알고리즘에 대해 발표

질문내용

  1. 서광채님 질문 : batch_idx 뽑는 함수에서 replace에서 True의 의미가 무엇인지

    답변 : True로 설정하면 나왔던 숫자가 또 나올 수 있는데, False로 설정하면 또 나오지 못함 복원추출과 비복원추출의 차이

  2. 마루찬님 질문 : 홍요한님이 발표하실 때 가능도의 정규분포에 새로운 값을 넣어서 그래프를 작성하셨는데, 그 값을 넣은 이유

    답변 : 정규분포를 작성할 때 값을 서로 곱하면 컴퓨터에서 오차가 낼 확률이 높다고 하여서 log를 취하고 더하면 어떻게 그래프가 작성될지 궁금하여 작성하셨다고함.

  3. 마루찬님 질문 : 시퀀스의 길이기 길어질수록 불안정해지는 이유

    1. 활성화 함수의 원인 활성화 함수가 많아질 수 록 수가 0에 가깝게 수렴하기 때문에.

    2. 시퀀스가 길어지면 w가 계속해서 곱해지면서 소프트맥스나 활성화 함수가 없어도 시퀀스가 불안정해질 수 있다.

🌞마스터 클래스🌞

오늘은 피어세션 끝나고 “마스터 클래스”라는 Math 강의를 해주신 임성빈 마스터님이 우리 질문에 답해주는 시간을 가졌다.

  1. AI에서 수학이 얼마나 필요한가

    어떤 해결해야할 문제가 있을때 우리는 4가지 단계로 쪼갤수 있는데 그 중 1)define, 2)brainstorming 단계에서 수학이 많이 필요하다고 한다.

    1-define(문제 정의) 2-brainstorming(솔루션 탐색) 3-implement(구현) 4-analyze(분석, 결과도출)

  2. 수학 공부는 어떻게 해야하나

    수학은 이해하는 과목이 아니라 익숙해지는 과목이라고 한다. 끊임없이 보다보면 익숙해지는 느낌을 받을 수 있을 것이다.

    책 추천 : dive into deep learning

    image

  3. 석사/박사 학위가 중요한가

    기업들이 왜 석사/박사 학위를 중요하게 보는지 생각해봐야한다. 석사의 경우 그 사람의 연구보다는 그 연구실에서 진행했던 project를 보게 되고, 박사는 그 사람의 논문을 보게 된다.

    결국 필요한 기술은 다른 논문을 읽고 나만의 것을 만드는 능력이 필요하다. 학위가 없더라도, 다른 open되지 않은 code를 구현하여 비슷한 성능을 만들어 낸다고 하면, 그게 더 유리할 수 있다.

    논문을 보고 자기가 구현하는 연습을 한번 해보자 그게 남는거다

추가 책 추천

image

회고록

역시 MLE 발표는 쉽지 않았다. 이론적으로 정확한 이해가 없어서, 설명하는 동안 머리속에서 이게 맞는지 틀린지 엉켜서 설명도 제대로 못했던 것 같다. 그저 공부가 부족했던 것 같다.

그래도 설명하다보니 이런 가능도, MLE 이런 용어들이 조금은 익숙해지는 느낌을 받았다. 내가 공유하는 과제가 아니더라도 간단하게 설명하는 연습을 해봐야겠다.

마스터 시간은 비전공자인 나에게 조금은 위로 아닌 위로가 된 것 같다. 사실 학위에 대한 걱정이 가장 컸었는데, 그래도 다른 하나의 길을 얻은 것 같다.


💡 수정 필요한 내용은 댓글이나 메일로 알려주시면 감사하겠습니다!💡

댓글

관련 글