[TENSORFLOW] Dense, epoch, batch size, 가중치

tf.keras.layers.Dense

신경망을 만드는 것이다.

---

epoch

전체 sample 데이터를 이용해 한 바퀴 학습하는 것이다.(전체 트레이닝셋이 신경망을 통과한 횟수이다.)

---

batch size

전체 트레이닝 데이터셋을 여러 작은 그룹으로 나누었을 때 batch size는 하나의 소그룹에 속하는 데이터 수를 의미한다. 만약 배치 사이즈가 너무 크면 한 번에 처리해야할 양이 그만큼 증가하기 때문에 학습 속도가 느려지고, 메모리 부족 문제를 겪을 수도 있다. 반대로 배치 사이즈가 너무 작으면 적은 샘플을 참조해서 가중치 업데이트가 빈번하게 일어나기 때문에, 비교적 불안정하게 학습될 수도 있다. 따라서 배치 사이즈를 적절하게 부여하여 효율적인 학습을 해야한다.

---

가중치

처음 들어오는 데이터(입력층)에서 다음 노드로 넘어갈 때 모두 같은 값이면 계속 같은 값이 나올 것이다. 그렇기 때문에 각기 다르게 곱해야 한다는 것이 가중치(weight)이다. 데이터를 각기 다른 비중으로 다음 은닉층(hidden layers)으로 전달시키기 위해 가중치를 다르게 한다고 이해하면 된다.

ex) 수능점수를 예측하기 위해서 4~9월 모의고사 점수 데이터를 학습데이터로 예측해보겠다. 

4, 5, 6월 점수보다는 7, 8, 9월의 점수가 수능점수에 더 큰 영향을 미칠 것이기 때문에 4, 5, 6월 점수보다 7, 8, 9월의 점수를 더 중요하게 비중을 두어야 할 것이다. 이것이 바로 가중치 라고 이해하면 되겠다.

---

참고링크

https://han-py.tistory.com/207

tensorflow_tf.keras.layers.Dense

https://gruuuuu.github.io/simple-tutorial/overfitting-handle/#model-size

Refine Machine Learning Model

위에 Refine Machine Learning Model은 대~강 이해하기 위해 읽어서 참고링크에 첨부함

https://sodayeong.tistory.com/139

[Deep Learning] 배치(batch)와 에포크(epoch), 반복(iteration)

https://jh2021.tistory.com/3

딥러닝에서 가중치(W), 편향(Bias)의 역할