Dòng tin
Tất cả
Đề xuất cải tiến hàm ReLU để tối ưu gradient flow
It is easy enough to make your own, but I think standard relu should have been defined as passing the value at zero, so gradients flow backward through it, allowing some things to be zero weight initialized when symmetry breaking isn’t an issue.
- ›ReLU tiêu chuẩn nên được định nghĩa để cho phép gradient chảy ngược qua điểm 0.