A Novel Sine Step Size for Warm-Restart Stochastic Gradient Descent
This paper proposes a novel sine step size for warm-restart stochastic gradient descent (SGD). For the SGD based on the new proposed step size, we establish convergence rates for smooth non-convex functions with and without the Polyak–Łojasiewicz (PL) condition. To assess the effectiveness of the ne...
Đã lưu trong:
| Những tác giả chính: | , |
|---|---|
| Định dạng: | Artigo |
| Ngôn ngữ: | Inglês |
| Được phát hành: |
MDPI AG
2024-12-01
|
| Loạt: | Axioms |
| Những chủ đề: | |
| Truy cập trực tuyến: | https://www.mdpi.com/2075-1680/13/12/857 |
| Các nhãn: |
Không có thẻ, Là người đầu tiên thẻ bản ghi này!
|