Activation-Guided Low-Rank Parameter Adaptation for Efficient Model Fine-Tuning
Fine-tuning large language models is computationally expensive, and while existing parameter-efficient methods like Low-Rank Adaptation (LoRA) reduce computational costs, they are limited by suboptimal initialization strategies. We introduce Activation-Guided LoRA (AG-LoRA), a novel approach that in...
Đã lưu trong:
| Những tác giả chính: | , |
|---|---|
| Định dạng: | Artigo |
| Ngôn ngữ: | Inglês |
| Được phát hành: |
IEEE
2025-01-01
|
| Loạt: | IEEE Access |
| Những chủ đề: | |
| Truy cập trực tuyến: | https://ieeexplore.ieee.org/document/10852296/ |
| Các nhãn: |
Không có thẻ, Là người đầu tiên thẻ bản ghi này!
|