The Geometry of Concepts: Sparse Autoencoder Feature Structure

Sparse autoencoders have recently produced dictionaries of high-dimensional vectors corresponding to the universe of concepts represented by large language models. We find that this concept universe has interesting structure at three levels: (1) The “atomic” small-scale structure contains “crystals”...

முழு விளக்கம்

சேமிக்கப்பட்டது:

நூற்பட்டியல் விவரங்கள்
முதன்மை ஆசிரியர்கள்:	Yuxiao Li, Eric J. Michaud, David D. Baek, Joshua Engels, Xiaoqing Sun, Max Tegmark
வடிவம்:	Artigo
மொழி:	Inglês
வெளியிடப்பட்டது:	MDPI AG 2025-03-01
தொடர்:	Entropy
பொருள்கள்:	sparse coding mechanistic interpretability neural networks large language models clustering
ஆன்லைன் அணுகல்:	https://www.mdpi.com/1099-4300/27/4/344
குறிச்சொற்கள்:	குறிச்சொல்லை சேர்க்கவும் டாக்‌ஸ் இல்லை, இந்த பதிவுக்கு குறிச்சொல் சேர்க்கும் முதல் நபராக இருங்கள்!

The Geometry of Concepts: Sparse Autoencoder Feature Structure

ஒத்த வளங்கள்