Keyword - 大模型的压缩和解压缩
未来能第一个说出来这些「Magic Words」的人,就率先打开了一个新的参数空间。
via: https://x.com/lijigang_com/status/1921103439813283862
李继刚的这个观点说的挺好的。
大模型的本质是压缩,这也就意味着它一定可以提高信息处理和交换的效率,信息就是编码和解码。
掌握更多的关键词作为信息的索引,是对 LLM 解压缩的关键,就像搜索引擎里的关键词一样。
随着 LLM 能力的提升,prompt 可以写的越来越简单,keyword 关键词起到的效果就会更大。