搜索、整合、分析信息的能力,会变得越来越重要
和 AI 交互,让 AI 帮助自己学习,用 AI 提升学习的效率,看起来是个很自然的过程。错觉是,AI 已经帮我们更好的搜索了,但实际上并不是。没有目的和方法的和 LLM 聊天只会浪费更多时间,因为它本身会产生不可避免的幻觉(hallucination),再就是需要至少 2-3 轮的对话才能获得相对准确的答案,要考虑到 AI 交互的隐性成本 , #21 。
背后的几个关键问题是:学习的资料、信息从哪里来,这些信息和 LLM 交互的链接(Agent ,RAG),LLM 模型本身的针对性优化(fine-tuning),再就是和 LLM 交互的技巧(prompt)。 #26
汇总一下现在常用的小玩意:
学习 GitHub 仓库的代码
Code Search | Grep by Vercel,关键字正则搜索找到相关 GitHub 仓库,然后:
-
GitHub Repo to Text Converter - 在线将 GitHub 仓库内容转换为格式化文本文件,以便大型语言模型 (LLM) 使用。极大简化了仓库数据转化为 LLM 输入的过程。
https://github.com/abinthomasonline/repo2txt , https://repo2txt.simplebasedomain.com/
-
一个完全在本地的把代码整合成 txt 纯文字文档的工具,太好用了:https://github.com/Dicklesworthstone/your-source-to-prompt.html
-
直接和 GitHub 仓库还有 huggingface 仓库的代码对话:https://sage.storia.ai/
-
将任何 GitHub 存储库转换为适合LLMs的结构化文本格式,包括文件结构、项目摘要和内容。您可以使用 Python 包并在本地运行 UI,或者将任何 GitHub URL 中的“hub”替换为“ingest”,或者仅使用网站 gitingest.com。
GitHub:https://github.com/cyclotruc/gitingest
搜索
在各自的搜索基础url后面加上search?q=%s
添加到浏览器的搜索快捷键就OK了
- MiniPerplx
- Gemini Search: A Perplexity Clone, https://replit.com/@ammaar/Gemini-Search#Readme.md
- search the arXiv
- Luxirty Search