Запись // 10.05.2024
Локальные LLM-агенты для анализа документов
#AI-Агенты
#LLM
#Python
Цель: Создать RAG-пайплайн, который не отправляет корпоративные данные во внешние API.
Технологический стек
- - Ollama (Llama 3 8B)
- - LangChain
- - ChromaDB
Результат
Скорость ~45 ток/с на M2 Max. Достаточно для комфортного чтения.