Недорогой путь к освоению ИИ: создание чат-бота навигатора по сайту на основе Similarity Search
Перевод моей статьи с HackerNoon . Мир ИИ и больших языковых моделей (LLM) часто вызывает образы огромных вычислительных мощностей, проприетарных платформ и GPU-кластеров. Такое восприятие создаёт высокий порог входа, отпугивая любопытных разработчиков от изучения основ. Недавно я совершенно случайно за короткое время создал небольшой проект — простой чат-бот на базе ИИ (код тут https://github.com/tacticaxyz/tactica.faq.similaritysearch ), который я называю Wiki Navigator. Он показал на практике, что для изучения основ ИИ излишняя сложность вовсе не обязательна. Сосредоточившись на таких ключевых понятиях, как токенизация, векторные эмбеддинги и косинусное сходство , я построил рабочее решение поиска на основе RAG (Retrieval Augmented Generation), которое успешно находит необходимый контент среди 9 000 документов в кодовой базе Chromium. На запуск ушло всего несколько часов, а на следующий день я уже смог использовать тот же код, чтобы обучить чат-бота на откартых он...