Отладка, проверка и запуск приложений txtai
txtai — это платформа с открытым исходным кодом для семантического поиска и рабочих процессов, основанная на языковых моделях. txtai поддерживает создание приложений с конфигурацией YAML с парадигмой сделай один раз, запускай где угодно.
Ряд статей посвящен txtai, ссылки на которые приведены ниже.
В этой статье будут продемонстрированы примеры с консолью txtai. Консоль txtai построена с отличной Богатой библиотекой.
Представляем консоль
Первый пример ниже.
Скринкаст выше загружает существующий индекс и выполняет пару запросов к индексу. Консоль по умолчанию запускает запросы, если команда не указана иначе.
В настоящее время поддерживаются следующие команды:
.config Shows the current configuration .highlight Highlights tokens to explain why text matched .limit Limits the number of query results to n .load Loads an embeddings index or workflow .workflow Runs a workflow
Обратите внимание, как в этом примере выполняются два запроса feel good story и climate change . Затем следуют те же запросы с включенной подсветкой результатов. Выделенный текст объясняет, какие токены наиболее важны для соответствия запросу. Это важно, так как txtai выполняет семантический поиск, это не всегда соответствие ключевому слову, а контекстное соответствие.
Запустите рабочий процесс индексирования
Следующий рабочий процесс индексирует первую страницу Hacker News.
Давайте посмотрим, как этот рабочий процесс можно использовать со скринкастом консоли.
Выполненные выше шаги:
- Загрузить рабочий процесс hn.yml
- Запустите рабочий процесс индексирования для загрузки данных
- Запустите поиск, а затем повторите поиск с включенным выделением
Обратите внимание, что в этом примере для запроса recruitment hiring является основной причиной возврата совпадений.
Поиск с помощью SQL
Далее мы запустим рабочий процесс, аналогичный описанному выше, но определим функцию перевода для выбора испанской и французской версий результатов.
Это приложение почти такое же, как и выше, с одним ключевым отличием. Конвейер трансляции определен, и этот конвейер определен как функция SQL. Давайте посмотрим скринкаст ниже.
Обратите внимание, как выполняется оператор SQL, выбирающий переводы и фильтрующий с помощью запроса подобия.
Резюме статьи
Следующий рабочий процесс обобщает содержимое URL-адреса.
Скриншот этого рабочего процесса в действии ниже.
Выполненные выше шаги:
- Рабочий процесс загрузки article.yml
- Запуск итогового рабочего процесса для страниц GitHub txtai и paperai.
Языковой перевод
Далее идет рабочий процесс, который переводит входной текст на французский язык.
Давайте посмотрим рабочий процесс в действии.
Выполненные выше шаги:
- Загрузить рабочий процесс translate.yml
- Запуск рабочего процесса перевода фрагментов текста
Обобщить и перевести
Теперь давайте объединим два последних рабочих процесса в один рабочий процесс суммирования и перевода.
И результаты таковы:
Выполненные выше шаги:
- Загрузка рабочего процесса article-french.yml
- Запуск итогового рабочего процесса для URL-адресов
Подведение итогов
В этой статье мы рассмотрели консоль txtai на ряде примеров. Все увиденное здесь можно сделать программно. Но консоль txtai — это простой способ быстро запустить рабочий процесс или поиск встраивания.
