WedX - журнал о программировании и компьютерных науках

ElasticSearch - оставить большое текстовое поле вне всех процессов, но все же вернуть его в результатах?

У нас есть индекс ElasticSearch (версия ES 6.4.2), который содержит более 100 миллионов документов, состоящих примерно из 5 полей каждый. Одним из таких полей является полный текст новостной статьи.

Проблема в том, что прямо сейчас наш поиск по этому индексу занимает более 5-6 секунд, чтобы вернуть результаты, тогда как все наши другие индексы (которые являются типичными структурированными записями) занимают меньше секунды. Дело в том, что нам вообще не нужно искать внутри поля, содержащего текст новости, во время запроса, но мы хотим вернуть это поле в результатах.

Я предполагаю, что весь этот текст новостей находится в кеше ES и приводит к длительному времени поиска, хотя в этом нет необходимости, поскольку мы не ищем по ним. Есть ли способ, из-за отсутствия лучшего способа сформулировать это, оставить текстовое поле новостей вне всех процессов/кеширования ES, но все же вернуть это поле в результатах? Я пытаюсь проверить способы увеличения скорости поиска по этому индексу.

11.07.2019

Ответы:


1

Здесь может быть два подхода:

1. Установите "index": false для поля, которое не должно быть доступно для поиска. Прочтите это.

{
  "fNews": {
    "type": "text",
    "index": false
  }
}

2. Если вы используете запрос query_string для поиска, установите поля, по которым должен выполняться поиск. Предположим, у вас есть 3 поля f1, f2 и fNews, и вы не хотите искать в fNews, тогда запрос будет выглядеть примерно так:

{
  "query": {
    "query_string": {
      "fields": [
        "f1",
        "f2"
      ],
      "query": "some search string"
    }
  }
}
12.07.2019
  • Прохладный. Дайте мне знать, если это помогло. 13.07.2019
  • Привет, Нишант. Знаете ли вы, можно ли выполнить вариант 1 без полной переиндексации? 15.07.2019
  • @ Stpete111 Нет, требуется переиндексация. 16.07.2019
    • Новые материалы
    Как создать диаграмму градиентной кисти с помощью D3.js
    Резюме: Из этого туториала Вы узнаете, как добавить градиентную кисть к диаграмме с областями в D3.js. Мы добавим градиент к значениям SVG и применим градиент в качестве заливки к диаграмме с..
    Я хотел выучить язык программирования MVC4, но не мог выучить его раньше, потому что это выглядит сложно…
    Просто начните и учитесь самостоятельно Я хотел выучить язык программирования MVC4, но не мог выучить его раньше, потому что он кажется мне сложным, и я бросил его. Это в основном инструмент..
    Лицензии с открытым исходным кодом: руководство для разработчиков и создателей
    В динамичном мире разработки программного обеспечения открытый исходный код стал мощной парадигмой, способствующей сотрудничеству, инновациям и прогрессу, движимому сообществом. В основе..
    Объяснение документов 02: BERT
    BERT представил двухступенчатую структуру обучения: предварительное обучение и тонкая настройка. Во время предварительного обучения модель обучается на неразмеченных данных с помощью..
    Как проанализировать работу вашего классификатора?
    Не всегда просто знать, какие показатели использовать С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..
    Работа с цепями Маркова, часть 4 (Машинное обучение)
    Нелинейные цепи Маркова с агрегатором и их приложения (arXiv) Автор : Бар Лайт Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..
    Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
    Как вы сегодня, ребята? В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..
    Для любых предложений по сайту: [email protected]