Как плавно интегрировать Sequelize с Node.js и JavaScript для мониторинга базы данных

Аналогичным образом мы можем получить фильмы с самым высоким рейтингом для актера:

 highestRatedMovies(numvotes) {
    function highestRatedMoviesNaive() {
      return titleBasic 
        .findAll({
          include: [
            {
              model: titleRating,
              required: true,
              duplicating: false,
              where: {
                'numvotes': { [Op.gte]: numvotes }
              }
            },
          ],
          order: [
            [ titleRating, 'averagerating', 'DESC'], 
          ]
        });
    }

    return highestRatedMoviesNaive();
  },

Мы присоединяемся к title_basic с title_rating, выполняем фильтрацию и, наконец, упорядочиваем результат на основе звездного рейтинга фильм.

Sequelize очень мощный инструмент, однако иногда проще реализовать SQL-запрос напрямую. Чтобы получить съемочную группу фильма, мы можем сделать это следующим образом:

 crewOfGivenMovie(tconst) {
    function crewOfGivenMovieManualSlow(){
        return sequelize.query(`
          SELECT DISTINCT NB.*
          FROM imdb.title_basics AS TB
          LEFT JOIN imdb.title_principals AS TP ON TP.tconst = TB.tconst
          LEFT JOIN imdb.title_crew AS TC ON TC.tconst = TB.tconst
          LEFT JOIN imdb.name_basics AS NB ON 
                  NB.nconst = TP.nconst 
                  OR TC.directors = NB.nconst
                  OR TC.directors LIKE NB.nconst || ',%'::text
                  OR TC.directors LIKE '%,'::text || NB.nconst || ',%'::text
                  OR TC.directors LIKE '%,'::text || NB.nconst
                  OR TC.writers = NB.nconst
                  OR TC.writers LIKE NB.nconst || ',%'::text
                  OR TC.writers LIKE '%,'::text || NB.nconst || ',%'::text
                  OR TC.writers LIKE '%,'::text || NB.nconst
          WHERE TB.tconst = :tconst
        `, {
          model: nameBasic,
          mapToModel: true,
          replacements: {
            tconst: tconst
          }
      });
    }

    return crewOfGivenMovieManualSlow();
  },

Как упоминалось ранее, некоторые столбцы в IMDb хранятся как значения CSV. Чтобы найти конкретный компонент CSV, нам нужно разделить его запятыми и выполнить сопоставление с образцом. Позже мы посмотрим, как сделать то же самое другим способом.

Давайте теперь запустим все тесты и посмотрим, что они отправляют реальные запросы и получают больше данных:

Представляем мониторинг и наблюдаемость базы данных

Наше приложение работает, но мы понятия не имеем, что оно делает и какие запросы генерирует. Мы не знаем, будет ли он достаточно быстрым при внедрении в производство. Нам нужно заглянуть за кулисы, чтобы убедиться, что все работает хорошо.

Мы собираемся интегрировать приложение с Metis для создания мониторинга базы данных. Таким образом, мы сможем увидеть проблемы с производительностью и оптимизировать наши запросы перед запуском в производство.

Прежде чем двигаться дальше, зайдите в Метис и создайте там проект. Для интеграции приложения вам понадобится ключ API.

Все изменения вы можете увидеть в теге Шаг_4. Мы собираемся реализовать инструментарий так, как он описан в документации. Начнем с установки зависимостей. Metis использует OpenTelemetry для извлечения подробностей вызовов REST и запросов SQL. Никакие конфиденциальные данные не отправляются на платформу, поскольку Metis фиксирует только планы выполнения.

npm install --save pg @metis-data/pg-interceptor

npm install --save @opentelemetry/api \
                @opentelemetry/context-async-hooks \
                @opentelemetry/instrumentation \
                @opentelemetry/instrumentation-http \
                @opentelemetry/resources \
                @opentelemetry/sdk-trace-base \
                @opentelemetry/semantic-conventions

Как только это будет сделано, нам нужно добавить конфигурацию трассировки. Добавьте файл src/tracer.js:

let opentelemetry = require('@opentelemetry/api');
let { registerInstrumentations } = require('@opentelemetry/instrumentation');
let {
  BasicTracerProvider,
  BatchSpanProcessor,
  ConsoleSpanExporter,
  SimpleSpanProcessor,
} = require('@opentelemetry/sdk-trace-base');
let { getMetisExporter, getResource, MetisHttpInstrumentation, MetisPgInstrumentation } = require('@metis-data/pg-interceptor');
let { AsyncHooksContextManager } = require('@opentelemetry/context-async-hooks');

let tracerProvider;
let metisExporter;

const shudownhook = async () => {
  console.log('Shutting down tracer provider and exporter...');
  await tracerProvider?.shutdown();
  await metisExporter?.shutdown();
  console.log('Tracer provider and exporter were shut down.');
}

process.on('SIGINT', () => {
  shudownhook().finally(() => process.exit(0));
});
process.on('SIGTERM', () => {
  shudownhook().finally(() => process.exit(0));
});

const connectionString = process.env.DATABASE_URL;

const startMetisInstrumentation = () => {
  tracerProvider = new BasicTracerProvider({
    resource: getResource(process.env.METIS_SERVICE_NAME, process.env.METIS_SERVICE_VERSION),
  });

  metisExporter = getMetisExporter(process.env.METIS_API_KEY);

  tracerProvider.addSpanProcessor(new BatchSpanProcessor(metisExporter));
  
  if (process.env.OTEL_DEBUG === "true") {
    tracerProvider.addSpanProcessor(new SimpleSpanProcessor(new ConsoleSpanExporter()));
  }

  const contextManager = new AsyncHooksContextManager();

  contextManager.enable();
  opentelemetry.context.setGlobalContextManager(contextManager);

  tracerProvider.register();

  const excludeUrls = [/favicon.ico/];
  registerInstrumentations({
    instrumentations: [new MetisPgInstrumentation({ connectionString }), new MetisHttpInstrumentation(excludeUrls)],
  });
};

module.exports = {
  startMetisInstrumentation,
  shudownhook,
};

Мы извлекаем ключ API Metis, добавляем процессор для диапазонов OpenTelemtry и регистрируем инструменты для Pg (драйвер SQL) и HTTP (сетевые вызовы). Наконец, нам нужно добавить переменные среды в файл .env:

DATABASE_URL=postgres://postgres:[email protected]:5432/demo?schema=imdb
METIS_API_KEY=YOUR_API_KEY
METIS_SERVICE_NAME=sequelize
METIS_SERVICE_VERSION=1

METIS_API_KEY — это ключ вашего проекта. METIS_SERVICE_NAME и METIS_SERVICE_VERSION могут быть любыми по вашему желанию. Эти два значения используются только для указания того, какое приложение отправило трассировку. Вы можете использовать его для управления версиями, различения версий для разработчиков и рабочих версий или для интеграции этого с вашим конвейером CI/CD.

Все, код готов. Теперь мы можем включить инструментарий, чтобы наше приложение использовало его. Вызовем startMetisInstrumentation в основной точке входа и в тестах. Таким образом, мы можем получить информацию о производительности, когда мы используем наше приложение локально или когда запускаем набор автоматизированных тестов. Давайте теперь запустим приложение и воспользуемся curl для проверки конечной точки:

curl https://localhost:3000/titles/ratings/best

Это должно вернуть несколько заголовков. Давайте теперь перейдем к вашему проекту Metis, перейдем на вкладку «Недавние действия», и вы должны увидеть что-то вроде этого:

Вы можете видеть, что Metis перехватил вызов к конечной точке titles/rating/best. Мы видим, что конечная точка вернула HTTP-код 200. Теперь давайте нажмем на это выполнение, и мы должны попасть на этот экран:

Вы можете увидеть пролеты вверху. Их несколько, поскольку Sequelize изначально настраивает базу данных перед выполнением первого запроса. Последний диапазон указывает на фактический выполненный SQL-запрос. Вы можете нажать на вкладку SQL, чтобы увидеть текст запроса:

Вы можете увидеть запрос, отправленный Sequelize! Это тот же запрос, который мы видели в журналах. Однако на этот раз мы можем проанализировать его автоматически. Вернитесь на вкладку «Статистика» и увидите следующее:

Метис показывает нам, что запрос считывает более миллиона строк, просматривая всю таблицу. Это критическая проблема, поскольку она не будет хорошо масштабироваться при развертывании в рабочей среде. Давайте это исправим.

Использование мониторинга базы данных для повышения производительности SQL-запросов

Добавим индекс. Код находится в теге Шаг_5. Сначала давайте создадим миграцию, которую мы будем выполнять при запуске приложения. Добавим src/models/migrations/001_create_title_ratings_indexed.sql:

CREATE INDEX IF NOT EXISTS title_ratings_index ON imdb.title_ratings(averagerating);

Это создаст индекс в таблице, чтобы наш запрос выполнялся быстрее. Давайте теперь реализуем небольшой код для запуска этой миграции. Добавьте этот метод в src/models/index.js:

(function seed(){
  db.seedDatabase = async () => {
    let files = await fsPromises.readdir('src/models/migrations/');
    for(let id in files) {
      if(files[id].endsWith(".sql")){
        let data = await fsPromises.readFile('src/models/migrations/' + files[id], 'utf8');
        console.log("Running " + data);
        try{
          console.log(await sequelize.query(data));
        }catch(e){
          console.log(e);
          throw e;
        }
      }
    }

    console.log("Done migrating");
  };
})();

Давайте теперь вызовем этот метод в точке входа и в тестах.

Давайте теперь перезапустим приложение и увидим это:

Отлично, миграция выполнена. Теперь мы можем снова запустить Curl и перейти к проекту Metis, чтобы увидеть это:

Вы можете видеть, что есть еще один звонок, тот, который мы только что сделали. Давайте откроем его и увидим, что запрос теперь выполняется достаточно быстро:

Вы можете видеть, что запрос сейчас читает около семи тысяч строк. Это значительное улучшение производительности.

Улучшение других запросов

Теперь у нас есть все детали на месте. Давайте посмотрим, как использовать новую функцию мониторинга и наблюдения за базами данных с Sequelize для повышения производительности. Здесь мы можем сделать множество улучшений, поэтому я просто покажу некоторые из них. См. тег Step_6, чтобы увидеть больше, и прочитайте нашу статью Как Metis оптимизирует запросы, выполняемые с помощью Sequelize, чтобы получить еще больше идей.

Давайте вернемся к запросу, возвращающему фильмы для актера. Запустите его с помощью Curl:

curl https://localhost:3000/titlesForAnActor?nconst=nm1588970

Заходим в Метис и видим, что звонок захвачен:

Есть критические проблемы. Давайте посмотрим на них:

Мы видим, что запрос прочитал 70 миллионов строк. Это много! Посмотрим текст запроса:

SELECT
  TitleBasic.*,
  titleBasicTitlePrincipal.tconst AS titleBasicTitlePrincipal.tconst,
  titleBasicTitlePrincipal.ordering AS titleBasicTitlePrincipal.ordering,
  titleBasicTitlePrincipal.nconst AS titleBasicTitlePrincipal.nconst,
  titleBasicTitlePrincipal.category AS titleBasicTitlePrincipal.category,
  titleBasicTitlePrincipal.job AS titleBasicTitlePrincipal.job,
  titleBasicTitlePrincipal.characters AS titleBasicTitlePrincipal.characters
FROM
  (
 SELECT
   TitleBasic.tconst,
   TitleBasic.titletype,
   TitleBasic.primarytitle,
   TitleBasic.originaltitle,
   TitleBasic.isadult,
   TitleBasic.startyear,
   TitleBasic.endyear,
   TitleBasic.runtimeminutes,
   TitleBasic.genres
 FROM
   imdb.title_basics AS TitleBasic
 WHERE
   (
     SELECT
       tconst
     FROM
       imdb.title_principals AS titleBasicTitlePrincipal
     WHERE
       (
         titleBasicTitlePrincipal.nconst = 'nm1588970'
         AND titleBasicTitlePrincipal.tconst = TitleBasic.tconst
       )
     LIMIT
       1
   ) IS NOT NULL
 ORDER BY
   TitleBasic.startyear DESC
 LIMIT
   10
  ) AS TitleBasic
  INNER JOIN imdb.title_principals AS titleBasicTitlePrincipal ON TitleBasic.tconst = titleBasicTitlePrincipal.tconst
  AND titleBasicTitlePrincipal.nconst = 'nm1588970'
ORDER BY
  TitleBasic.startyear DESC;

Это определенно не то, чего мы ожидали. Давайте попробуем сделать это быстрее и введем индекс:

CREATE INDEX IF NOT EXISTS title_principals_nconst_idx ON imdb.title_principals(nconst) INCLUDE (tconst);

Вы можете добавить еще одну миграцию, перезапустить приложение и увидеть, что это немного помогает, но этого явно недостаточно.

Давайте попробуем понять, почему Sequelize сгенерировал такой странный запрос. Мы объединили две таблицы, упорядочили строки по начальному году, а затем вернули десять строк. Однако Sequelize не знает, может ли объединение создавать дубликаты. В этом случае Sequelize необходимо использовать подзапросы для расчета правильного порядка. Мы можем это исправить, используя флаг дублирование:

return titleBasic
 .findAll({
  include: [{
   model: titlePrincipal,
   required: true,
   duplicating: false,
   as: 'titleBasicTitlePrincipal',
   where: {
    'nconst': nconst
   },
  }],
  order: [
   ['startyear', 'DESC']
  ],
  limit: 10
 });

Теперь мы можем перезапустить приложение и увидеть, что мы получаем вот такой запрос:

SELECT
 TitleBasic.tconst,
 TitleBasic.titletype,
 TitleBasic.primarytitle,
 TitleBasic.originaltitle,
 TitleBasic.isadult,
 TitleBasic.startyear,
 TitleBasic.endyear,
 TitleBasic.runtimeminutes,
 TitleBasic.genres,
 titleBasicTitlePrincipal.tconst AS titleBasicTitlePrincipal.tconst,
 titleBasicTitlePrincipal.ordering AS titleBasicTitlePrincipal.ordering,
 titleBasicTitlePrincipal.nconst AS titleBasicTitlePrincipal.nconst,
 titleBasicTitlePrincipal.category AS titleBasicTitlePrincipal.category,
 titleBasicTitlePrincipal.job AS titleBasicTitlePrincipal.job,
 titleBasicTitlePrincipal.characters AS titleBasicTitlePrincipal.characters
FROM
 imdb.title_basics AS TitleBasic
INNER JOIN imdb.title_principals AS titleBasicTitlePrincipal ON TitleBasic.tconst = titleBasicTitlePrincipal.tconst AND titleBasicTitlePrincipal.nconst = 'nm1588970'
ORDER BY
 TitleBasic.startyear DESC
LIMIT
 10;

Как только мы добавим индекс и соответствующий флаг для обработки дубликатов, мы получим следующую производительность:

Вы можете видеть, что теперь он достаточно хорош для развертывания в производстве.

Краткое содержание

В этом посте мы увидели, как создать мониторинг базы данных с помощью Sequelize. Мы увидели, как анализировать производительность SQL-запросов, как контролировать базу данных и как оптимизировать приложение с использованием фактического набора данных IMDb. Таким образом, вы сможете ускорить работу всех своих приложений и запросов еще до их запуска в производство. А если этого недостаточно, прочитайте нашу статью Улучшение производительности базы данных, чтобы решать проблемы с базами данных на профессиональном уровне.

Часто задаваемые вопросы

Какова цель использования Sequelize ORM с набором данных IMDB?

Мы можем упростить чтение объектов базы данных из приложения JavaScript и гораздо лучше выполнять запросы SQL.

Как я могу импортировать и предварительно обработать данные IMDB с помощью Sequelize?

Мы можем использовать базу данных Docker, которая предоставляет объекты IMDb. Затем мы можем сопоставить их с сущностями в Sequelize и прочитать из приложения JavaScript.

Каковы ключевые особенности Sequelize для анализа наборов данных IMDB?

Sequelize позволяет нам настраивать отношения и упрощать способ написания запросов. Мы можем автоматически проверять типы, существование столбцов или будет ли запрос вообще выполняться правильно.