Вместо того, чтобы помещать в память полный набор данных, потоки представляют собой группы данных, которые можно считывать или записывать по частям.

Здравствуйте, разработчики 👋,
Node.js — это мощная среда выполнения, позволяющая разработчикам создавать масштабируемые высокопроизводительные приложения. Одной из ключевых особенностей Node.js является его способность работать с потоками.

Потоки — это объекты в Node.js, которые эффективно обрабатывают поток данных, особенно при работе с большими наборами данных.

В этом блоге мы рассмотрим практические примеры использования потоков в Node.js и обсудим преимущества производительности, которые они предлагают.

👉 Понимание потоков

Прежде чем углубляться в примеры, давайте разберемся, что такое потоки в Node.js.

Потоки – это наборы данных, которые можно считывать или записывать в виде фрагментов, а не загружать весь набор данных в память.

Они обеспечивают эффективную обработку данных, позволяя нам работать с небольшими порциями данных за раз, что особенно полезно при работе с большими файлами или сетевой связью.

Потоки можно разделить на 4 типа:

  • Readable Streams представляет собой источник, из которого можно считывать данные.
  • Потоки, доступные для записи, представляют собой место назначения, куда могут быть записаны данные.
  • Дуплексные потоки могут быть доступны как для чтения, так и для записи.
  • Потоки преобразования — это особый тип дуплексного потока, который может изменять или преобразовывать данные во время их чтения или записи.

👉 Реальные примеры

1️⃣ Чтение и запись файлов.
Потоки отлично подходят для чтения и записи файлов, особенно при работе с большими файлами.

Вместо того, чтобы загружать весь файл в память, мы можем использовать читаемый поток для чтения файла небольшими фрагментами, обработки каждого фрагмента и записи его с использованием записываемого потока. Этот подход экономит память и помогает избежать проблем с производительностью.

Пример:

const fs = require('fs');

const readableStream = fs.createReadStream('input.txt');
const writableStream = fs.createWriteStream('output.txt');

readableStream.pipe(writableStream);

2️⃣ HTTP-запросы и ответы.
 При обработке HTTP-запросов и ответов в Node.js потоки играют решающую роль.

Для входящих запросов данные могут быть прочитаны из потока для чтения, обработаны, а затем отправлены в качестве ответа через поток для записи.

Это позволяет эффективно обрабатывать большие полезные нагрузки и повышает общую производительность сервера.

Пример:

const http = require('http');

http.createServer((req, res) => {
  req.on('data', (chunk) => {
    // Process the incoming data
  });

  req.on('end', () => {
    // Send the response
    res.write('Response data');
    res.end();
  });
}).listen(3000);

3️⃣ Сжатие и распаковка данных.
Потоки можно использовать для сжатия и распаковки данных на лету, что уменьшает объем памяти и повышает производительность.

Модуль zlib в Node.js предоставляет удобный способ работы со сжатыми потоками.

Пример:

const fs = require('fs');
const zlib = require('zlib');

const readableStream = fs.createReadStream('input.txt');
const writableStream = fs.createWriteStream('output.txt.gz');

const gzip = zlib.createGzip();

readableStream.pipe(gzip).pipe(writableStream);

4️⃣ Ведение журнала.
Потоки можно использовать для эффективного ведения журнала в приложениях Node.js. Вместо того, чтобы добавлять сообщения журнала непосредственно в файл, мы можем использовать записываемый поток для записи данных журнала. Этот подход позволяет легко настраивать, например добавлять временные метки или фильтровать уровни журнала.

Пример:

const fs = require('fs');
const { Transform } = require('stream');

const logStream = fs.createWriteStream('app.log', { flags: 'a' });

function createLogMessage(message) {
  const timestamp = new Date().toISOString();
  return `[${timestamp}] ${message}\n`;
}

const logTransformer = new Transform({
  transform(chunk, encoding, callback) {
    const logMessage = createLogMessage(chunk.toString());
    this.push(logMessage);
    callback();
  },
});

process.stdin.pipe(logTransformer).pipe(logStream);

5️⃣ Обработка изображений.
Потоки могут быть полезны при работе с обработкой изображений, особенно при изменении размера или сжатии изображений.

Используя потоки, мы можем считывать данные изображения как доступный для чтения поток, выполнять необходимые модификации, а затем записывать обработанные данные изображения как доступный для записи поток.

Такой подход экономит память и обеспечивает более эффективное решение для обработки изображений.

Пример:

const sharp = require('sharp');
const fs = require('fs');

const readableStream = fs.createReadStream('input.jpg');
const writableStream = fs.createWriteStream('output.jpg');

readableStream.pipe(sharp().resize(800, 600)).pipe(writableStream);

6️⃣ Операции с базой данных.
Потоки можно эффективно использовать для обработки больших наборов результатов из запроса к базе данных.

Вместо того, чтобы загружать все данные в память, мы можем использовать читаемый поток для выборки данных фрагментами и соответствующей их обработки.

Этот метод особенно ценен при работе с миллионами записей.

Пример (с использованием пакета pg для PostgreSQL):

const { Client } = require('pg');
const fs = require('fs');

const client = new Client();

client.connect();

const query = client.query('SELECT * FROM large_table');
const writableStream = fs.createWriteStream('output.csv');

query.stream().pipe(writableStream);

query.on('end', () => {
  client.end();
});

7️⃣ Обработка данных в реальном времени.
Потоки идеально подходят для сценариев обработки данных в реальном времени, таких как обработка журналов в реальном времени или потоковая передача данных с устройств IoT.

Непрерывно получая и обрабатывая данные небольшими порциями, мы можем выполнять анализ или мониторинг в реальном времени, не дожидаясь, пока будет доступен весь набор данных.

Пример:

const http = require('http');

http.createServer((req, res) => {
  const writableStream = fs.createWriteStream('logs.txt', { flags: 'a' });

  req.on('data', (chunk) => {
    // Process real-time logs
    writableStream.write(chunk);
  });

  req.on('end', () => {
    res.writeHead(200, { 'Content-Type': 'text/plain' });
    res.end('Received and processed logs');
  });
}).listen(3000);

Эти дополнительные примеры демонстрируют универсальность и мощь потоков в различных сценариях. Используя потоки, вы можете оптимизировать использование памяти, повысить производительность и создать эффективные конвейеры обработки данных в приложениях Node.js.

👉 Преимущества производительности:

Использование потоков в Node.js предлагает несколько преимуществ производительности:

  1. Эффективность использования памяти. Потоки позволяют обрабатывать данные фрагментами, уменьшая объем используемой памяти. Вместо того, чтобы загружать весь набор данных в память, в определенный момент времени в памяти должна храниться только небольшая часть данных, что улучшает управление памятью.
  2. Масштабируемость. Обрабатывая данные небольшими порциями, потоки обеспечивают лучшую масштабируемость, особенно при обработке больших наборов данных. Это гарантирует, что приложения могут эффективно обрабатывать несколько запросов, не перегружая системные ресурсы.
  3. Скорость. Потоки ускоряют обработку данных, устраняя необходимость ждать, пока весь набор данных станет доступным. Как только блок данных получен или прочитан, он может быть обработан, что приводит к более быстрому времени отклика.
  4. Конвейерная обработка. Потоки можно легко объединять по конвейеру, что обеспечивает эффективный поток данных между различными частями приложения. Это упрощает код и способствует повторному использованию.

Заключение

Потоки — это мощная функция Node.js, которая обеспечивает эффективный способ обработки потока данных, особенно при работе с большими наборами данных.

Они предлагают практические решения для обработки файловых операций, сетевого взаимодействия, сжатия данных и многого другого. Используя потоки, разработчики могут создавать высокопроизводительные приложения, которые масштабируются, эффективно используют память и работают быстрее.

Итак, в следующий раз, когда вы будете работать с Node.js, рассмотрите возможность использования потоков, чтобы воспользоваться их практическими примерами и преимуществами производительности. Удачной трансляции!

Спасибо за прочтение 🙏😇



Patreon
Patreon помогает новому поколению авторов. Поддерживайте и взаимодействуйте с художниками и создателями, когда они живут своей…patreon.com



Свяжись со мной 👇



Тушар Канджария
Полный разработчик и дизайнер UI/UXbento.me





Тушар Канджария | Linktree
Полный разработчик и дизайнер пользовательского интерфейса/UXlinktr.ee