WedX - журнал о программировании и компьютерных науках

Безопасна ли эта общая функция MERGE/UPSERT для PostgreSQL?

Я создал функцию «слияния», которая должна выполнять либо запрос UPDATE, либо запрос INSERT, в зависимости от существующих данных. Вместо написания upsert-wrapper для каждой таблицы (как в большинстве доступных примеров) эта функция принимает целые строки SQL. Обе строки SQL автоматически генерируются нашим приложением.

План состоит в том, чтобы вызвать функцию следующим образом:

-- hypothetical "settings" table, with a primary key of (user_id, setting):

SELECT merge(
    $$UPDATE settings SET value = 'x' WHERE user_id = 42 AND setting = 'foo'$$,
    $$INSERT INTO settings (user_id, setting, value) VALUES (42, 'foo', 'x')$$
);

Вот полный код функции merge():

CREATE OR REPLACE FUNCTION merge (update_sql TEXT, insert_sql TEXT) RETURNS TEXT AS
$func$
DECLARE
    max_iterations INTEGER := 10;
    i INTEGER := 0;
    num_updated INTEGER;
BEGIN
    -- usually returns before re-entering the loop
    LOOP

        -- first try the update
        EXECUTE update_sql;
        GET DIAGNOSTICS num_updated = ROW_COUNT;
        IF num_updated > 0 THEN
            RETURN 'UPDATE';
        END IF;

        -- nothing was updated: try the insert, watching out for concurrent inserts
        BEGIN
            EXECUTE insert_sql;
            RETURN 'INSERT';
        EXCEPTION WHEN unique_violation THEN
            -- nop; just loop and try again from the top
        END;

        -- emergency brake
        i := i + 1;
        IF i >= max_iterations THEN
            RAISE EXCEPTION 'merge(): tried looping % times, giving up now.', i;
            EXIT;
        END IF;

    END LOOP;
END;
$func$
LANGUAGE plpgsql;

В моих тестах она работает достаточно хорошо, но я не уверен, что не упустил ничего важного, особенно в отношении одновременных запросов UPDATE/INSERT/DELETE, которые могут выполняться без использования этой функции. Я пропустил что-то важное?

Среди ресурсов, с которыми я консультировался для этой функции:

(Редактировать: одной из целей было избежать блокировки целевой таблицы.)


Ответы:


1

Ответ на ваш вопрос зависит от вашего контекста того, как ваши приложения будут получать доступ к базе данных. Есть много способов решить эту проблему, как подробно описано в сообщение depesz, которое вы сами процитировали. Кроме того, вы можете также рассмотреть возможность использования записываемых CTE, см. здесь. Кроме того, [вопрос]Вставка при дублирующем обновлении в PostgreSQL? содержит несколько интересных обсуждений для ваш процесс принятия решений.

26.09.2013
  • Я рассматривал возможность записи CTE, но, как упоминается в блоге, на который вы ссылаетесь, существует состояние гонки с одновременными вставками. Суть функции merge() заключалась в том, чтобы в конце концов всегда добиваться успеха, насколько это возможно. Конечно, передача строк SQL в функцию не очень элегантна, но а) я еще не видел сопоставимого решения и б) запросы INSERT/UPDATE генерируются автоматически, что эффективно скрывает уродство за API. 27.09.2013
  • Новые материалы

    Как проанализировать работу вашего классификатора?
    Не всегда просто знать, какие показатели использовать С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..

    Работа с цепями Маркова, часть 4 (Машинное обучение)
    Нелинейные цепи Маркова с агрегатором и их приложения (arXiv) Автор : Бар Лайт Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..

    Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
    Как вы сегодня, ребята? В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..

    Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
    Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение. В этом процессе мы будем использовать неконтролируемое обучение, чтобы..

    Учебные заметки: создание моего первого пакета Node.js
    Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm. Оглавление Глоссарий I. Новый пакет 1.1 советы по инициализации..

    Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
    Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных. Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..

    ИИ в аэрокосмической отрасли
    Каждый полет – это шаг вперед к великой мечте. Чтобы это происходило в их собственном темпе, необходима команда астронавтов для погони за космосом и команда технического обслуживания..


    Для любых предложений по сайту: [email protected]