что я делаю неправильно в этом алгоритме?

Итак, я исправил несколько вещей в вашем коде:

1. Я переключил оператор ^ (который, как указал @Nick Bell, является побитовым исключающим ИЛИ) для Math.pow.
2. Я исправил написание ваших переменных x и n. В Java принято давать имена переменных, начинающиеся с нижнего регистра. Верхние регистры (X и N) зарезервированы для констант (поля, отмеченные final) и для классов (в отличие от объектов). Обратите внимание, что это всего лишь соглашение, и код прекрасно работает в обоих случаях. Это просто помогает в чтении кода.
3. Ваш четный/нечетный чек был перевернут: x % 2 == 0 равно true для четных чисел.
4. Причина, по которой вы инвертировали свой четный/нечетный чек, вероятно, заключалась в том, что две операции над sum были инвертированы. Сравните с описанием вашей проблемы в первом абзаце вашего вопроса, вы увидите, где вы ошиблись.
5. Проверка if i < N была излишней. Если вы действительно хотите ограничить вычисления до i < N, вы должны указать это непосредственно в своем первом цикле for.
6. Я добавил два блока try/catch с бесконечными циклами, которые прерываются при вводе целого числа, потому что ваш предыдущий код вызывал исключение и останавливался, если вы вводили что-то еще, кроме правильно сформированного целого числа (например, буквы или десятичное значение). Вам решать сохранить их или удалить.
7. Кстати, инициализация x и n значением 0 теперь избыточна, так как ваш код гарантированно сразу присвоит им другое значение.

Это обновленный код.

public static void main(String[] args) {
    try (Scanner scan = new Scanner(System.in)) {
        System.out.println("Sum = 1^0-x^1+x^2-x^3..+x^n");
        System.out.println("Enter number X");
        int x = 0;
        while (true) {
            try {
                x = Integer.parseInt(scan.nextLine());
                break;
            } catch (NumberFormatException e) {
                System.out.println("Enter an integer.");
            }
        }
        System.out.println("Enter number N");
        int n = 0;
        while (true) {
            try {
                n = Integer.parseInt(scan.nextLine());
                break;
            } catch (NumberFormatException e) {
                System.out.println("Enter an integer.");
            }
        }
        double sum = 0;
        for (int i = 0; i <= n; i++) {
            if (i % 2 == 0)    // if I is even
                sum = sum + Math.pow(x, i);
            else    // if I is odd
                sum = sum - Math.pow(x, i);
        }
        System.out.println("Z is " + sum);
    }
}