Разбор больших текстовых файлов в режиме реального времени (Java)

Если это будет около 1 МБ и буквально в том формате, который вы указали, то это звучит так, как будто вы слишком много делаете.

Если ваш сервер не ZX Spectrum или что-то в этом роде, просто используйте регулярные выражения для его анализа, занесите данные в хэш-карту (и сохраните их там) и не беспокойтесь об этом. Это займет несколько мегабайт памяти, ну и что...?

Обновление: просто чтобы дать вам конкретное представление о производительности, я провел некоторые измерения производительность String.split() (в которой используются регулярные выражения) показывает, что на машине с частотой 2 ГГц требуется миллисекунд для разделения 10 000 100-символьных строк (другими словами, около 1 мегабайта данных - на самом деле ближе к 2 МБ в чистом объеме байтов, поскольку строки составляют 2 байта на символ). Очевидно, это не совсем та операция, которую вы выполняете, но вы меня поняли: все не так уж и плохо...

Если это правильная грамматика, используйте конструктор парсеров, например GOLD Parsing System. Это позволяет указать формат и использовать эффективный парсер для получения нужных вам токенов, получая обработку ошибок практически бесплатно.

Мне интересно, почему это не в XML, и тогда вы могли бы использовать доступный инструментарий XML. Я имею в виду, в частности, SAX, и в этом случае вы могли бы легко разобрать/обработать это, не удерживая все это в памяти.

Итак, вы можете преобразовать это в XML?

Если вы не можете и вам нужен синтаксический анализатор, взгляните на JavaCC.

Используйте класс Scanner и обрабатывайте файл построчно. Я не уверен, почему вы упомянули регулярное выражение. Regex почти никогда не является правильным ответом на любой вопрос синтаксического анализа из-за двусмысленности и отсутствия симмантического контроля над тем, что происходит в каком контексте.

Вы можете использовать генератор анализатора Antlr, чтобы создать анализатор, способный анализировать ваши файлы.

Не отвечая на вопрос о синтаксическом анализе ... но вы можете анализировать файлы и генерировать статические страницы, как только поступают новые файлы. Таким образом, у вас не будет проблем с производительностью ... (И я думаю, что 1 МБ - это не большой файл, поэтому вы можете загрузить его в память, если вы не загружаете слишком много файлов одновременно ...)

Это кажется достаточно простым форматом файла, поэтому вы можете рассмотреть возможность использования парсера рекурсивного спуска. По сравнению с JavaCC и Antlr его плюсы в том, что вы можете написать несколько простых методов, получить нужные вам данные и вам не нужно изучать формализм генератора парсеров. Его минусы - он может быть менее эффективным. Парсер рекурсивного спуска в принципе сильнее регулярных выражений. Если вы сможете придумать грамматику для этого типа файлов, она пригодится вам для любого решения, которое вы выберете.

Если вас интересуют ограничения регулярных выражений Java, не беспокойтесь об этом. Предполагая, что вы достаточно компетентны в создании регулярных выражений, производительность не должна быть проблемой. Набор функций также достаточно богат, включая мои любимые признательные квантификаторы.

другое решение состоит в том, чтобы выполнить некоторую форму предварительной обработки (выполненной в автономном режиме или в виде задания cron), которая создает очень оптимизированную структуру данных, которая затем используется для обслуживания многих веб-запросов (без необходимости повторного анализа файла).

хотя, глядя на рассматриваемый сценарий, кажется, что это не нужно.