Мне нужен произвольно большой буфер в Linux/C/C++

Вы можете создать такое распределение, используя mmap() с флагами MAP_ANONYMOUS | MAP_NORESERVE | MAP_PRIVATE. Если вы хотите вернуть его обратно в систему, используйте munmap().

Обратите внимание, что единственный способ узнать, недостаточно ли памяти для удовлетворения вашего фактического использования, - это получить ваш процесс SIGSEGV, но это связано с запросом гигантского отображения, намного большего, чем доступная память.

Что ж, если вам нужен большой стек, вы всегда можете изменить ulimit -s. Он может быть очень большим, по крайней мере, на 64-битных платформах.

Если вы mmap анонимное пространство, оно не будет выделено для физических страниц, пока вы его не коснетесь. Вам нужно либо установить vm_overcommit, либо иметь достаточно места подкачки (если только у вас не так много физической оперативной памяти). Конечно, mmap анонимное пространство - это именно то, что malloc делает, когда вы запрашиваете много памяти.

Вы можете сказать Linux, что закончили со страницами, используя madvise. Если вы вызовете MADV_DONTNEED, тогда Linux будет удалить страницы, и при следующей попытке доступа к ним они должны быть заполнены нулями.

Прежде всего, mallocing память такого размера (или newing ее, или создание ее в стеке) почти наверняка приведет к ошибке std::bad_alloc, потому что вы пытаетесь создать всю ее в непрерывной памяти - и у вас определенно нет этого много непрерывной непрерывной памяти из-за фрагментации.

Если вы используете контейнер std::, такой как deque, или адаптер контейнера, такой как stack (что-либо без непрерывной памяти, т.е. не вектор), тогда он будет использовать память кучи по частям, которые можно расширять. Это поможет вам обойти эту ошибку bad_alloc.

Итак, это возможно, но не пытайтесь сделать память непрерывной - и, если вам разрешено, используйте std::container/adapter.

PS: если вам нужны большие объемы памяти, вы можете рассмотреть возможность использования списка динамически выделяемых буферов (указателей malloced), размер которых достаточно велик, чтобы его можно было использовать, но достаточно мал, чтобы не вызвать исключение bad_alloc).

Не забывайте, что ресурсы всегда ограничены физическими ограничениями: количество атомов во Вселенной, вероятно, конечно... Так что сколь угодно большие буферы не могут существовать в строгом смысле...

Однако вы можете использовать Linux mmap. системный вызов для просмотра части файла как сегмента виртуальной памяти. Если он очень большой (больше оперативной памяти), у вас будут проблемы с производительностью. Попробуйте настроить его с помощью madvise (& возможно readahead) системные вызовы.

Возможно, даже использование функции GCC __bultin_prefetch может оказаться полезным (но я уверен, что madvise более актуально).

Если у вас действительно есть стек размером в терабайт, настройка вашего приложения будет очень важна. Научитесь использовать oprofile. Надеюсь у тебя мощная машина!

И этого на самом деле недостаточно для стека вызовов (вероятно, он ограничен, например, через setrlimit ...) См. также sigaltstack (для стека, используемого для доставки сигнала).

Но чего вы на самом деле хотите достичь? Очень большие стеки вызовов мне кажутся подозрительными... Или ваш стек не стек вызовов??