Я пытаюсь обучить модель трансформатора OpenNMT-tf на GPU GeForce RTX 2060 8GB памяти. Вы можете увидеть шаги здесь.
Я создал виртуальную среду Anaconda и установил tenorflow-gpu, используя следующую команду.
conda install tensorflow-gpu==2.2.0
После выполнения вышеуказанной команды conda env все обработает и установит cuda 10.1 и cudnn 7.6.5 в env. Затем я установил openNMT-tf 2.10, который был совместим с tf 2.2 gpu, используя следующую команду.
~/anaconda3/envs/nmt/bin/pip install openNMT-tf==2.10
Приведенная выше команда установит openNMT в среде conda.
Когда я попытался запустить команды, доступные на странице «Quicstart» в документации OpenNMT-tf, он распознал графический процессор при создании словаря. Но когда я начал обучение модели трансформатора, он дает следующую ошибку cudnn.
tensorflow.python.framework.errors_impl.InternalError: 2 root error(s) found.
(0) Internal: cuDNN launch failure : input shape ([1,504,512,1])
[[node transformer_base/self_attention_decoder/self_attention_decoder_layer/transformer_layer_wrapper_12/layer_norm_14/FusedBatchNormV3 (defined at /site-packages/opennmt/layers/common.py:128) ]]
[[Func/gradients/global_norm/write_summary/summary_cond/then/_302/input/_893/_52]]
(1) Internal: cuDNN launch failure : input shape ([1,504,512,1])
[[node transformer_base/self_attention_decoder/self_attention_decoder_layer/transformer_layer_wrapper_12/layer_norm_14/FusedBatchNormV3 (defined at /site-packages/opennmt/layers/common.py:128) ]]
0 successful operations.
0 derived errors ignored. [Op:__inference__accumulate_next_33440]
Function call stack:
_accumulate_next -> _accumulate_next
2021-03-01 13:01:01.138811: I tensorflow/stream_executor/stream.cc:1990] [stream=0x560490f17b10,impl=0x560490f172c0] did not wait for [stream=0x5604906de830,impl=0x560490f17250]
2021-03-01 13:01:01.138856: I tensorflow/stream_executor/stream.cc:4938] [stream=0x560490f17b10,impl=0x560490f172c0] did not memcpy host-to-device; source: 0x7ff4467f8780
2021-03-01 13:01:01.138957: F tensorflow/core/common_runtime/gpu/gpu_util.cc:340] CPU->GPU Memcpy failed
Aborted (core dumped)
Было бы здорово, если бы кто-нибудь мог направить сюда.
Пс. Я не думаю, что это проблема версии, поскольку я подтвердил, что openNMT-tf 2.10 требует tenorflow 2.2, а с установкой tensorflow-gpu 2.2 anaconda самостоятельно установила cuda 10.1 и cudnn 7.6.5 (по умолчанию обрабатывает зависимость от графического процессора).
