Разделить исходный файл по процентному соотношению (10% / 90%), где содержимое обоих файлов распределяется случайным образом. Простой метод разделения файлов и случайного распределения экземпляров.
import random with open('source.txt', 'r', encoding='utf-8') as source_file: data = [ row.strip() for row in source_file.readlines() ] random.shuffle(data) percentage = .2 pivot = int(len(source_data) * percentage) development_set, holdout_set = (data[:pivot], data[pivot:])