Я пытаюсь использовать DIH для импорта данных из MySQL в SOLR, мой запрос состоит из соединения и оставляет внешние соединения, например:
select * from products join merchants on merchants.id=products.merchant_id
left outer join cats_products on products.id=cats_products.product_id
join categories on cats_products.category_id=categories.id;
, когда я использую соединение, все в порядке, но когда я хочу использовать левое внешнее соединение, это занимает много времени, и после долгого времени оно ничего не возвращает и не успевает, я нашел кое-что об использовании batchSize< /strong> но когда я меняю число для этого параметра, это не имеет значения, поэтому один из моих вопросов заключается в том, почему это не влияет? Например, batchSize="30000".
затем я решил использовать limit в своем запросе и использовать множество объектов в моей конфигурации dih с различными ограничениями, такими как:
<entity name="first" query="select * from table LIMIT 0, 5000">
....
</entity>
<entity name="second" query="select * from table LIMIT 5000, 10000">
...
</entity>
но у меня огромное количество данных, и я не могу использовать их для полного импорта. поэтому мне было интересно, может быть, должны быть какие-то другие способы попробовать, я имею в виду получение данных из базы данных по частям или ... любая идея будет оценена.
