Spark дозволяє надсилати вкладення розміром до 2 ГБ із загальним обмеженням 5 ГБ.
Інші параметри конфігурації
| Назва властивості | За замовчуванням | Починаючи з версії |
|---|---|---|
| spark.sql.files.maxPartitionBytes | 134217728 (128 Мб) | 2.0.0 |
| spark.sql.files.openCostInBytes | 4194304 (4 МБ) | 2.0.0 |
| spark.sql.files.minPartitionNum | Паралелізм за замовчуванням | 3.1.0 |
| spark.sql.files.maxPartitionNum | Жодного | 3.5.0 |
Стандартне значення іскри. водій. maxResultSize становить 1 Гб. Мінімальне значення становить 1 Мб, а максимальне 0 (необмежено).
Spark AR має обмеження на розмір файлу ефектів AR. Вони обмежені до 4 Мб залежно від цільової платформи (Instagram, Facebook AD і Messenger).
128 МБ maxPartitionBytes — максимальна кількість байтів для упаковки в один розділ під час читання файлів. За замовчуванням встановлено значення 128 МБ.');})();(функція(){window.jsl.dh('WSrTZtOWNvPOhbIPz-ms-Qg__40','
Під час читання таблиці Spark за замовчуванням читає блоки з максимальним розміром 128 Мб (хоча ви можете змінити це за допомогою файлів sql. maxPartitionBytes ).