Контроль расхода памяти воркерами...

Обсуждение вопросов связанных с параллельными и распределенными вычислениями

Модератор: Admin

Poklad
Пользователь
Сообщения: 213
Зарегистрирован: Пн май 19, 2008 9:33 pm

Контроль расхода памяти воркерами...

Сообщение Poklad » Ср апр 17, 2013 9:38 am

Hi All!

На кластере создается 6 воркеров:
matlabpool 6
Имеется длинный код в котором есть несколько циклов parfor. В одном из циклов обрабатываетс достаточно длинный ряд и поэтому оперативка выдавливается на своп , все тормозится. По- уму в этом цикле надо работать только 2-м воркерам. Я конечно могу его разбить вручную... Но вопрос такой:

Можно ли матлабу "объяснить" что надо ограничивать число воркеров, если не хватает оперативки?

Jury

Сергей aka Грифон
Пользователь
Сообщения: 857
Зарегистрирован: Вс ноя 22, 2009 4:24 pm

Сообщение Сергей aka Грифон » Ср апр 17, 2013 11:52 pm

я в таких случаях принудительно зарубаю своп. Самое смешное, что матлаб понимает: если памчти хвататет одному воркеру, а двум - нет, он и не будет пытаться откусить.
При наличии доступа к гуглу студент обязан быть богоподобен

Poklad
Пользователь
Сообщения: 213
Зарегистрирован: Пн май 19, 2008 9:33 pm

Сообщение Poklad » Чт апр 18, 2013 12:07 am

Hi!

Со свопом - попробуем... А пока применили "лом" - добили память с 16 до 32 ГБ. Теперь все влазит...

Jury

alison3492
Пользователь
Сообщения: 1
Зарегистрирован: Пн дек 29, 2014 9:42 pm

Re: Контроль расхода памяти воркерами...

Сообщение alison3492 » Пн дек 29, 2014 9:46 pm

Как сделать кластер (или по иному подключиться) из этих 4-х карточек, чтобы они работали? По умолчанию, компьютер видит только 8 ядер процессора и отказывается работать на gpu (из-за низкого значения capability).
Помогите, такие мощи пропадают :cry:
Enjoy the real success with Testking C4090-451 exam and cisco ccna testking.eu Also prepare for next level with quality marygrove