Почему так получилось и как починить

Ошибка возникает если на одном из разделов занято более 85% пространства.

Общая методика поиска причины и решения

1. Проверям какой раздел заполнен:
   Команда

   df -h | grep -wE '/|/mnt'

   Вывод

   Filesystem      Size  Used Avail Use% Mounted on
   /dev/sda1       3,7G  1,9G  1,6G  55% /
   /dev/sda2        14G  6,7G  6,3G  52% /app
   /dev/sda3        13G  1,4G   11G  12% /mnt/backup
   /dev/sda4       1,9G   36M  1,7G   3% /mnt/etc
   /dev/sda5        53G 47,2G  5.8G  89% /mnt/var
   /dev/sda6       8,2G  4,3G  3,6G  55% /mnt/log
   /dev/sdb1       394G  140G  234G  38% /mnt/stat
   /dev/sdb1       394G  140G  234G  38% /app/collector/mnt/var/stat
   

   Видно, что заполнен раздел /dev/sda5 с логами.

   /dev/sda5...................53G...47,2G.....5.8G....89%../mnt/var

2. Теперь нужно узнать какие именно данные занимают раздел. Запускаем комманду подсчёта объёма и двигаемся вглубь файловой системы:
   Команда подсчета места на разделе log

   du -sch /mnt/log/app/* | sort -h

   Вывод

   7,4M	/mnt/log/app/monitoring
   15M	/mnt/log/app/auth
   70M	/mnt/log/app/xge
   81M	/mnt/log/app/asr_cabinet
   91M	/mnt/log/app/base
   129M	/mnt/log/app/asr_fiscal
   130M	/mnt/log/app/collector
   2,0G	/mnt/log/app/asr_billing
   2,5G	total
   

   Видно что больше всего места занято в папке asr_billing, продолжаем углубляться:

3. Двигаемся вглубь файловой системы, ищем что конкретно съедает место:
   Команда подсчета места папки asr_billing на разделе log

   du -sch /mnt/log/app/asr_billing | sort -h

   И так далее...

4. После того как найдены данные, которые занимают диск, их необходимо перенести на другой носитель. Или подключить дополнительный диск для их хранения. Для раздела с логами это можно сделать по статье Добавление диска под логи.

В данном примере рассмотрено переполнение раздела с логами (журналами работы служб)

На каких разделах что хранится, что можно удалять, а что лучше оставить

/mnt/var, /mnt/stat

Наиболее частой проблемой является заполнение раздела /mnt/var (либо /mnt/stat), а именно каталога /mnt/var/app/collector/var/stat/binstat/. Решение описано в следующей статье.

/mnt/log

При заполнении раздела /mnt/log, наиболее верным решением будет выполнить команды head и tail на проблемный файл и приложить полученный вывод в новую, либо автоматический созданную по данной проблеме заявку на портале HelpDesk и сообщить о проблеме в техподдержку по телефону.
Если явно больших файлов лога не обнаружено, вероятно у Вас просто слишком маленький раздел под логи. Добавьте места.

/mnt/backup

Если забит раздел /mnt/backup - просто очистите старые бэкапы, исследовав структуру каталогов программой du. В случае если проблема с разделом восникает часто, вероятно Вам следует добавить места под логи

/mnt/etc

В случае заполнения раздела /mnt/etc обратитесь в техподдержку.

/mnt/db

Если Ваша аппаратная платформа соответствует нашим системным требованиям, вероятност заполнения раздела в обозримом будущем крайне мала, так как под раздел выделяется не менее 100Гб места (при диске 1Тб и более).

Возможно место занято содержимым этих папок:

• /mnt/db/app/asr_billing/db/notstopped
  В папке сохраняются базы, поврежденные в результатате некорректного завершения работы сервера. Вы можете попробовать достать из них потерянные данные или восстановить целиком воспользовавшись услугами специалистов занимающихся восстановлением баз данных или информацией доступной в документации Firebird.
• /mnt/db/app/asr_billing/db/safemode
  В папке сохраняются базы, работа которых была завершена корректно, их можно восстановить в работу. В последствии содержимое папки можно очистить.

/ (корневой раздел ОС)

Проверьте что место не занято в результате установки стороннего ПО или выполнения каких-либо скриптов, например при выполнении заданий добавленных в cron, либо в процессе работы на сервере в пользовательской директории (/root, /home). Например, место на корневом разделе может быть занято в результате включенного мониторинга сервера с atop, данные которого записываются в папку /var/log/atop.

Примеры решения проблем

Переполнен разделы с логами /mnt/log или папка /var/log

Корневой раздел переполнен журналом авторизации

Проблема встречается на Softrouter и XGE при интеграции с Carbon Reductor: фильтр выгружает списки заблокированных IP-адресов по ssh и каждая авторизация фиксируется в логе /var/log/secure, от этого он достаточно быстро разрастается.
Проверьте файлы /var/log/secure:

du -sch /var/log/secure*

Если файлы достаточно объёмны (сотни мегабайт и более), значит это Ваша ситуация.
Её можно решить добавив компрессию при ротации логов, для этого измените файл /etc/logrotate.d/syslog, добавив туда строки nodelaycompress и compress:

/var/log/cron
/var/log/maillog
/var/log/messages
/var/log/secure
/var/log/spooler
{
    sharedscripts

    #==Компрессия логов==#
    #==
     nodelaycompress
     compress
    #==

    postrotate
        /bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true
    endscript
}

Слишком много файлов на диске с логами

При работе биллинг отправляет команды на оборудование. При этом лог команд ведётся для каждого абонента в отдельности. При большом количестве абонентов это может привести к заполнению раздела /mnt/log . Так же при диагностике сервера может выводиться сообщение:

Мало свободных inode

1. Просмотрите размер раздела /mnt/log

   df -h | grep log
   /dev/sda7              14G  5,8G  7,0G  46% /mnt/log
   

2. Оцените сколько места занято логами учётных записий

   du -sh /app/asr_billing/var/log/abonents
   272M    /app/asr_billing/var/log/abonents
   

3. Удалите логи старше 30 дней

   Используйте команду в точности как написано ниже! Настоятельно не рекомендуем вносить изменение в команду удаления логов, так как это может привести к неработоспособности системы в целом. find /app/asr_billing/var/log/abonents/ -atime +30 -type f -delete