Мало места на диске

{toc:maxLevel=3}

h1. Почему так получилось и как починить

Ошибка возникает если на одном из разделов занято более 85% пространства.

Filesystem Size Used Avail Use% Mounted on
/dev/sda1 3,7G 1,9G 1,6G 55% /
/dev/sda2 14G 6,7G 6,3G 52% /app
/dev/sda3 13G 1,4G 11G 12% /mnt/backup
/dev/sda4 1,9G 36M 1,7G 3% /mnt/etc
/dev/sda5 53G 47,2G 5.8G 89% /mnt/var
/dev/sda6 8,2G 4,3G 3,6G 55% /mnt/log
/dev/sdb1 394G 140G 234G 38% /mnt/stat
/dev/sdb1 394G 140G 234G 38% /app/collector/mnt/var/stat
{code}
Видно, что заполнен раздел /dev/sda5 с логами.
{panel}

7,4M /mnt/log/app/monitoring
15M /mnt/log/app/auth
70M /mnt/log/app/xge
81M /mnt/log/app/asr_cabinet
91M /mnt/log/app/base
129M /mnt/log/app/asr_fiscal
130M /mnt/log/app/collector
2,0G /mnt/log/app/asr_billing

В данном примере рассмотрено переполнение раздела с логами (журналами работы служб)
{info}

h2. На каких разделах что хранится, что можно удалять, а что лучше оставить

h3. /mnt/var, /mnt/stat

Наиболее частой проблемой является заполнение раздела */mnt/var* (либо */mnt/stat*), а именно каталога */mnt/var/app/collector/var/stat/binstat/*. Решение описано в [следующей статье|CarbonBilling:Добавление диска под статистику].

В случае заполнения раздела */mnt/etc* обратитесь в техподдержку.

Для вывода задач для всех пользователей нужно взять список пользователей в системе из /etc/passwd и сделать для каждого пользователя crontab -u USERNAME -l, то есть:
for user in $(cut -d':' -f1 /etc/passwd); do crontab -u $user -l; done


h1. Примеры решения проблем

h2. Переполнен разделы с логами /mnt/log или папка /var/log

h3. Корневой раздел переполнен журналом авторизации

Проблема встречается на Softrouter и XGE при интеграции с Carbon Reductor: фильтр выгружает списки заблокированных IP-адресов по ssh и каждая авторизация фиксируется в логе /var/log/secure, от этого он достаточно быстро разрастается.
Проверьте файлы /var/log/secure:

/var/log/messages
/var/log/secure
/var/log/spooler
{
sharedscripts

#==Компрессия логов==#
#==
nodelaycompress
compress
#==

postrotate
/bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true
endscript
}{code}

h3. Очень большой объем занимает файл /var/log/messages

Чаще всего данный файл переполняется из-за службы named, используемой в Softrouter, которая отвечает за обработку DNS-запросов.
*Пример №1*
Некорректно указаны настройки проверки сайтов опции dnssec.
{code}
Jun 10 13:56:10 billing_aido_ru named[12258]: error (broken trust chain) resolving 'a.root-servers.net/A/IN': 192.58.128.30#53
Jun 10 13:56:10 billing_aido_ru named[12258]: validating @0x7f7f61d6ff00: sl DNSKEY: bad cache hit (sl/DS)
Jun 10 13:56:10 billing_aido_ru named[12258]: error (broken trust chain) resolving 'sl/ANY/IN': 45.83.41.38#53
{code}
Для решения проблемы требуется проверить настройки службы named по [документации.|xge:DNS-сервер (named)]

*Пример №2*
Абонентский маршрутизатор 10.100.2.151 пересылает запросы к своим внутренним пользователям из локальной сети 192.168.0.*
{code}
Jun 8 12:21:28 localhost named[9405]: client 10.100.2.151#46217: RFC 1918 response from Internet for 194.0.168.192.in-addr.arpa

Если у Вас больше 85%, скорей всего это создаст автозаявку в портале Helpdesk или помешает как-то ещё.

4,0K /mnt/root_space_incident_2020-07-15/dev
4,0K /mnt/root_space_incident_2020-07-15/home
4,0K /mnt/root_space_incident_2020-07-15/media
4,0K /mnt/root_space_incident_2020-07-15/opt
4,0K /mnt/root_space_incident_2020-07-15/proc
4,0K /mnt/root_space_incident_2020-07-15/selinux
4,0K /mnt/root_space_incident_2020-07-15/srv
4,0K /mnt/root_space_incident_2020-07-15/sys
16K /mnt/root_space_incident_2020-07-15/lost+found
36K /mnt/root_space_incident_2020-07-15/mnt
724K /mnt/root_space_incident_2020-07-15/tmp
732K /mnt/root_space_incident_2020-07-15/root
5,9M /mnt/root_space_incident_2020-07-15/bin
18M /mnt/root_space_incident_2020-07-15/sbin
22M /mnt/root_space_incident_2020-07-15/lib64
40M /mnt/root_space_incident_2020-07-15/etc
53M /mnt/root_space_incident_2020-07-15/boot
165M /mnt/root_space_incident_2020-07-15/var

h3. Логи /var/log/secure и /var/log/btmp
Во время работы системы могут расти файлы логов. Периодически они ротируются, но бывают ситуации, когда они растут довольно быстро. Например при попытке несанкционированного доступа растут логи *secure* и *btmp* в каталоге log. Отличие от предыдущего примера в том, что авторизации проходят с разных IP адресов, так же различаются логины. Пример:
{code}
# ll -h /var/log/secure
-rw------- 1 root root 156M Апр 17 18:51 /var/log/secure
# ll -h /var/log/btmp

{code}
{code}
# tail /var/log/secure
{code}
Для решения проблемы нужно ограничить доступ до сервера по [статье|Обзор безопасности].


h3. Слишком много файлов на диске с логами

При работе биллинг отправляет команды на оборудование. При этом лог команд ведётся для каждого абонента в отдельности. При большом количестве абонентов это может привести к заполнению раздела /mnt/log . Так же при диагностике сервера может выводиться сообщение:
{code}
Мало свободных inode
{code}

# Просмотрите размер раздела /mnt/log
{code}
df -h | grep log

272M /app/asr_billing/var/log/abonents
{code}
# Удалите логи старше 30 дней
{warning:title=Используйте команду в точности как написано ниже!}