Модуль для подсчета трафика в локальной сети.

• Позволяет разделять трафик на 65535 класов.
• Возможно разделение трафика по IP-адресам или по портам.
• Блокировка клиентов с отрицательным депозитом.
• Авторизация клиентов через Web-интерфейс или по 802.1х
• Club Monitor - упрощёный мониторинг для компьютерного клуба. Выдача карточек доступа к сети. Печать чеков.

Схема построения сети

Схема авторизации

Модуль получает данные о трафике от внешних коллекторов (trafd, ipcad, Cisco Netflow). Получив данные от коллектора, система просматривает таблицу активных сессий (/ Monitoring/ Dialup / VPN/) и для них проводит подсчет трафика в зависимости от тарифного плана клиента. Модуль использует тарифные планы, описанные в модуле Dv (Dialup/VPN). Если данные о трафике не принадлежат ни одной из активных сессий, то они складываются в файл /usr/abills/abills2/var/log/ipn/unknown_ip.log при включённой опции UNKNOWN_IP_LOG.
Для получения данных и их подсчёта и складывания в базу используются следующие программы:

• trafdstats - для получения данных от trafd и последующей их обработкой traffic2sql
• traffic2sql - для получения данных от других коллекторов (Ipcad, flowtools).

Система периодически запускает их из cron.

Авторизация пользователей: При открытии страницы браузером пользователи автоматически попадают на страницу авторизации и только после успешной авторизации могут пользоваться интернетом.

(В качестве примера используется машина под управлением FreeBSD)

# cd /usr/abills/libexec/
# ln -s ../Abills/modules/Ipn/trafdstats trafdstats
# ln -s ../Abills/modules/Ipn/traffic2sql traffic2sql

Создать таблицы в базе.

#  mysql --default-character-set=utf8 -D abills < db/Ipn.sql

abills/libexec/config.pl

@MODULES = (
          'Ipn'
          );

Опции:

Для ОС FreeBSD обязательно включите следующие опции в ядро:

options         IPFIREWALL
options         IPFIREWALL_DEFAULT_TO_ACCEPT
options         IPFIREWALL_FORWARD
options         DUMMYNET
options         IPFIREWALL_VERBOSE
options         IPDIVERT

/ System configuration/ NAS/

/ System configuration/ NAS/ IP POOLs/
Нужно внести пул адресов, с которых можно авторизоваться.

Модуль использует тарифную логику модуля Dv (Internet).

• Заводим классы трафика / System configuration/ Internet/ Traffic Calsses. Глобальный класс трафика должен иметь номер 0.
• Заводим тарифные планы в / System configuration/ Internet/ Tarif plans/ .
• В тарифном плане выбираем Intervals. Заводим интервал времени. После заведения интервала времени заводим тарификацию трафика. В тарификации трафика обязательно указывать сети в противном случае модуль не будет вести подсчёт трафика.

/ Customers/ Logins/ Information/ Services/ IP Net/

Программы сбора статистики для последующей ее обработки биллингом

http://bpft4.sourceforge.net/ Коллектор трафика для FreeBSD

# cd /usr/ports/net-mgmt/trafd/
# make
# make install

/etc/rc.conf

trafd_enable="YES"
trafd_ifaces="rl0"

/etc/crontab

*/5 * * * * root /usr/abills/libexec/trafdstats 1 rl0

http://www.splintered.net/sw/flow-tools/
Пакет утилит для работы с NetFlow потоками отправляемыми маршрутизаторами Cisco или Juniper.

# cd /usr/ports/net-mgmt/flow-tools
# make
# make install

Запускаем

flow-capture -S 5 -n 287 -N 0  -d 5 -w /usr/abills/var/log/ipn/  0/0/9996

Параметры:
-S 5 - каждые 5 минут коллектор будет скидывать статистику о своей работе в лог. Самое интересное там - это количество потерянных посылок, которые не дошли до коллектора

-n 287 - количество ротаций файлов с записями о соединениях в сутки. 287 означает создание нового файла с данными netflow каждые 5 минут.

-N 0 - так называемый nesting_level; определяет структуру директорий которая, будет создаваться при записи файлов с соединениями, 0 - файл с данными netflow в каталоге.

-d 5 - Уровень отладки. Используется только для теста или выявления аномалий. Можно не указывать.

-w /usr/abills/var/log/ipn/ - Каталог, в котором сохраняются файлы с данными netflow.

0/0/9995 - по порядку: адрес, на котором коллектор будет принимать netflow, адрес с которого коллектор будет принимать netflow и порт, на который коллектор будет принимать netflow. Если первый заменить на 0, то коллектор будет принимать на любой адрес из доступных интерфейсов, если второй заменить на 0, то коллектор будет принимать netflow данные с любых адресов. Этого делать не рекомендуется по одной простой причине: netflow не имеет никаких средств авторизации, поэтому если адрес, на котором коллектор принимает netflow, доступен кому-то еще, то злоумышленник может послать ложные данные. Учитывая то, что данные netflow могут использоваться как для расчетов, так и выявления сетевых проблем и аномалий, лучше обезопаситься и задать все жестко.
Кроме того, можно запустить несколько коллекторов на разных адресах и/или портах, так же один колектор может работать с несколькими роутерами одновременно и различать их по полю engine-id.

Автоматический старт при загрузке в FreeBSD:

# chown flowtools /usr/abills/var/log/ipn/

/etc/rc.conf

flow_capture_enable="YES"
flow_capture_datadir="/usr/abills/var/log/ipn/" 
flow_capture_port="9996"
flow_capture_flags="-S 5 -n 287 -N 0 -d 5"

Иногда возникают ситуации когда нужно запустить несколько процессов flow_capture для получения flow потоков от разных серверов доступа. /etc/rc.conf

flow_capture_enable="YES"
flow_capture_profiles="r1 r2"
# описание первого демона на порту 9997
flow_capture_r2_datadir="/usr/abills/var/log/ipn/"
flow_capture_r2_port="9997"
flow_capture_r2_flags="-S 5 -n 1400 -N 0 -d 5"
# описание второго демона 9996
flow_capture_r1_datadir="/usr/abills/var/log/ipn2/"
flow_capture_r1_port="9996"
flow_capture_r1_flags="-S 5 -n 287 -N 0 -d 5"

http://sourceforge.net/projects/ipcad/ Демон, собирающий статистику по трафику на компьютере под управлением Linux или FreeBSD, с возможностью экспортирования её по NetFlow.

# cd /usr/ports/net-mgmt/ipcad/
# make
# make install

Правим /usr/local/etc/ipcad.conf

# Интерфейс для сбора статистики
interface fxp0;

# детализация по портам 
#capture-ports enable;

# Агрегировать порты, уменьшает размер базы детализации 
#aggregate 1024-65535    into 65535;     /* Aggregate wildly */
#aggregate 3128-3128     into 3128;      /* Protect these ports */
#aggregate 150-1023      into 1023;      /* General low range */

# Експортирование статистики на адрес 127.0.0.1 порт 9996
netflow export destination 127.0.0.1 9996;
netflow export version 5;       # NetFlow export format version {1|5}
netflow timeout active 30;      # Timeout when flow is active, in minutes
netflow timeout inactive 15;    # Flow inactivity timeout, in seconds
netflow engine-type 73;         # v5 engine_type; 73='I' for "IPCAD"
netflow engine-id 1;            # Useful to differentiate multiple ipcads.

dumpfile = ipcad.dump;
chroot = /var/ipcad/
pidfile = ipcad.pid;  

rsh enable at 127.0.0.1;
memory_limit = 16m;

Запуск скрипта обработки статистики
/etc/crontab

  */5 * * * * root /usr/abills/libexec/traffic2sql 8 flowdir=/usr/abills/var/log/ipn/

Если у Вас несколько NAS-серверов (коллекторов траффика), то для каждого нужно создать отдельную папку для логов.

(aka kir)

no ip rcmd domain-lookup
ip rcmd rsh-enable
ip rcmd remote-host firewall 192.168.0.1  root enable
!
ip flow-export source FastEthernet0/1
ip flow-export version 5
ip flow-export destination 192.168.0.1 9996
!
access-list 100 permit 172.19.80.0 0.0.0.255 192.168.0.1
- Разрешаем прохождение пакетов на сервер статистики
access-list 100 dynamic ABILS permit IP any any
- Динамические правила будут добавляться тут
access-list 100 deny ip any any
Если правила нет, доступ пользователю по умолчанию закрыт!
!
interface FastEthernet0/1.21
 ip address 192.168.0.1 255.255.255.0
 ip access-group 100 in
Не забываем привязать группу правил к интерфейсу!
!

192.168.0.1 - Адрес коллектора для потока Netflow (flow-tools)

Для блокировки и открытия доступа можно использовать скрипт

# /usr/abills/misc/cisco_access
   ACTION - Allow/Deny
   IP     - Client IP
   debug  - Make debug log

/usr/local/etc/sudoers

www   ALL = NOPASSWD: /usr/abills/misc/cisco_access

В качестве шейпера удобно использовать /usr/abills/libexec/linkupdown.

fxp0 - Интерфейс к которому подключаются пользователи.

config.pl

$conf{IPN_FW_START_RULE}="/usr/local/bin/sudo /usr/abills/libexec/linkupdown ipn up getif %LOGIN %IP". ' > /dev/null 2>&1';
$conf{IPN_FW_STOP_RULE}="/usr/local/bin/sudo /usr/abills/libexec/linkupdown ipn down getif %LOGIN %IP". ' > /dev/null 2>&1';

При использовании шейпера ipfw система по умолчанию использует правила с номера 20000 по 40000. Для изменения номера начального правила можно воспользоваться опцией $conf{IPN_FW_FIRST_RULE}.

/usr/local/etc/sudoers

#Allow ABillS shapper
www   ALL = NOPASSWD: /usr/abills/libexec/linkupdown

Скрипт которые подготавливает интерфейс для использования шейпера. /etc/rc.d/init.d/shaper.sh

#!/bin/sh
# При использовании нескольких интерфейсов указываем их через пробел
INTERFACES='eth0 eth2';
TC="/sbin/tc"

for INTERFACE in ${INTERFACES}; do
  TCQA="${TC} qdisc add dev ${INTERFACE}"
  TCQD="${TC} qdisc del dev ${INTERFACE}"

  $TCQD root &>/dev/null
  $TCQD ingress &>/dev/null

  $TCQA root handle 1: htb
  $TCQA handle ffff: ingress

  echo "Shaper UP ${INTERFACE}"
done

eth0,eth1 - Интерфейс к которому подключаются пользователи.

config.pl

$conf{IPN_FW_START_RULE}="/usr/bin/sudo /usr/abills/libexec/linkupdown ipn up eth0 %LOGIN %IP". ' > /dev/null 2>&1';
$conf{IPN_FW_STOP_RULE}="/usr/bin/sudo /usr/abills/libexec/linkupdown ipn down eth0 %LOGIN %IP". ' > /dev/null 2>&1';

/etc/sudoers

#Allow ABillS shapper
apache   ALL = NOPASSWD: /usr/abills/libexec/linkupdown

Настройка sudo, для запуска правил фаервола от имени пользователя, под которым работает WEB сервер.

# cd /usr/ports/security/sudo

# make
# make install

/usr/local/etc/sudoers

Для FreeBSD:

#Allow ipfw operation without password for webserver user
www   ALL = NOPASSWD: /sbin/ipfw

Для линукса:

#Allow iptables operation without password for webserver user
www   ALL = NOPASSWD: /sbin/iptables

Управление доступом, шейпером и переинициализация сессий при перезагрузке сервера:

FreeBSD
/usr/local/etc/rc.d/ipn_restart

#!/bin/sh

# Add Ipn NAS ID to /etc/rc.conf
# abills_ipn_nas_id="" ABillS NAS Ids
#
# abills_ipn_if="" Shapper interface
#
# abills_ipn_allow_ip="" Allow unauth ip

# PROVIDE: ipn_up
# REQUIRE: NETWORKING vlan_up abills_shaper
# BEFORE: mpd
# KEYWORD: shutdown

. /etc/rc.subr
name="ipn_up"
rcvar=`set_rcvar`
load_rc_config ${name}

echo "Ipn Sessions Restart";

: ${abills_ipn_nas_id=""}
: ${abills_ipn_if=""}
: ${abills_ipn_allow_ip=""}

if [ x${abills_ipn_nas_id} = x ]; then
  exit;
fi;

# Запуска шейпера Dummynet  
if [ w = w`grep ng_car /usr/abills/libexec/config.pl` ]; then
   /usr/abills/libexec/billd checkspeed NAS_IDS=${abills_ipn_nas_id} RECONFIGURE=1
fi;

if [ w${abills_ipn_if} != w ]; then
  IFACE=" via ${abills_ipn_if}"
fi;

ipfw=/sbin/ipfw

#Перенаправить все запросы неавторизированых клиентов на авторизатор
${ipfw} add 64000 fwd 127.0.0.1,80 tcp from any to any dst-port 80 ${IFACE}

# Разрешить ping к серверу доступа
${ipfw} add 64100 allow icmp from any to me  ${IFACE}
${ipfw} add 64101 allow icmp from me to any  ${IFACE}

if [ x${abills_ipn_allow_ip} != x ]; then
  # Доступ к странице авторизации  
  ${ipfw} add 10 allow tcp from any to ${abills_ipn_allow_ip} 9443  ${IFACE}
  ${ipfw} add 11 allow tcp from ${abills_ipn_allow_ip} 9443 to any  ${IFACE}
  ${ipfw} add 12 allow tcp from any to ${abills_ipn_allow_ip} 80  ${IFACE}
  ${ipfw} add 13 allow tcp from ${abills_ipn_allow_ip} 80 to any  ${IFACE}

  # Разрешить ДНС запросы к серверу
  ${ipfw} add 64400 allow udp from any to ${abills_ipn_allow_ip} 53
  ${ipfw} add 64450 allow udp from ${abills_ipn_allow_ip} 53 to any
fi;  

# Закрыть доступ неактивизированым хостам
${ipfw} add 65000 deny ip from not table\(10\) to any ${IFACE} in

Обязательно добавьте в

параметры /etc/rc.conf

# Доступ к странице авторизации
iptables -t nat -A PREROUTING -s 192.168.0.0/24 -p tcp --dport 80 -j REDIRECT --to-ports 80
iptables -t nat -A PREROUTING -s 192.168.0.0/24 -p tcp --dport 443 -j REDIRECT --to-ports 80

# Закрыть доступ неактивизированым хостам
iptables -A FORWARD -j DROP

Управление удалённым сервером доступа.
Задача: открывать доступ пользователям на удалённом NAS.

При выполнении правил шейпера и фильтра в переменные среды передаются дополнительные параметры:

На сервере билинга

1. Создать правила открытия доступа

abills/libexec/config.pl

$conf{IPN_FW_START_RULE}='/usr/bin/ssh -o StrictHostKeyChecking=no -i /usr/abills/Certs/id_dsa.$NAS_MNG_USER $NAS_MNG_USER@$NAS_IP_ADDRESS '.
'"/usr/local/bin/sudo /usr/abills/libexec/linkupdown ipn up getif  %LOGIN %IP %DEBUG > /dev/null 2>&1"';

$conf{IPN_FW_STOP_RULE}='/usr/bin/ssh -o StrictHostKeyChecking=no -i /usr/abills/Certs/id_dsa.$NAS_MNG_USER $NAS_MNG_USER@$NAS_IP_ADDRESS '.
'"/usr/local/bin/sudo /usr/abills/libexec/linkupdown ipn down getif %LOGIN %IP %DEBUG > /dev/null 2>&1"';

1. Создать SSH ключ для выполнения команд на удалённом сервере. Установить право чтения ключа для пользователя под которым работает Веб сервер.

   # abills/misc/certs_create.sh ssh abills_admin
   # chown www abills/Certs/id_dsa.abills_admin

На удалённом сервере

1. Создать пользователя abills_admin на удалённом сервере.
2. Скопировать созданный публичный ключ abills/Certs/id_dsa.abills_admin.pub в /home/abills_admin/.ssh/authorized_keys на удалённом сервере.
3. Сделать копию биллинга на удалённом сервере
4. Создать правила для выполнения команд с правами суперпользователя на удалённом сервере

/usr/local/etc/sudoers

#Allow ABillS shapper
abills_admin   ALL = NOPASSWD: /usr/abills/libexec/linkupdown
abills_admin   ALL = NOPASSWD: /sbin/ipfw

В конфиг веб-сервера Apache внесите следующие параметры

ErrorDocument 404 “/abills/”
DirectoryIndex "/abills" index.cgi

Упрощёный интерфейс управления траффиком компьютерного клуба.
Для включения.
config.pl

$conf{IPN_CLUBMONITOR}=1;

ABillS IPN Traffic collector
Анализатор трафика для модуля IPN

Параметры:

traffic2sql [NAS_IDS] [Options]

Опции:

В начале каждого месяца происходит автоматическая переинициализация активных сессий клиентов.

Для ручного режима переинициализации сессий используется команда

# /usr/abills/libexec/periodic monthly MODULES=Ipn SRESTART=1 NO_ADM_REPORT=1 NAS_IDS=1

Параметры:

Данная команда автоматически включает всех пользователей с положительным депозитом или правами получать сервис. Активируются только те пользователи у которых прописан IP адрес сервиса Internet. Также обязательно на IPN серверах доступа прописать пулы адресов для таких пользователей чтобы система знала на каких серверах доступа активировать абонентов.

# /usr/abills/libexec/periodic monthly MODULES=Ipn LOGON_ACTIVE_USERS

Параметры:

config.pl

Система разрешает пользоваться интернетом только пользователей у которых активизированы сессии. Активизация сесий пользователей может происходить двумя путями: активизация сессии администратором, активизация сессии из пользовательского кабинета.

• Активизация сессии администратором

Включение сессии.

Таблица внизу отображает активные сессии пользователя

• Активизация сессии пользователям. При активации сессии система автоматически определяет принадлежность пользователя к серверу доступа исходя из IP адреса клиента и пула прикреплённому серверу доступа.