Обработка логов Netflow.

[Joe]

Как правило, провайдеры выдают полную статистику подключения к сети интернет в таком виде:

Код Выделить Развернуть


01.02.2009 01:30:28 1 217.113.ххх.ххх 0 85.236.yyy.yyy 0 1 36 13 14
01.02.2009 01:30:28 1 85.236.yyy.yyy 0 217.113.ххх.ххх 2048 1 36 14 13
01.02.2009 01:31:28 1 217.113.ххх.ххх 0 85.236.yyy.yyy 0 1 36 13 14
01.02.2009 01:31:28 1 85.236.yyy.yyy 0 217.113.ххх.ххх 2048 1 36 14 13

Сам лог представляет собой либо один длинный файл длинной 1.5КК строк ( в худшем случае), либо 30 файлов длинной до 80К строк. Я убил уже порядочно времени на поиск максимально автоматизированного решения. Хотелось увидеть скрипт или утилиту для FreeBSD, которая хавает логфайл и выдает удобочитаемый отчет. Пока у меня не родилась даже принципиальная схема сего скрипта. По этой причине я сейчас обрабатываю эти логфайлы в экселе, рубя длинные файлы на куски по 68000 строк. Далее создается список, в списке происходит фильтрация по входящим и исходящим адресам с выводом в конце списка суммарного трафика по выбранному адресу (очень удобно, поскольку независимо от длинны таблицы в каждый момент выборки ячейка значения "сумма" всегда находится на одном месте).
Вопросы:
1. Есть ли какие-то для freeBSD, которые создают отчет на основе загруженного в него логфайла?
2. Можно ли в Экселе как то автоматизировать работу со списками по следующему алгоритму:
а) выбираем фильтром направление, которое будет анализироваться (можно выбрать и руками ибо направлений всего два - вход и выход).
б) в анализируемом направлении подставляются по очереди ip адреса
в) автоматически в списке происходит подсчет трафика по направлению до адреса. (это уже есть)
г) результат записывается в соседнем документе или соседнем листе в виде таблицы из двух столбцов (ip адрес; суммарный трафик)

В сущности я не знаю как выполнить только пункт 2б.

[digger]

1. Воспользоваться поиском, например, на sf.net по фразе "netflow analyzer".
2. Написать анализатор самому. Загрузить все в БД, потом нарисовать страничку php+mysq c нужными фильтрами для выборки.