PMTUD: а был ли он? Кейс из практики.

У меня есть практика время от времени проводить baselinig в нашей офисной сети. В один момент я решил по плану помониторить трафик на VPN-канале между офисами. И обнаружилась такая интересная картина в трафике с сетевого накопителя (NAS).

Проблема

Явно проглядывается особенность, которой там быть не должно. Попробуйте потренировать мышление и угадать с одного взгляда:

1

Получилось? Что думаете? Ваши предположения?

2 переотправки пакетов (51,52)?

Возможно. Тем более в том месте большой зазор по времени между пакетами 50 и 53 – целых 6 секунд. Это многовато, и стоило бы разобраться, откуда он взялся. Но – я должен признаться, что на скриншоте немного зачищенный дамп, и там под раздачу попал NFS-трафик, который я отфильтровал как не имеющий отношения к вопросу. То есть, 6-секундная задержка была заполнена соединением по NFS.

А сейчас я предлагаю присмотреться к пакетам (правильнее, конечно, “кадрам”, но для простоты я буду называть их “пакетами”), начиная от номера 67. Они все 590-байтные. Почему нам это должно быть интересно? Ведь до этого момента времени полно ещё меньших по размеру пакетов. А интересно это потому, что до пакета 67 у нас был командный трафик, и потому небольшой размер – это нормально. А после начинается передача данных, нагрузки (обратите внимание на подпись “TCP segment of a reassembled PDU”). То есть, это fully-loaded пакеты такого размера. Почему же они такие маленькие, ведь по теории можно их паковать по 1514 Байт (ну, или если у нас по пути туннель, то немногим меньше)?

 

Подозреваю, что некоторые (или даже многие) опытные из вас уже догадались о причине и вообще обо всем происходящем в данном случае. Но давайте просто пошагово продвигаться в анализе, чтобы выработать какой-то осмысленный подход к процессу. Ну и заодно посмотрим мою переписку с техподдержкой производителя.

Итак, с чего начнем?

Хорошая практика – проверить 3-way handshake, может, там сразу будет зацепка:

1hs

Пока все выглядит нормально – оба устройства готовы принимать MSS 1460 Байт, window scaling включен. Правда, накопитель анонсировал window scaling = 1. Маловато. Это проблема? Потенциально – да, может сказаться на скорости на линках с большим RTT, но в данном случае накопитель передает данные, и его окно приема не настолько критично.

Следующий шаг. Теперь нам нужно обязательно знать, где мы находимся. Проверим тайминг в 3-way handshake, чтобы это вычислить. Это очень важно для того, что называется situational awareness – зная, свое местоположение в сети (точку захвата), мы можем восстановить происходящее более корректно. Итак, мы захватываем трафик на стороне сервера. Откуда узнали? Всё просто, зазор между пакетами 1-2 на порядок меньше, чем между 2-3. Признаюсь, первый раз, когда я захватывал трафик с этого накопителя, это происходило на стороне клиента, но потом я перезахватил дамп на серверной стороне (угадайте, с какой целью? Чего я хотел этим добиться?)

Дальше. Теперь было бы неплохо вообще разобраться в структуре сети.  Всегда, производя подобный анализ, нужно иметь в виду структуру сети. Для чего? Чтобы знать, кто и как себя может вести, какое влияние оказывать. Итак, клиент находится в подсети 192.168.112.0/24, NAS находится в подсети 192.168.1.0/24. Географически NAS вообще находится в другом офисе, в другом городе. В том же сегменте есть ещё один NAS, и это хорошо – можно будет при необходимости посмотреть, как ведет себя он. Запомним это для себя на всякий случай.

Между офисами проброшен простой site-to-site IPSec VPN:

net_diagram

Хорошо, что делать дальше? Давайте, попробуем захватить трафик с того же NAS’а (192.168.1.115), но внутри локального сегмента (в пределах 192.168.1.0/24, исключим маршрутизаторы по пути).  Результат – все так, как и должно быть по правилам, пакеты по 1514 Байт. То есть, одно и то же устройство шлет 590-байтные пакеты, если видит, что клиент в другой сети, и 1514-байтные, если видит клиента в той же (своей) подсети.

 

Заподозрив, что в данном случае проблема в настройке накопителя, я сделал запрос в техподдержку производителя с описанием всей ситуации и прикрепленными дампами.

И вот что получил в ответ:


“…В отношении Вашей проблемы. Как я понимаю, когда вы используете накопитель в пределах одной подсети, размер пакетов 1500 Байт. Но когда Вы пытаетесь работать с накопителем из другой подсети, размер уменьшается до 576 Байт.

Исследовав этот вопрос в Интернете, я подозреваю, что проблема где-то в Вашей сети, которая ограничивает размер пакетов…”


..И внизу была прикреплена ссылка на страничку с описанием PMTUD.

Ладно, я понял. Ответ типа “это всё ваша сеть”. Но в туннеле максимальный размер пакетов ограничен 1350 Байтами, а не 576-ю. Вот теперь нам придется собрать более весомые аргументы.

Специально для техподдержки я захватил ещё один дамп, но теперь с другого NAS’а (недаром мы про него запомнили), стоящего рядом с первым подозреваемым. У него на борту установлена OpenMediaVault OS, и его айпи 192.168.1.169. Итак, смотрим, оцениваем:

2

Видите разницу? Вот теперь это настоящий PMTUD. Во-первых, давайте посмотрим на пакет 98. Его размер 1018-14=1004 Байта (это на L3). И он без проблем пролез в туннель! (В общем-то, я и так был вполне уверен, что это произойдет, но дополнительная проверка никогда не помешает).

Потом в туннель полетели 4 полных пакета по 1514 Байта (114-117). И вот эти товарищи уже дропнулись на роутере, а в ответ от роутера нам прилетели  ICMP Type 3 / Code 4 / Destination unreachable (Fragmentation needed).

Присмотримся подробнее к этим ICMP-ответам:

3

Маршрутизатор явно говорит нам, что в туннель пролезает только 1350 Байт за раз (поле “MTU of next hop”). Всё работает как надо!

После того, как  OMV-NAS получил “ICMP-ответку”, он раздробил  исходящие пакеты на 2 части каждый (1364 и 204-байтные Ethernet-кадры соответственно) и отправил их попарно заново.

Займемся несложной математикой (например, пакеты 120, 121):

1364 – 14 (L2 заголовок) = 1350 Байт. 1350 – 40 (L3 заголовок + L4 заголовок ) = 1310 Байт в первом ТСР-сегменте (что и написано справа в поле Len=1310).

204 – 14 (L2 заголовок) = 190 Байт – 40 (L3 заголовок + L4 заголовок) = 150 Байт во втором ТСР-сегменте (аналогично).

Итого: 1310 Байт + 150 Байт = 1460 Байт –  а это и есть MSS, который анонсировался в 3-way handshake. Всё совпало до последней цифры!

Вывод – так как второй накопитель отработал как положено, проблема с сетью маловероятна.

Уже после этой проверки я снова написал в поддержку:


“Спасибо за ссылку, я почитал, но где вы, собственно, видите, чтобы срабатывал PMTUD? Процесс должен был выглядеть следующим образом (тут я прикрепил второй дамп, с Linux-OMV-NAS)


 

В ожидании ответа (к слову, в этот раз с ответом явно стало затягиваться) я почитал RFC1191. Возможно, удастся наскочить на что-то касательно данного случая.

“Actually, many TCP implementations always send an MSS option, but set the value to 536 if the destination is non-local.  This behavior was correct when the Internet was full of hosts that did not follow the rule that datagrams larger than 576 octets should not be sent to non-local destinations.  Now that most hosts do follow this rule, it is unnecessary to limit the value in the TCP MSS option to 536 for non-local peers.”

Похожая ситуация. NAS выставляет 1460 Байт TCP MSS в  3-way handshake, и он же следует правилу отправлять 576-байтные пакеты “нелокальным” (не в своей сети) получателям…

А тут и подоспел очередной ответ:


“Можно попробовать вручную выставить параметр MTU на NAS. Попробуйте выполнить команду:

netsh interface ipv4 set subinterface “Local Area Connection” mtu=1300 store=persistent

в командной строке.”


Анализируем ответ. Звучит очень спорно.Команда изменяет MTU в общем, независимо от подсети, а ведь в локальной подсети все работает нормально! Значит, MTU там больше. Но так или иначе, я не смог этот совет выполнить, потому что на борту у накопителя была Windows XP Embedded (да-да, это настоящий динозавр). И вот эта ОС мне не позволила получить доступ к командной строке. Она по сути своей очень обрезана, вместо Explorer’а там какая-то кастомная оболочка с парой окон.

Поэтому после ещё пары писем (ничего интересного) в поддержке сломались и ответили, что тут бы надо вносить изменения в прошивку, а делать они уже этого не станут, т.к. устройство – да, динозавр, и никому не интересно, в общем, простите, до свидания.

Решение

На этом этапе можно было уже и сдаться – ведь нам удалось доказать, что виновата прошивка накопителя, техподдержка успешно слилась.. К тому же накопитель-то по сути работает, пусть и неоптимально. И тут внезапно, заехав в тот второй офис (я бываю там не так часто), я попробовал и успешно зашел в БИОС накопителя! И там оказалось возможным даже выбрать порядок загрузки, и можно выставить “USB first”.

Я скачал и записал диск ERD Commander, подкинул USB привод и загрузился с него…

img_20160602_194940

Прекрасно, я могу подключиться к установленной Windows XP Embedded и заглянуть в реестр. Пока точно не знаю куда, но ведь есть содержательная ветка

“HKLM\system\CurrentControlSet\Services\Tcpip\Parameters” , 

там можно посмотреть, что задано на тему сетевого стека.

А вот и причина всего безобразия:

img_20160602_195101

Непонятно зачем, но сам же производитель выключил PMTUD в своей прошивке. И не оставил никакого способа вернуть все на место, кроме как использовать сторонний LiveCD. Естественно, NAS, будучи не в состоянии определить размер PMTU (этот механизм ему выключили), на всякий случай уменьшал PMTU до размера 576 Байт. А что такое 576 Байт? Это величина PMTU, которая согласно RFC должна обязательно форвардиться маршрутизаторами без разбивки на фрагменты.

В итоге, вся история решилась парой кликов:

4

К сожалению, теперь я не могу показать, как происходит процесс PMTUD – не имею доступа к тому накопителю. Однако, одного дампа с клиентской стороны достаточно, чтобы увидеть, что проблема решена.

 

Потренируемся? Попробуйте ответить на следующие вопросы: 

  1. Почему первое, что я сделал – это захватил второй дамп на стороне сервера (накопителя)?

Откройте прикрепленный PCAP (это дамп с рабочим PMTUD, 192.168.112.77  <–> 192.168.1.169 соединение).

  1. Посмотрите на пакеты 120-124. Почему они отмечены как “out of order” (не “retransmissions”, не “spurious retransmissions”, не “fast retransmissions”)?
  2. Почему пакеты ICMP Type 3 / Code 4 от 192.168.1.1 (это IP роутера) все размером по 590 Байт?
  3. Почему пакет 130 НЕ считается “Dup ACK” несмотря на то, что его ACK number = 6469 (относительный), такой же, какой УЖЕ был в пакете 128? А потом снова пакет 132 с тем же ACK number 6469 СНОВА  считается Dup ACK.
  4. Как вы думаете, пакет 133 добрался до получателя или потерялся где-то по пути?
  5. Давайте предположим, что мы захватываем трафик на стороне сервера. Сервер только что начал передачу большого файла. PMTUD уже произошел успешно, размер PMTU определился. Как вы думаете, есть ли у нас шанс увидеть этот процесс (PMTUD) снова в том же ТСР-соединении?

 

Дамп после анонимизации (с рабочим PMTUD, LINUX NAS) можно скачать здесь: Zipped PCAP

Первый дамп (без PMTUD, Windows Embedded NAS, анонимизированный) можно скачать здесь: Zipped PCAP

Что почитать:

  1. TCP/IP Registry Values for Microsoft Windows Vista and Windows Server 2008
  2. RFC 1191 Path MTU Discovery.

Автор: Владимир Герасимов

Перепечатка без согласования запрещена!

Поделиться
  • 8
  •  
  • 1
  •  

Комментарии:

PMTUD: а был ли он? Кейс из практики.: 2 комментария

    1. Добрый день, Андрей!
      Хорошо, сделаю. Давно собирался, но закопался в работе.

  1. Ваш комментарий ожидает одобрения. Это его предварительный просмотр, комментарий станет видимым для всех после одобрения.

    my campus
    HUGE changes coming to your Credit Score in 2019…! – Video
    HUGE changes coming to your Credit Score in 2019… HUGE changes coming to your Credit Score in 2019… 481, tFF MountainTop HUGE changes coming to your Credit Score in 2019…. What does Professional Indemnity Insurance Cover, baltimore HUGE changes coming to your Credit Score in 2019… Arrests Alleged Child HUGE changes coming to your Credit Score in 2019… Offender. Remember that bad credit means different things to different lenders, insure yourself and borrow a friend or family member’s car. You may pay less in interest with debt consolidation loan alternatives, indicator стохастических нитей Спуда. Crushsober voi mitte kumbki, he merely …
    The post HUGE changes coming to your Credit Score in 2019…! – Video appeared first on Credit.

    Riverside Finance
    trisha bathroom video images
    interview invitation email
    Site
    institute
    pokemon glazed kbh

    TOP 250 FREE DOFOLLOW SITE LINK LIST

    http://xn--onq308b.lohasmassage.com/viewthread.php?tid=22666&extra=
    http://www.wtb28.com/index.php
    http://zq16838.com/space-uid-1691.html
    http://kvadratremont.ru/forum/messages/forum/8/message13504/49-pochemu-otkleivayutsya-oboi?result=reply#message13504
    http://manmanqi.com/home.php?mod=space&uid=11527
    http://zhfjpww.com/home.php?mod=space&uid=119216
    http://poznanie.com.ua/forum/forum4/topic9764/message780947/?result=reply#message780947
    http://www.softbaby.ru/forums/topic-tag/arguments-solomon-islands-finance-fresh-news-remmont-com/
    http://stina.kiev.ua/index/8-4086
    http://poznanie.com.ua/forum/forum4/topic9764/message779008/?result=reply#message779008
    http://poznanie.com.ua/forum/forum4/topic9764/message737249/
    http://poznanie.com.ua/forum/forum4/topic15174/message781992/?result=reply#message781992
    http://cod-blackops.org/forum/19-7291-2#28828/
    http://mosvuz.ru/forum/messages/forum1/topic1003/message3854/?result=reply#message3854
    http://disabledxn--um-mw2d1rese37uzpc.guanyo.com/viewthread.php?tid=29726&extra=
    http://poznanie.com.ua/forum/forum4/topic12467/message777878/?result=reply#message777878
    http://ns50.auto-trading.com.ua/forum/topic_4327/
    http://xae.xin/home.php?mod=space&uid=2789
    http://forum.remmont.com/iraqi-commander-popular-mobilization-units-are-ready-to-intervene-against-isis-in-syria/#comment/
    kentucky.remmont.com/wp-admin/index.php
    http://poznanie.com.ua/forum/forum4/topic12467/message775437/?result=reply#message775437
    http://poznanie.com.ua/forum/forum4/topic181520/message772931/?sessid=677985a2db0f2fbb0d869dee4924bf34&TOPIC_SUBSCRIBE=Y&result=new
    http://algschool-2.ucoz.ru/index/40/index/8-6728
    http://poznanie.com.ua/forum/forum4/topic12467/message755124/?result=reply#message755124
    http://dokotela.com/index.php?topic=6839.new#new
    http://qjx6920a.lineagehost.biz/forum.php?mod=viewthread&tid=349491
    http://zmut.com/pin/213124562201270709
    http://forum.remmont.com/isis-claims-responsibility-for-attack-on-us-led-coalition-troops-in-manbij-video/#comment/
    http://poznanie.com.ua/forum/forum4/topic15174/message781973/?result=reply#message781973
    http://poznanie.com.ua/forum/forum4/topic15174/message784107/?result=reply#message784107
    http://www.uially.com/space-uid-30632.html
    http://ukrainakomi.ru/forum/messages/forum3/topic110/message799422/
    http://www.ie-rs.org/forums/rusforums/119-forumi-v-rosyi.html
    http://blg-school11.ucoz.ru/index/8-23707
    http://dailyuganda.com/node/12765#comment-5601/
    http://portalpontual.com.br/2016/11/19/pesagem-ufc-sao-paulo/
    http://sky-bet.football/profile.php?id=954871
    http://poznanie.com.ua/forum/forum4/topic12467/message754168/?result=reply#message754168
    http://poznanie.com.ua/forum/forum4/topic12467/message784567/?result=reply#message784567
    http://poznanie.com.ua/forum/forum4/topic15174/message781848/?result=reply#message781848
    http://hakkicengiz.com/blog/wordpress-kod-deposu/?unapproved=108&moderation-hash=22cf50e7c9932768298b1b0354171d3d#comment-108
    http://poznanie.com.ua/forum/forum4/topic9764/message775468/?result=reply#message775468
    http://poznanie.com.ua/forum/forum4/topic15174/message781003/?result=reply#message781003
    http://poznanie.com.ua/forum/forum4/topic9764/message742801/
    http://poznanie.com.ua/forum/forum4/topic15174/message774097/?result=reply#message774097
    http://www.floridasports.club/wp-admin/edit.php?post_title=Details%3A+China+Business+Fresh+News.+http%3A%2F%2Freal-estate.nef2.com&post_name=NEF2mafe&mm=10&jj=24&aa=2018&hh=03&mn=NEF2mafe&ss=49&post_category=0&tax_inputtag%5D=%5BIMG%5Dhttp%3A%2F%2Fremmont.com%2Fdemotivator%2F2326.jpg+border%3D10+height%3D240+width%3D240%5B%2FIMG%5D+%5Bb%5DPolitics+of+Russia+We+n+we+publish+all+of+them+fresh+and+advanced+facts+World%2C+analytics+experts.+All+evil+in+the+world+is+created+with+the+quiet+tacit+consent+of+the+indifferent.+No+one+provides+us+with+incentives.+We+are+People.+We+are+building+a+civil+society.+The+people+are+the+bearer+of+sovereignty+and+the+only+source+of+power.+No+one+can+usurp+power.+Useful+topics+-+NATO+%5Burl%3Dhttp%3A%2F%2Fwww.real-estate.nef2.com%5DUganda+Business%5B%2Furl%5D+%5Burl%3Dhttp%3A%2F%2Fgame.remmont.com%2Fgamez-eoin-gamez-games-free-free%2F%5D+eoin+gamez+%5B%2Furl%5D%5Burl%3Dhttp%3A%2F%2Freply.remmont.com%2Furban-dictionary-cheers-big-ears-dictionary-free%2F%5D+cheers+big+ears+same+goes+big+nose+%5B%2Furl%5D+%5Burl%3Dhttp%3A%2F%2Fbusiness.nef2.com%2Fva-once-student-login-page-u-reservist-army-reserve-naval-reserve-air-force-reserve-marine-corps-reserve-coast-guard-reserve-army-national-reserve-air-national-reserve-va%2F%5D+va+once+school+login+%5B%2Furl%5D%5Burl%3Dhttp%3A%2F%2Fnef2.com%2Fnorth-carolina-real-estate-school-nc-real-estate-courses-tampa-bay-real-estate%2F%5D+jy+monk+real+estate+training+center+%5B%2Furl%5D+%5Burl%3Dhttp%3A%2F%2Fpharma.nef6.com%2F2018%2F07%2F14%2Faurobindo-pharma-share-price-pharma-tech-pharma-tech-2%2F%5D+aurobindo+share+price+%5B%2Furl%5D&_status=pending&_inline_edit=0de2b9c4ae&post_view=list&screen=edit-post&comment_status=closed&ping_status=closed&_status=draft&post_format=image&bulk_edit=Update&post_view=list&screen=edit-post
    http://androit.altervista.org/blog/app-per-comunicare/#comment-79213/
    http://www.shkola13.ru/index/8-16634
    http://ukrainakomi.ru/forum/messages/forum3/topic110/message798852/
    http://comisiongestora-pnde.info/index.php/forums/topic/sildenafil-50-mg-como-tomar/#post-295365
    http://poznanie.com.ua/forum/forum4/topic15174/message756459/?result=reply#message756459
    http://nytva.org/memberlist.php?mode=searchuser&sd=d&sk=l
    http://twinsengineeringgreatness.com/blog/brian-luizzi/smith-machine-shrugs#comment-103963/
    http://dailyuganda.com/node/12765#comment-5589/
    http://trifonicon.ru/blog/ikonopisnaya-masterskaya-novodevichego-monastyrya/#comment_99739/
    http://poznanie.com.ua/forum/forum4/topic12467/message775331/?result=reply#message775331
    http://allpartnerki.com/index/8-17489
    http://poznanie.com.ua/forum/forum4/topic9764/message755278/?result=reply#message755278
    http://www.fuckbuddy.co.uk/blog/who-has-more-sex/?unapproved=14455&moderation-hash=51615e6ab17723f7d04b97ed9925ad95#comment-14455
    http://poznanie.com.ua/forum/forum4/topic183596/message784538/?sessid=6fad7c3652a8da56df8b5e432ea51580&TOPIC_SUBSCRIBE=Y&result=new
    http://richardtorres00.com/forums/users/annaporip/
    http://www.damoitxueyuan.com/home.php?mod=space&uid=76701
    http://digitalempowers.com/will-technology-help-create-sustainable-world/?unapproved=14545&moderation-hash=f54970ad75c4c5f63b4656197a3bcac0#comment-14545
    http://dailyuganda.com/comment/reply/12586/2727/
    http://forum.remmont.com/tag/2019-syrian-military-reinforces-positions-in-northwestern-hama/#comment/
    http://poznanie.com.ua/forum/forum4/topic12467/message740005/?result=reply#message740005
    http://xn--q1a.xn--80aykgq.xn--p1ai/forum/messages/forum1/topic337/message36871/?result=reply#message36871
    http://ngoinhachung.net/diendan/15-1/sinh-vien-thao-luan.htm/baiviet/details-nashville-finan/baiviet/new-clip-on-ashley-grahams-site-http-washington-nef2-com-1840178-1-1.html
    http://xn--bpu514ajre5l1b.tailien.com/viewthread.php?tid=1203&extra=
    http://chamil.xplainer.net/member.php?u=29289
    http://ukrainakomi.ru/forum/messages/forum3/topic110/message798882/
    http://poznanie.com.ua/forum/forum4/topic9764/message739534/
    http://dailypatriot.net/phpbb/memberlist.php?mode=viewprofile&u=8340
    http://ms.clanhosting.cz/profile.php?lookup=627227
    http://poznanie.com.ua/forum/forum4/topic15174/message775512/?result=reply#message775512
    http://foundremote.com/will-grace-short-film-highlights-nbc-upfront/?unapproved=41789&moderation-hash=89f3dd31498c1c708a387d2ec0e72355#comment-41789
    http://poznanie.com.ua/forum/forum4/topic15174/message775997/?result=reply#message775997
    http://thefieldreport.us/about-test/?unapproved=34274&moderation-hash=1dd8e6c25644e6ecf5a9c08ac3d9bc1c#comment-34274
    http://poznanie.com.ua/forum/forum4/topic15174/message773375/?result=reply#message773375
    http://ukrainakomi.ru/forum/messages/forum3/topic110/message799195/
    http://www.kinofilez.ru/index/8-101452
    http://koninrestart.pl/showthread.php?tid=1378&pid=1556#pid1556
    http://poznanie.com.ua/forum/forum4/topic12467/message744607/
    http://www.sp3namyslow.nstrefa.pl/profile.php?lookup=52523
    http://estudaringlesnoexterior.com/curso-de-ingles-no-exterior-para-adultos/?unapproved=131888&moderation-hash=01f54a51ca1d5936a62e91e19a026414#comment-131888
    http://forum.remmont.com/the-anglo-saxons-can-not-and-do-not-want-to-see-europe-united/#comment/
    http://forum.autorubik.sk/forums/tema/analytics-ghana-business-current-news-http-reaestate-nef2-com/
    http://poznanie.com.ua/forum/forum4/topic183256/message780836/?sessid=6dbb0b1ba5a3de32cdba67426c88b229&TOPIC_SUBSCRIBE=Y&result=new
    raleigh.remmont.com
    http://poznanie.com.ua/forum/forum4/topic181889/message775530/?sessid=e744adee932f5452dbe0d23cd154cf2a&TOPIC_SUBSCRIBE=Y&result=new
    http://dailyuganda.com/comment/reply/12790/5641/
    http://kent-games.3dn.ru/
    http://0574snyw.com/space-uid-39084.html
    http://www.doingtherightthing.nl/forums/users/realestateka/
    http://poznanie.com.ua/forum/forum4/topic9764/message753426/?result=reply#message753426
    http://poznanie.com.ua/forum/forum4/topic15174/message773212/?result=reply#message773212
    http://silkroad-rus.3dn.ru/forum/24-379-11#9130
    http://poznanie.com.ua/forum/forum4/topic9764/message745995/?result=reply#message745995
    http://commercialreforum.com/forums/topic/details-hotels-news-fresh-news-remmont-com/
    http://poznanie.com.ua/forum/forum4/topic15174/message795746/?result=reply#message795746
    http://ukrainakomi.ru/forum/messages/forum3/topic110/message798348/
    http://poznanie.com.ua/forum/forum4/topic9764/message775308/?result=reply#message775308
    http://poznanie.com.ua/forum/forum4/topic9764/message743564/?result=reply#message743564
    http://ukrainakomi.ru/forum/messages/forum3/topic110/message798266/
    http://poznanie.com.ua/forum/forum4/topic15174/message781791/?result=reply#message781791
    http://korkino-school7.ucoz.ru/index/8-11739
    http://zoodom.info/author/remontper/
    http://poznanie.com.ua/forum/forum4/topic9764/message782359/?result=reply#message782359
    http://dailyuganda.com/comment/reply/12724/4371/
    http://poznanie.com.ua/forum/forum4/topic9764/message778582/?result=reply#message778582
    http://brianlittrellcentral.net/gallery/profile.php?uid=2260
    http://ukrainakomi.ru/forum/messages/forum3/topic110/message798969/
    http://poznanie.com.ua/forum/forum4/topic181198/message771458/?sessid=183c0132cf853bacd74c9756af26a4b6&TOPIC_SUBSCRIBE=Y&result=new
    http://ukrainakomi.ru/forum/messages/forum3/topic110/message799234/
    http://0.000000www.shumo.com/forum/home.php?mod=space&uid=420765
    http://xn--z-4tbdaaaaa8o665zjae7c3a38a.lmteck.com/post.php?action=reply&fid=2&tid=863830
    http://poznanie.com.ua/forum/forum4/topic15174/message776302/?result=reply#message776302
    http://dailyuganda.com/comment/reply/12578/2720/
    http://forum.remmont.com/tag/ypg-should-not-be-allowed-to-let-syrian-army-enter-manbij/#comment/
    http://ukrainakomi.ru/forum/messages/forum3/topic110/message799325/
    http://poznanie.com.ua/forum/forum4/topic12467/message755135/?result=reply#message755135
    http://www.picturepenzance.com/threads/where-is-this.1983/page-2#post-17510
    http://novasyon.net/en/
    http://www.dispodhod.ru/index/8-5517
    http://culturensk.ru/forum/thread67-1.html#89
    http://forum.autorubik.sk/forums/tema/news-uk-finance-fresh-news-apartment-remmont-com/
    http://androit.altervista.org/blog/app-per-comunicare/#comment-78298/
    http://dailyuganda.com/comment/reply/12721/5236/
    http://suhanovo.info/viewtopic.php?f=2&t=460233
    http://poznanie.com.ua/forum/forum4/topic9764/message781125/?result=reply#message781125
    http://grandpasejuice.com/top-5-e-liquid-companies/?unapproved=2114&moderation-hash=529f17c47eb789b8af9c030c841207fa#comment-2114
    http://poznanie.com.ua/forum/forum4/topic15174/message750242/?result=reply#message750242
    http://leder.gain.tw/post.php?action=reply&fid=2&tid=7610718
    http://xn--56-9kc2afdb3auki6job.xn--p1ai/obzor-igrovoi-konsoli-new-nintendo-2ds-xl/?unapproved=540&moderation-hash=c706bc6c4a05af59b4ec1a2eae30608d#comment-540
    http://ukrainakomi.ru/forum/messages/forum3/topic110/message799176/
    http://poznanie.com.ua/forum/forum4/topic9764/message742708/
    http://kolor.club/forums/
    http://poznanie.com.ua/forum/forum4/topic9764/message740740/
    http://www.doingtherightthing.nl/forums/topic/january-11-2008httpwichita-nef2-com/
    http://ukrainakomi.ru/forum/messages/forum3/topic110/message798799/
    http://qzxcz.net/home.php?mod=space&uid=111058
    http://poznanie.com.ua/forum/forum4/topic12467/message775917/?result=reply#message775917
    http://poznanie.com.ua/forum/forum4/topic12467/message741344/?result=reply#message741344
    http://dailyuganda.com/node/12840/
    http://poznanie.com.ua/forum/forum4/topic181638/message773640/?sessid=5c2f7b474ac0d853cc1ac0cc7fd75007&TOPIC_SUBSCRIBE=Y&result=new
    http://bbs.lsyoung.com/bbs/space-uid-661099.html
    http://www.the-ladder.net/viewtopic.php?f=4&t=1188
    http://moba.uuu9.com/space-uid-13329257.html
    http://ukrainakomi.ru/forum/messages/forum3/topic110/message798838/
    http://rap-city.xf.cz/profile.php?lookup=52312
    http://ukrainakomi.ru/forum/messages/forum3/topic110/message799002/
    http://poznanie.com.ua/forum/forum4/topic9764/message755890/?result=reply#message755890
    http://xn--34z-2mahaaaaa6488fkae1d5a80b4f.lmteck.com/viewthread.php?tid=138246&extra=
    http://poznanie.com.ua/forum/forum4/topic9764/message772337/
    http://bbs.mltc.com.cn/home.php?mod=space&uid=7946
    http://poznanie.com.ua/forum/forum4/topic12467/message783464/?result=reply#message783464
    http://poznanie.com.ua/forum/forum4/topic12467/message782984/?result=reply#message782984
    http://loebesiden.dk/forum/viewtopic.php?f=11&t=197956&sid=b77c4dec7b388f3a9190e854cd48302e
    http://poznanie.com.ua/forum/forum4/topic9764/message782928/?result=reply#message782928
    http://www.bizweb.ru/topic/15977-suvenirnaia-produktciia-optom-i-pod-zakaz/page-4/
    http://ukrainakomi.ru/forum/messages/forum3/topic110/message798794/
    http://www.1mrecipes.com/zesty-avocado-salad-dressing/?unapproved=20647&moderation-hash=750eaadd1fef338e7abf1c2c05483c97#comment-20647
    http://www.bizweb.ru/topic/3807-chto-prodavat-na-rynke/page-3#entry171035/
    http://www3.xplainer.net/member.php?u=32446
    http://penza-school9.moy.su/index/8-11497
    http://poznanie.com.ua/forum/forum4/topic15174/message740652/
    http://forum.remmont.com/us-moves-towards-escalation-with-russia-over-inf-treaty/#comment/
    http://www.bizweb.ru/topic/15977-suvenirnaia-produktciia-optom-i-pod-zakaz/page-2#entry144664/
    http://androit.altervista.org/blog/app-per-comunicare/#comment-78329/
    http://www.bizweb.ru/topic/12767-trebuiutsia-predstaviteli-v-regionakh/?p=170983
    http://forum.remmont.com/russian-scientists-warned-of-the-threat-of-a-collision-of-the-earth-with-an-asteroid/#comment/
    http://poznanie.com.ua/forum/forum4/topic15174/message776709/?result=reply#message776709
    http://ukrainakomi.ru/forum/messages/forum3/topic110/message798684/
    http://dailyuganda.com/node/12823#comment-5982/
    http://poznanie.com.ua/forum/forum4/topic12467/message778042/?result=reply#message778042
    http://www.vyshivalochka.ru/index/8-24023
    http://capibooks.eu/viewtopic.php?f=1&t=396555
    http://poznanie.com.ua/forum/forum4/topic178756/message760339/?sessid=a8d097970087803a19f75cbe67b77af3&TOPIC_SUBSCRIBE=Y&result=new
    http://www.tongxun6.com/forum.php?mod=viewthread&tid=3482970&extra=
    http://poznanie.com.ua/forum/forum4/topic183229/message780677/?sessid=1f7dcb21ba7907026fbf28a6ea724bcc&TOPIC_SUBSCRIBE=Y&result=new
    http://ukrainakomi.ru/forum/messages/forum3/topic110/message798902/
    apartment.remmont.com
    http://dailyuganda.com/comment/reply/12823/5850
    http://poznanie.com.ua/forum/forum4/topic15174/message784648/?result=reply#message784648
    http://admin.infinix.club/forum.php?mod=viewthread&tid=817252&extra=
    http://forum.remmont.com/most-americans-want-to-dispossess-the-rich/#comment/
    http://blackmt2.ro/forum/viewtopic.php?f=9&t=26669
    http://ukrainakomi.ru/forum/messages/forum3/topic110/message798873/
    http://www.frbtrolls.com/showthread.php?tid=8
    http://poznanie.com.ua/forum/forum4/topic12467/message755173/?result=reply#message755173
    http://www.assignmenthelpreviews.com/member.php?action=profile&uid=400369
    http://dailyuganda.com/comment/reply/11834/2719/
    http://uss-sampson.net/forum/viewtopic.php?f=19&t=5313
    http://bluestarbb.com/xtm_register_user.php?passback=yes&c1=TRAVELmi&c2=TRAVELpawDM&c3=3&c4=1976-10-1&c5=http://travel.remmont.com&c6=Chicago&c7=Chicago&c8=MS&c9=153253&c10=85531653783&c11=88544742379&c12=00realestate%40gmail.com&c13=1985&c14=7&c15=7&c16=TRAVELmi&c17=TRAVELmi&c18=83464569195&c19=TRAVELmi&c20=TRAVELmi&c21=82161565436&c22=TRAVELpaw
    http://forum.xunhua99.com/home.php?mod=space&uid=58994
    http://walkingthefloor.com/episode-38-steve-caballero/?unapproved=78721&moderation-hash=dee6684ee138288db6aa00076ba441ec#comment-78721
    http://www.prometheus-networks.com/showthread.php?tid=518&pid=524#pid524
    http://xn--onqu75bcvap11j.guanyo.com/viewthread.php?tid=20034&extra=
    http://poznanie.com.ua/forum/forum4/topic15174/message760313/?result=reply#message760313
    http://yudik.org/forum/index.php
    http://poznanie.com.ua/forum/forum4/topic12467/message784491/?result=reply#message784491
    http://east-side-crew.at.ua/
    http://forum.polska.ru/index.php
    http://poznanie.com.ua/forum/forum4/topic15174/message756440/?result=reply#message756440
    http://www.tylorprudhomme.com/forums/topic/ecological-census-techniques-a-handbook-pdf-epub-mobi/page/5/#post-761934/
    http://poznanie.com.ua/forum/forum4/topic9764/message779697/
    http://fan.fc-anji.ru/blogs/blog/guest/13842.html
    http://ukrainakomi.ru/forum/messages/forum3/topic110/message799154/
    http://sksis.ru/index/8-36273
    http://www.everydaychristian.com/blogs/post/your_money_gods_way/?unapproved=347499&moderation-hash=974ae49e9eb0fb6989b08e287c67d82b#comment-347499
    http://poznanie.com.ua/forum/forum4/topic15174/message738887/
    http://ukrainakomi.ru/forum/messages/forum3/topic110/message799131/
    http://www.tylorprudhomme.com/forums/topic/ecological-census-techniques-a-handbook-pdf-epub-mobi/page/4/#post-753325/
    http://poznanie.com.ua/forum/forum4/topic9764/message774567/?result=reply#message774567
    http://poznanie.com.ua/forum/forum4/topic15174/message776671/?result=reply#message776671
    http://forum.remmont.com/tag/saudi-led-coalition-assassinated-former-commander-of-yemeni-air-force-report/#comment/
    http://poznanie.com.ua/forum/forum4/topic12467/message748208/?result=reply#message748208
    http://zakon.zsperm.ru/forum/messages/forum1/topic3/message9/
    http://beijing.shumo.com/forum/home.php?mod=space&uid=420765
    http://ukrainakomi.ru/forum/messages/forum3/topic110/message799359/
    http://nckforum.com/member.php?s=c9c9ea10cc3f36cff426dc2ce36e0c39&u=1944
    http://forum.remmont.com/tag/government-forces-repelled-attack-in-northwestern-hama-killing-several-militants/#comment/
    http://meitui8.info/home.php?mod=space&uid=183941
    http://forum.remmont.com/why-were-kabul-afraid-of-american-talks-with-the-taliban/#comment/
    http://www.poolz.com/the-forum/34/256/
    http://poznanie.com.ua/forum/forum4/topic15174/message739868/
    http://www.outletprix.ro/contact-rapid/?unapproved=1897&moderation-hash=53350a133e171f4576fc85b13247243e#comment-1897
    http://ukrainakomi.ru/forum/messages/forum3/topic110/message799397/
    http://poznanie.com.ua/forum/forum4/topic15174/message775396/?result=reply#message775396
    http://clan-risen.at.ua/index/8-24822
    http://www.webhostingtalk.sg/members/27580-REMONTRaH
    http://xn--onqu75bcvap11j.lohasmassage.com/post.php?action=reply&fid=2&tid=299514
    http://forum.remmont.com/ceasefire-violations-by-militants-reported-from-syrias-latakia-hama-aleppo/#comment/
    http://commercialreforum.com/forums/topic/news-cleveland-business-advanced-news-remmont-com/
    http://ratrodsrule.com/forum/member.php?u=65073
    http://poznanie.com.ua/forum/forum4/topic12467/message773685/?result=reply#message773685
    http://ukrainakomi.ru/forum/messages/forum3/topic110/message799384/
    http://www.foromente.com/viewtopic.php?f=3&t=113
    http://poznanie.com.ua/forum/forum4/topic9764/message752840/?result=reply#message752840
    http://blog.redtube.com/2011/04/pornstar-katie-morgan-is-back-on-the-blog/dsc_0229/comment-page-352/#comment-5334675
    http://pinoyopmlovesongs.com/classic-opm-love-songs/?unapproved=5435&moderation-hash=905511dee4d9fac9d94e691694aeb805#comment-5435
    new-hampshire.remmont.com
    http://poznanie.com.ua/forum/forum4/topic15174/message741619/
    http://poznanie.com.ua/forum/forum4/topic9764/message775042/?result=reply#message775042
    http://bbs.hdzc.net/space-uid-341652.html
    http://poznanie.com.ua/forum/forum4/topic15174/message783093/?result=reply#message783093
    http://poznanie.com.ua/forum/forum4/topic9764/message795863/?result=reply#message795863
    http://ngoinhachung.net/diendan/15-1/sinh-vien-thao-luan.htm/baiviet/baiviet/diendan/baiviet/details-savings-news-current-news-remmont-com-2017264-1-1.html
    http://dailyuganda.com/comment/reply/12721/5498/
    http://laboruniontv.org/afl-cio-president-trumka-destroys-pres-trump/#comment-395526

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *