Стартовая страница       Почта»    |     Статистика»    |     Форум    |    


Форумы MAXnet
Текущее время: 27.04.2024 09:13

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 46 ]  На страницу Пред.  1, 2, 3, 4  След.

eDonkey-сервер упростит поиск и передачу файлов во внутренней сети. Нужен ли такой сервер в сети Макснет?
Да, обязательно! 68%  68%  [ 21 ]
Нет, хватит ftp-серверов и каталога 16%  16%  [ 5 ]
Затрудняюсь с ответом 16%  16%  [ 5 ]
Всего голосов : 31
Автор Сообщение
 Заголовок сообщения:
СообщениеДобавлено: 06.04.2006 20:24 
Не в сети
Макснет Системы
Макснет Системы
Аватара пользователя

Зарегистрирован: 12.10.2003 11:04
Сообщения: 1806
Откуда: Калуга
морф решает ;)

В принципе я за e2k и против DC коли уж она была упомянута. DC это несколько другая технология, похожая на e2k.

Вкратце принцип e2k: e2k это пиринговая сеть, суть которой заключается во взаимообмене файлами клиентов данной сети. При этом существует огромное множество клиентов и настроек. Например - скорость отдачи файлов, скорость приёма (кстати она зависит от скорости отдачи - чем быстрее отдаешь, тем быстрее можешь принимать), приоритеты клиентов (основанные на объеме отданного-полученного), блек-листы и прочие блага.

Технически это выглядит так: есть сервер. Есть клиенты пиринговой сети, установленные на обычных комьютерах у людей. Люди расшаривают папки с содержимым. Данное содержимое хэшируется (вычисляется уникальная контрольная сумма каждого файла), при подключении клиентов к серверу на сервер передаётся "каталог" каждого подключившегося клиента. Таким образом сервер знает актуальный список файлов, расшаренных клиентами.

Далее, предположим Вася Пупкин хочет скачать фильм "Терминатор 3". Вася подключается к серверу, пишет в поиске (в своём клиенте) "Terminator". Клиент Васи обращается к серверу и запрашивает у него список файлов, в названии которых содержится слово Terminator. До конца не вникал как реализован алгоритм обмена списками и поиска, но суть дела от этого не меняется, а суть в следующем - у каждого файла имеется уникальная контрольная сумма, зависящая только от содержимого файла. То есть если я скопирую у Пети фильм Терминатор3.avi и назову файл "Тer_миНаt0r_суперверсия_number_III.core, его контрольная сумма не изменится и сервер будет воспринимать данный файл как копию файла Терминатор3.avi. Итак, серверу известно, что этот файл находится у меня и у Пети. Вернемся назад к Нашему Васе.

Вася ищет файл, в названии которого содержится слово Terminator и видит в поиске файл Terminator3.avi у которого есть два источника - это я и Петя. Вася решает, что это именно то, что нужно, и указывает клиенту закачать данный файл. Клиент Васи напрямую обращается ко мне и к Пете и запрашивает файл с известным хэшем. В зависимости от обстоятельств изложенных ниже, клиент Васи приступает к скачиванию данного файла.

Обстоятельства следующие: у каждого клиента есть свой идентификатор и есть файл приоритетов. Когда Вася скачивает у меня файл, я становлюсь для Васи важнее, поскольку поделился с ним файлом. Вася-же становится для меня менее приоритетным, поскольку он скачал у меня информацию, но сам мне еще ничего не отдал. Предположим затем, что я буду скачивать что-то у Васи. Поскольку я уже отдал Васе энное количество информации, мой приоритет выше, нежели тех клиентов, кто Васе еще ничего не отдал, и Васин клиент будет стремиться отдавать мне информацию в первую очередь. Чем больше соотношение отдано/принято у конкретного клиента, тем приоритетнее он будет. Иными словами, e2k поощеряет тех, кто делится. И чем больше и быстрее он делится, тем больше и быстрее будут делиться с ним. Следует обратить внимание, что приоритеты определяются КЛИЕНТАМИ, учавствующими в отношениях обмена, а не во всей сети/сервере в целом. То есть моя приоритетность у Васи ничего не значит для Пети, который знать не знает сколько и чего я кому-то отдал. Для него главное что я ничего не отдавал ему, поэтому мой приоритет у Пети низкий.

Немаловажный момент - обмен идёт не целыми файлами, а кусочками (chunks) примерно по 9 мегабайт. Каждый чанк независим от других. И что хорошо - как только клиент скачал один чанк, он(чанк) тут-же автоматически расшаривается для других клиентов, что добавляет еще один неполный источник для данного файла. То есть в идеале, клиенту имеющему файл целиком, достаточно всем раздать по одному чанку. Далее те клиенты будут взаимодействовать между собой, обмениваясь имеющимися чанками и собирая целый файл, и не будут нагружать первого раздающего, распределяя нагрузку между всеми источниками. Причем число источников будет расти пропорционально количеству получивших чанки данного файла.

Если еще не запутались идём дальше :wink:
Что-же происходит с клиентом1, когда он обращается к клиенту2 с запросом чанка файла? Клиент2 проверяет приоритет клиента1. Если он выше, чем приоритет тех, кто уже качает, клиент1 ужимает их скорость и начинает отдавать чанк файла клиенту1. Если-же полоса оказывается узка для всех желающих качать, образуется очередь за данным файлом (типичной скоростью отдачи во всемирной e2k-сети является всего 10-20кбайт/с, что при множестве источников даёт весьма неплохие результаты). Клиент, получивший чанк, отключается, и должен заново вставать в очередь за следующим требующимся чанком. Конечно, его приоритет будет учтен, но такого, чтобы файл постоянно отдавался одному и томуже не бывает - следующая отдача обязательно будет производиться другому просившему. Очередь постоянно перестраивается, но в итоге все дожидаются своей очереди и скачивают нужный чанк. Еще раз напомню, что тот, кто получал чанк до Вас, тутже станет еще одним источником данного чанка и количество источников файла увеличится. Поскольку чанки независимы, клиент может качать сразу множество чанков со множества источников, постепенно собирая файл целиком. Чем у большего количества людей имеется данный файл, тем более он популярен и тем больше у него источников. В итоге как бы долго в очереди вы не стояли, рано или поздно вы получите требуемый файл целиком. Кстати приоритеты тоже со временем устаревают, и вряд ли тот, кому вы отдали гигабайт в прошлом году вспомнит от этом и позволит Вам качать вперед всех.

Система e2k также учитывает популярность файлов, расшаренных клиентами - то есть если файл1 в сети существует в тысяче экземпляров у тысячи источников, а файл2 существует только в одном экземпляре, e2k-клиент будет стараться скорее поделиться редким файл2 с другими, чтобы увеличить количество источников. Поскольку e2k-клиенты в большинстве запущены на компьютерах обычных людей, время от времени их включающих и выключающих, единственным эффективным методом, позволяющий быстро распространять редкие файлы является его раздача другим, те отдадут третьим, четвертым и так далее...

Существует очень досадная вещь - если вы качали какой-то файл, а все его источники пропали, придётся подождать пока они опять появятся. Впрочем, если владелец FTP выключает его, итог будет тот-же.


Итак, что мы имеем - сервер, хранящий каталог файлов клиентов позволяет быстро находить файл у кого бы он не находился. Далее клиенты взаимодействуют между собой, в зависимости от приоритетов обмениваясь запрошенными файлами, источники файлов появляются и исчезают, файл качается. Минусы - нужно постоянно отдавать чтобы повышаться в приоритете у других, при отключении клиентов друг от друга на длительный интервал времени, очередь теряется и приходится стоять в очереди заново. На самом деле это играет роль только в огромной сети. Если-же это будет наша внутрисетевая e2k-сеть, вряд ли очереди выростут больше десятки. Есть еще один момент - на сервере возможно установить минимальный объем информации, который должен расшарить клиент чтобы подключиться к серверу. Если расшарено меньше, клиент просто не сможет подключиться к серверу и искать файл. Аналогично, в клиентах регуляторы "скорость отдачи" и "скорость приема" связаны - если мало отдаешь - мало будешь принимать. И нельзя принимать не отдавая. Конечно существуют клиенты, называемые "личерскими, которые ничего не отдают, но используют недоделки других клиентов, и качают у них. Однако клиенты и сервера тоже не стоят на месте и в большинстве клиентов существует антилич - как только будет обнаружено подозрение на личерство - клиент попадает в черный список и больше ему ничего не отдается. Если-же сервер обнаруживает при подключении что клиент личерский, он также его банит.

P.S. вот так коротенечко, если кто-то из этого что-то поймёт :mrgreen: :mrgreen: :mrgreen:

_________________
Михаил


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 06.04.2006 20:27 
Не в сети
Макснет Системы
Макснет Системы
Аватара пользователя

Зарегистрирован: 12.10.2003 11:04
Сообщения: 1806
Откуда: Калуга
по поводу DC это не совсем то. Если не ошибаюсь в ней нет деления файла на чанки и попыток распределить нагрузку между источниками, а также отсутствует приоритизация. Если это так, то по сути это тотже самый ftp в красивой обертке.

_________________
Михаил


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 06.04.2006 20:29 
Не в сети
Макснет Системы
Макснет Системы

Зарегистрирован: 09.09.2003 19:03
Сообщения: 1258
Ken писал(а):
А с переходом на eDonkey придется закрыть фтп.


не обязательно - кто мешает расшарить одни и те же папки через фтп и через еданки? закрыть на фтп анонимный вход и оставить только логины друзьям.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 06.04.2006 21:20 
Не в сети
Ветеран
Ветеран

Зарегистрирован: 07.10.2004 18:03
Сообщения: 281
Откуда: Обнинск
У меня инет и так тупит, а так я просто буду в оффе.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 06.04.2006 23:31 
Не в сети
Ветеран
Ветеран
Аватара пользователя

Зарегистрирован: 12.12.2003 10:38
Сообщения: 320
UMike писал(а):
по поводу DC это не совсем то. Если не ошибаюсь в ней нет деления файла на чанки и попыток распределить нагрузку между источниками, а также отсутствует приоритизация. Если это так, то по сути это тотже самый ftp в красивой обертке.

Есть в dc это всё. И скорость там можно шейпить и качать будет сразу с нескольких источников, если их будет несколько.
Про приоритеты, соотношения скачал/отдал и прочие приблуды типа очереди на скачку - разве это всё имеет какое-либо значение в нашей сети? Уверен объёмы обмена файлами не настолько огромные, чтобы всё это играло какую-нить роль.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 07.04.2006 00:54 
Не в сети
Макснет Системы
Макснет Системы

Зарегистрирован: 09.09.2003 19:03
Сообщения: 1258
Цитата:
Уверен объёмы обмена файлами не настолько огромные, чтобы всё это играло какую-нить роль.


По вашему, какой объем трафика генерят первые 10 серверов?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 08.04.2006 02:43 
Не в сети
Ветеран
Ветеран
Аватара пользователя

Зарегистрирован: 12.12.2003 10:38
Сообщения: 320
serg писал(а):
Цитата:
Уверен объёмы обмена файлами не настолько огромные, чтобы всё это играло какую-нить роль.


По вашему, какой объем трафика генерят первые 10 серверов?

Не более 10 гб/сутки.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 10.04.2006 08:55 
Не в сети
Продвинутый
Продвинутый
Аватара пользователя

Зарегистрирован: 10.01.2006 11:39
Сообщения: 36
Откуда: Балабаново
Если при регистрации ftp ресурсов пошло деление на платных и бесплатных клиентов, не упрется ли "мул" в такую же проблему?

_________________
Семь бед, один "Reset"


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 11.04.2006 10:33 
Не в сети
Макснет Системы
Макснет Системы
Аватара пользователя

Зарегистрирован: 28.08.2003 14:25
Сообщения: 819
Откуда: Обнинск
fantom, мул лишь облегчает обмен файлами. Он может упереться лишь в то, что сервером не будут пользоваться из-за незнания или нежелания. Я думаю, что для пользователей удобно было бы иметь поисковую систему по внутр. ресурсам (пусть даже без активного файлообмена). Но для этого, надо чтобы ресурсы были хотя бы открыты для индексирования своего содержимого.

_________________
Всё что ни делается - всё к лучшему


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 11.04.2006 10:54 
Не в сети
Ветеран
Ветеран
Аватара пользователя

Зарегистрирован: 12.12.2003 10:38
Сообщения: 320
неплохая реализация поиска и мониторинга фтп серваков - omma.ru/ftp


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 11.04.2006 10:59 
Не в сети
Макснет Системы
Макснет Системы
Аватара пользователя

Зарегистрирован: 28.08.2003 14:25
Сообщения: 819
Откуда: Обнинск
Примерно такое же планируется делать в каталоге (от этом я уже писал). Но по срокам запуска ничего сказать не могу.

_________________
Всё что ни делается - всё к лучшему


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 04.07.2006 20:45 
Не в сети
Новичок
Новичок
Аватара пользователя

Зарегистрирован: 04.07.2006 20:33
Сообщения: 12
Откуда: 177rus
Может DC++ лучше???
EDonkey-выбор лохов!

_________________
скейтбординг это крайм


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 04.07.2006 22:26 
Не в сети
Макснет Системы
Макснет Системы

Зарегистрирован: 09.09.2003 19:03
Сообщения: 1258
gerytch писал(а):
Может DC++ лучше???
EDonkey-выбор лохов!


Сильно! а главное - аргументировано!


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 04.07.2006 23:40 
Не в сети
Новичок
Новичок

Зарегистрирован: 18.02.2006 00:38
Сообщения: 16
у нас в сети стоит хаб DC, сам по себе хаб очень шустрый и ресурсов почти не жрет, плюс к этому есть возможность объединения хабов. но вот с клиентами небольшие проблемы есть.

основная в том, что кушают изрядное количество ресурсов процессора при отдаче-закачке. возможно на более низких скоростях проблема будет не так заметна, однако на слабой машине тормозов от диси предостаточно.

пробовали как DC++ так и RevConnect одинаковые проблемы, правда в одной из последних версий диси проблема была частично решена, нагрузка стала меньше, но для комфортной работы этого еще мало :(

поиск файлов есть, правда выдача результатов не всегда полная

авторазбиения файлов на части тож нет, все качается единым массивом.
несмотря на эти недостатки диси активно используется в некоторых московских сетях и в целом народ доволен. конечно могут быть проблемы с настройкой, у нас в сети у многих так и было, однако необходимый минимум можно обеспечить, воткнув в инсталлятор маленькую софтину-конфигурятор. но это опять же для локалки, как она поведет себя из-за проксика к сожалению не знаю, не пробовал. имхо не лучшее это решение для файлообмена внутри макснета.

на счет осла ничего хорошего или плохого сказать не могу, пользовался им мало.

самому мне конечно очень по душе битторрент, но вот с наполнением его инфой будут проблемы, т.к. создать торрент, выложить его, зарегить и еще сидировать может стать для многих нетривиальной задачей, ну и конечно времени на то чтоб выложить файло уйдет на порядок больше :( зато, как я уже писал в другой теме, генерируется очень мало входящего траффика.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 05.07.2006 17:28 
Не в сети
Макснет Системы
Макснет Системы

Зарегистрирован: 09.09.2003 19:03
Сообщения: 1258
замечательно, а чем еданки хуже то?


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 46 ]  На страницу Пред.  1, 2, 3, 4  След.

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 32


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения

Найти:
Перейти:  
Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB