Отзывы

From: Igor Nekrestyanov <igor@m...> 
Date: Wed Aug 27, 2003 6:41 pm
Subject: комментарии про статью о РОМИП на Диалог

Наткнулся на обзор статьи
http://compling.boom.ru/raznoje/obzor03.html

и хотя автор утверждает "Благими намерениями дорога в ад вымощена",
но по сравнению с его критикой большинства других статей это почти
комплимент :)
Не хотелось быть очень строгим к наивно-технарским начинаниям, особенно в области, которой посвятил более 20 лет жизни.
вероятно нам стоит обратить внимание на его замечания,
чтобы в будущем четче описывать нашу позицию.
-igor

From: Ilya Segalovich <iseg@y...> 
Date: Thu Sep 4, 2003 10:07 am
Subject: Re: [romip] комментарии про статью о РОМИП на Диалог

> вероятно нам стоит обратить внимание на его замечания,
> чтобы в будущем четче описывать нашу позицию.

Я прочитал это по подписке еще в июле и меня его замечания очень удивили.

> * это коллективная работа (не для одиночек) и к тому же на коммерческой
> основе, индивидуал со своим Пентюшкой даже последней модели и семью пядями
> во лбу уже не игрок в этом увлекательном шоу;

Почему? Объем коллекции не маленький, но 1-го компьютера для ее
обработки безусловно более чем достаточно. Наша программа работала на
самом обычном "Пентюшке".

Ключевое слово Обработка. Что под сим подразумевают авторы проекта? Те статистические технологии, которые присущи большинству поисковых систем? Нельзя же быть такими наивными. Статистика - это статистика, а семантика - это семантика. Нельзя подменять одно другим. Для  качественного поискового (семантического) анализа (что и подразумевалось в этом проекте) требуется качественная подготовка в области семантики, а не математики (статистики). Платформа, на которой осуществляется анализ, дело второе.  Можно это делать и на писюшке, но временные затраты будут значительно выше.

> * принять участие в нём смогут только уже существующие коллективы со
> своими, уже существующими наработками, которые, естественно будут
> проталкиваться дальше;

Из чего это следует? В наших правилах этого нет. Среди участников есть и
любители и чуть ли не графоманы.

Разношёрстность участников, с одно стороны, дело хорошее, с другой, весьма проблематичное. Угодить и профи и графоманам - дело тяжёлое. Цитата "К участию приглашаются все заинтересованные лица - как создатели поисковых систем, так и исследователи, занимающиеся проблемами информационного поиска".

Цитата "...участники платят вступительный взнос (компенсирующий начальные затраты на создание, распространение наборов данных, проведение оценки), а  также подписывает необходимые соглашения (лицензии)".  - оставлю без комментариев.

>
> * а судьи кто? Извечный вопрос России. Оргкомитет?

Удивительный комментарий. Такое ощущение, что рецензент просто не знаком
с работой.

Судей у нас нет. У нас асессоры, про методику работу которых и был
сделан доклад.

Обратимся к пункту 3.3.3 доклада - "использование апробированных методологий оценки, поскольку это повышает уверенность в получении надежных результатов". Что значит апробированных  - использовать старый велосипед на скоростной автостраде? Почему организаторы считают, что апробированные методы оценки являются более адекватными. Новым методам оценки поиска дорога закрыта? Методы информационного поиска? Что это? Найти строку в подстроке (элементарная функция языков программирования) или это что-то иное. Меня, как пользователя Интернета интересуют не методы поиска, а результаты поиска. Что т олку: если поисковик выкидывает мне от 7 (лексическое значение слова) до 20 тысяч (искусственный интеллект) ссылок на интернет рессурсы. Для того чтобы все их просмотреть мне потребуется дсятки лет. Мне интересно - что в этой массе более информационно значимо, а что нет. Исходя из этого возникает вопрос к организаторам РОМИП - как соотносятся методы поиска с результатами поиска.

Вернемся к докладу "Конкретная методология оценки зависит от рассматриваемой задачи и определяется на подготовительном этапе. Информация о всех оценках будет доступна всем участникам, но эта информация будет использовать псевдонимы для ссылок на участников" - Отсюда возникает вопрос: Как оценят результаты поиска по теме "микробиология" специалист в этой области и технарь? 

Вообще содержание чуть ли не всей нашей работы собственно и было
объяснить "кто такие судьи" и какими способами и для чего обеспечивается
нейтральность их суждений.

Нейтральность суждений при таком подходе - вещь относительная, если мы оцениваем методы - то это одна сторона медали, если результаты поиска - то это другая сторона той же медали.

> * рутинность подходов в методологии и в оценки информации "Документ
> считается релевантным, если, встретив этот документ в процессе поиска
> информации по данному вопросу (описание расширенного задания), вы сочли бы
> этот документ достойным дальнейшего прочтения" - это вообще-то не
> корректный подход, который свидетельствует об инфантилизме "поисковиков" -
> любой документ интересен, вопрос в другом - какова его значимость в
> информационном поле (пространстве, инфосфере) ;

Безусловно система оценок загрублена и упрощена и сделано это только для
"быстрого старта", отнюдь не из-за нашего инфантилизма.

Приятно осознавать, что организаторы не дети, но они "стремятся вперед вперед, полные сил и надежд" (Э.Галлуа). Однако в русском языке есть присказка, когда нужна поспешность, - в трех случаях - первый при ловле блох. Правда, от блох различные средства продаются в магазинах для животных. 

И выбор коллекции и состав участников говорит, что инфнатилизмом или
тепличностью тут и не пахнет.

Любители и графоманы среди участников...? Будьте последовательны в своих собственных оценках.

> * "тепличность" конкурса (только cp-1251 и никаких орфографических ошибок -
> такие сайты найти надо - в тексте самого сообщения присутствуют
> синтаксические ошибки);

Очередная невнимательность рецензента. Мы конечно же не чистим
коллекцию. Число опечаток в ней фантастическое.

Что касается унификации кодировок и чистки запросов - это разумное
требавоние (Sic! так в оригинале), вызванное АБСОЛЮТНОЙ НЕОБХОДИМОСТЬЮ опираться на общее для ВСЕХ УЧАСТНИКОВ основание. Достаточно чуть-чуть подумать, чтобы понять это.

Самое удивительное, что ваши послания на Yahoo помещены в кодировке KOI. Однажды мне пришлось столкнуться с такой вещью: нашёл через поисковик статью, но на экране белеберда. Ни одна из кодировок не подходит. Оказывается, что в charset стоит указание на ISO русского языка в западном стандарте, что соответствовало нашему KOI.  Но браузеры этого не понимали. Я тоже не сразу врубился, пока не прогнал статью через свой детектор языка. Статья была интересной.

> * очень интересен вопрос о "Тематической классификация Веб-сайтов" - задача
> вообще-то примитивная для программ типа "Kondor", но требующая
> энциклопедических знаний -"тематизация окружающего мира". В своё время я
> знал одного человека, который занимался этой проблемой.

Примитивная задача? Никак не могу согласиться. Вообще этот пассаж
подтверждает общее впечатление о рецензенте, как о человеке безусловно
некомпетентном в данной области.

Илья

По поводу компетенции можно поспорить. Если ты знаешь, как эта проблема решается, что это уже пройденный этап, - это одно, а если вы этого не знаете - то это уже другое, это ваши проблемы. Проблемы вашего невежества в данной области.

From: Igor Nekrestyanov <igor@m...> 
Date: Thu Sep 4, 2003 9:39 pm
Subject: Re: [romip] комментарии про статью о РОМИП на Диалог

я вовсе не имел ввиду что его замечания корректны,
но видимо ответы на эти вопросы недостаточно представлены или хорошо
сформулированы в тексте статьи (посколько (sic! так в тексте) скорее всего автора на
Диалог не было и он прочитал только текст)

Правильно, сужу только по тексту

Как минимум часть вопросов могла бы прийти в голову и
любому другому (хотя возможно он не так решительно брался бы судить :).

-igor

Реклама на сайте

Заранее приношу извинение за содержание рекламы, которую предоставляет поставщик рекламы,
но не до жиру быть бы живу

Каждый Ваш клик (не менее трёх) на рекламных ссылках позволит мне заработать от 0.5 до 5 центов.
Может зубы вставлю.

Грёбаная страна, раз опускаешься до такого. Ну каковы правители, таковы и порядки. Пиздят об одном, в реальности - другое. Далеки они от народа (дальше, чем декабристы).

Единственное БЛАГО, что за такие сайты пока ещё не сажают (прогресс коммуникации), но читают.

Кликни - не будь жлобОм или жлОбом,
безработному дОценту (не путать с прОоцентом) кушать хочется, правда, сначала зубы вставить надо, шамкать нечем.

Ремонт квартир и офисов, отделка, перепланировка, реконструкция, строительство. Быстро, качественно, недорого. Премии посредникам

 VA-bank - для игроков в азартные игры

Портативная техника от A до Z. Доставка в любой город России и Белоруссии

DIGITA.ru: LCD-экраны, телевизоры, магнитолы, музыкальные центры, проекционные телевизоры... Hi-End аппаратура. VIP-обслуживание

MP3 плейеры MD плейеры CD плейеры Радио Диктофоны Фотоаппараты Видеокамеры Сотовые трубки Радиотелефоны Ноутбуки Карманные ПК Переводчики

Если у Вас есть, что рекламировать, то Вам поможет в этом

А это, если хотите стать рефералами и зарабатывать деньги в сети

поставщик рекламы на Ваш сайт