Автор Тема: Проблемы с производительностью  (Прочитано 15726 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн alexansh

  • *
  • Сообщений: 21
  • Сказали спасибо: 1
    • Просмотр профиля
Проблемы с производительностью
« Ответ #30 : 14 Сентябрь 2010, 07:56:03 »
Цитировать
Только еще раз спрошу: проблема только в обновлениях?

Похоже, что в обновлениях. Но, тем не менее, я ещё сделаю 2-3 раза обычное сканирование и обновление для статистики. И тогда, ещё раз скажу о полученных результатах.

Оффлайн AndL

  • *
  • Сообщений: 8
  • Сказали спасибо: 0
    • Просмотр профиля
Проблемы с производительностью
« Ответ #31 : 14 Сентябрь 2010, 11:04:10 »
Цитировать
CDC превосходен во всём, кроме скорости.
 Ну не знаю...
диск C (SSD)   36412 файлов   -   время сканирования 1мин 58сек
диск H (2.5" HDD), каталог с 102453 файлами   -   время сканирования 6мин 37сек
У меня так:
wincatalog - 90 сек. 100тыс. файлов системного диска.
CDC тот же диск, первое добавление в пустую базу - 14,5 минут.
После этого обновление того же диска - подсчёт файлов идёт более 15 минут при высокой интенсивности дисковых операций и простаивании процессора (устал ждать подсчёт и снял задачу).
На добавление того же диска в непустую базу требуется больше времени в зависимости от объёма базы. Например второе добавление того же диска требует уже примерно полчаса 39 минут.
Третье добавление идёт 65 минут.
« Последнее редактирование: 14 Сентябрь 2010, 13:19:53 от AndL »

Оффлайн Admin

  • Administrator
  • *****
  • Сообщений: 551
  • Сказали спасибо: 40
    • Просмотр профиля
Проблемы с производительностью
« Ответ #32 : 14 Сентябрь 2010, 15:45:48 »
Да, по скорости нам до WinCatalog далеко. А вот насчет повторного сканирования это уже интересно... посмотрим.

Оффлайн conver

  • **
  • Сообщений: 92
  • Сказали спасибо: 5
    • Просмотр профиля
Проблемы с производительностью
« Ответ #33 : 14 Сентябрь 2010, 19:29:38 »
Цитировать
100тыс. файлов системного диска.
CDC тот же диск, первое добавление в пустую базу - 14,5 минут.
После этого обновление того же диска - подсчёт файлов идёт более 15 минут при высокой интенсивности дисковых операций и простаивании процессора (устал ждать подсчёт и снял задачу).
На добавление того же диска в непустую базу требуется больше времени в зависимости от объёма базы. Например второе добавление того же диска требует уже примерно полчаса 39 минут.
Третье добавление идёт 65 минут.
   Опять-таки не знаю... Я диски отнюдь не в пустую базу добавлял, там почти полмиллиона файлов было на тот момент.
   А вот обновление диска, точно - пока больное место программы. Тот-же диск C, как я писал, читался 1мин 58сек, а обновлялся 30мин 12сек. Но и процедура обновления, я так думаю, посложнее простого добавления в базу.
   
Лучше быть умным и иногда тупить, чем тупым и вечно умничать!

Оффлайн Admin

  • Administrator
  • *****
  • Сообщений: 551
  • Сказали спасибо: 40
    • Просмотр профиля
Проблемы с производительностью
« Ответ #34 : 14 Сентябрь 2010, 22:27:58 »
У меня воспроизводится. Еще особо не тестировал, но повторное добавление того же самого диска в базу, занимает намного больше времени. Действие конечно, бессмысленнное, но такого быть не должно. В свободное время погоняю это дело в других вариациях.

Оффлайн conver

  • **
  • Сообщений: 92
  • Сказали спасибо: 5
    • Просмотр профиля
Проблемы с производительностью
« Ответ #35 : 14 Сентябрь 2010, 22:50:43 »
   Ну, действие не очень бессмысленное - так удобно поступать с DVD сборниками. Просто разницы не заметно.
   И кстати, эксперименты показывают, что время добавления каталога с 30000 файлов не зависит от его содержимого, т.е. у меня не получается, что сканирование одного и того-же каталога каждый раз всё дольше. Я делал 4 каталога с одинаковым количеством примерно одинаковых файлов и добавлял их последовательно. Время каждый раз увеличивалось. Так что похоже время сканирования зависит от размера базы и числа элементов в ней. Что в какой-то мере логично.

   P.S. И увеличивается практически пропорционально процентному увеличению базы. В какой-то мере. +/-
« Последнее редактирование: 14 Сентябрь 2010, 22:52:43 от conver »
Лучше быть умным и иногда тупить, чем тупым и вечно умничать!

Оффлайн madnut

  • Hasta la Victoria Siempre!
  • Developers
  • *
  • Сообщений: 620
  • Сказали спасибо: 32
    • Просмотр профиля
    • Camel Disc Catalog
Re: Проблемы с производительностью
« Ответ #36 : 22 Сентябрь 2010, 23:36:15 »
Вот я и вернулся :)
К сожалению, в данный момент очень мало свободного времени, некогда даже толком прокомментировать дисскусию.
Но в любом случае всем большое спасибо за участие!  :)
Ближе к выходным соберу тестовый билд с расширенным логом для обновления диска, чтобы развенчать миф о "виновности" файла свопа в подвисании программы. А дальше будем постепенно смотреть, где и что можно еще улучшить в этом плане. Я был бы очень благодарен, если бы хотя бы у некоторых из вас нашлось немного времени поучаствовать. Еще раз спасибо) Ждите обновлений
Помогли? Скажи спасибо!

Оффлайн madnut

  • Hasta la Victoria Siempre!
  • Developers
  • *
  • Сообщений: 620
  • Сказали спасибо: 32
    • Просмотр профиля
    • Camel Disc Catalog
Re: Проблемы с производительностью
« Ответ #37 : 27 Сентябрь 2010, 02:50:55 »
Собрал тестовый билд.
Изменения и описание здесь
Скачиваем здесь (для работы последнего билда нужен более ранний 1492й билд)

alexansh и другие заинтересованные лица,

можете погонять снова, теперь в логе будет намного больше букав :) (ток нужно включить расширенный лог)
только, жаль, исчезнет ошибка с pagefile.sys. ну зато хоть время посмотреть можно будет, что же там так долго работает. жду результатов с выдержками из логов

насчет перезатирания лог файла (где-то выше проскакивало такое): могу предположить, что в настройках стоит лимит на лог файл, поэтому при очередном старте программа удаляла старый лог из-за превышения лимита, поэтому и вышло, что лог стал абсолютно чистый.
Помогли? Скажи спасибо!

Оффлайн alexansh

  • *
  • Сообщений: 21
  • Сказали спасибо: 1
    • Просмотр профиля
Re: Проблемы с производительностью
« Ответ #38 : 30 Сентябрь 2010, 20:37:19 »
Для тестирования скачал версию программы cdc_2.3.1.1492_alpha.7z, установил расширенный log-файл и без плагинов сканирование заняло ~10 мин. Но когда включил плагины, то программа CDC сначала начала работать и я мог видеть это в открытом окне программы. Но спустя небольшое время (я даже не уследил, через сколько) я даже не смог раскрыть окно CDC по значку на панели инструментов (значок присутствовал на панели, а раскрыть окно не мог. В диспетчере программ процессы CDC и Manager plugins присутствовали, но, похоже, не работали. Запустить снова CDC я естественно не мог. Пришлось закрыть процессы и после этого снова запустил сканирование диска C: с включенными плагинами - результат был тот же. Оставил работать компьютер на ночь, но всё также висело и на следующий день. Даже log-файл не появился.

Оффлайн madnut

  • Hasta la Victoria Siempre!
  • Developers
  • *
  • Сообщений: 620
  • Сказали спасибо: 32
    • Просмотр профиля
    • Camel Disc Catalog
Re: Проблемы с производительностью
« Ответ #39 : 30 Сентябрь 2010, 22:07:25 »
Для тестирования скачал версию программы cdc_2.3.1.1492_alpha.7z

Эм... как бы надо 1501 билд поверх 1492 переписать  ::)
Помогли? Скажи спасибо!

Оффлайн alexansh

  • *
  • Сообщений: 21
  • Сказали спасибо: 1
    • Просмотр профиля
Re: Проблемы с производительностью
« Ответ #40 : 01 Октябрь 2010, 13:05:47 »
Цитировать
Эм... как бы надо 1501 билд поверх 1492 переписать

Хорошо, перепишем. Попробуем. Потом сообщим о результатах. :)
« Последнее редактирование: 01 Октябрь 2010, 13:07:26 от alexansh »

Оффлайн alexansh

  • *
  • Сообщений: 21
  • Сказали спасибо: 1
    • Просмотр профиля
Re: Проблемы с производительностью
« Ответ #41 : 01 Октябрь 2010, 14:41:03 »
Запустил сканирование также, как и раньше с расширенным log-файлом и включенными плагинами. Программа проработала 8 мин. и зависла, как и впрошлый раз. Посылаю log-файл.

Оффлайн Admin

  • Administrator
  • *****
  • Сообщений: 551
  • Сказали спасибо: 40
    • Просмотр профиля
Re: Проблемы с производительностью
« Ответ #42 : 06 Октябрь 2010, 08:42:10 »
А попробуйте тот pdf'ник что в логе последний отдельно просканировать (в отдельной папке).

Оффлайн alexansh

  • *
  • Сообщений: 21
  • Сказали спасибо: 1
    • Просмотр профиля
Re: Проблемы с производительностью
« Ответ #43 : 06 Октябрь 2010, 11:17:40 »
Цитировать
А попробуйте тот pdf'ник что в логе последний отдельно просканировать (в отдельной папке).

Последний pdf-файл:
[01.10.10 15:58:00]: [cdc]         Adding file:   C:\Program Files\Adobe\Acrobat 9.0\Acrobat\DocSettings\CombineFiles\RUS\coversheet.pdf

Смотрите приложение. Там находится и сам pdf-файл.

Оффлайн alexansh

  • *
  • Сообщений: 21
  • Сказали спасибо: 1
    • Просмотр профиля
Re: Проблемы с производительностью
« Ответ #44 : 26 Октябрь 2010, 15:58:22 »
Цитировать
Последний pdf-файл:
[01.10.10 15:58:00]: [cdc]         Adding file:   C:\Program Files\Adobe\Acrobat 9.0\Acrobat\DocSettings\CombineFiles\RUS\coversheet.pdf

Смотрите приложение. Там находится и сам pdf-файл.

А Вы уже посмотрели сам PDF-файл ? И можно ли узнать, из-за чего возникает подобное зависание ?

 

Related Topics

  Тема / Автор Ответов Последний ответ
5 Ответов
3897 Просмотров
Последний ответ 24 Июнь 2009, 10:03:02
от Admin
1 Ответов
2125 Просмотров
Последний ответ 12 Январь 2010, 14:03:16
от madnut