Автор Тема: Проблемы с производительностью  (Прочитано 15728 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн Admin

  • Administrator
  • *****
  • Сообщений: 551
  • Сказали спасибо: 40
    • Просмотр профиля
Проблемы с производительностью
« Ответ #15 : 08 Сентябрь 2010, 08:35:27 »
Дополнительные опции - Вложение

Оффлайн alexansh

  • *
  • Сообщений: 21
  • Сказали спасибо: 1
    • Просмотр профиля
Проблемы с производительностью
« Ответ #16 : 08 Сентябрь 2010, 09:17:07 »
Цитировать
С отключенными плагинами:
1) Грохаем все старые логи, они нас только запутают.
2) Сканируем диск
3) Закрываем программу
4) Архивируем лог, вылаживаем на форуме.
P.S. Опция проверки файлов на читаемость - должна быть выключена.

Прошло всё нормально - 19 минут и безо всяких проблем.
« Последнее редактирование: 08 Сентябрь 2010, 09:57:53 от Admin »

Оффлайн Admin

  • Administrator
  • *****
  • Сообщений: 551
  • Сказали спасибо: 40
    • Просмотр профиля
Проблемы с производительностью
« Ответ #17 : 08 Сентябрь 2010, 10:01:56 »
Цитировать
Прошло всё нормально - 19 минут и безо всяких проблем.
Долговато для 65 гиг, но всё зависит от количества файлов. А CD Bank за сколько такой диск добавляет? (хотя в плане скорости мы почти от всех отстаем).

P.S. Раз без плагинов добавляется нормально, значит тупит на каких то файлах при извлечении дополнительной инфы. Особенно долго делаются превью для графических файлов, если таких у вас много, то не удивительно, что процесс занимает столько времени.

Оффлайн alexansh

  • *
  • Сообщений: 21
  • Сказали спасибо: 1
    • Просмотр профиля
Проблемы с производительностью
« Ответ #18 : 08 Сентябрь 2010, 10:22:55 »
Цитировать
Со включенными плагинами:
Если диск добавляется, но очень долго, то:
1) Грохаем все старые логи.
2) Включаем в настройках опцию "расширенный лог", в лог будет писаться каждый добавленный файл, размер будет большой, да и скорость сканирования упадет существенно.
3) Смотрим сканирование какого файла (файлов) занимало много времени.
4) Копируем эти файлы в отдельную папку, добавляем только эту папку - смотрим скорость.
5) Если проблема в файлах, высылаем их нам на анализ.

Тоже прошло всё нормально - 17 мин. Даже меньше по времени при расширенном логе.
Перед началом как 1-го, так и 2-го тестирования я удалял и log-файлы и сам сканируемый диск из группы. Почему так получается, пока не понимаю. У меня на компьютере ничего не менялось.
Может быть попробовать сделать то же самое несколько раз ? И посмотреть на стабильность выполнения ? Больше никакие параметры в CDC не надо изменять для проверки ?

А обновление тестировать по той же схеме ?
Какие будут Ваши предложения ?

PS. Есть наличие отсканированных файлов .jpg ~236 мб, b не так много архивных .rar.

Оффлайн Admin

  • Administrator
  • *****
  • Сообщений: 551
  • Сказали спасибо: 40
    • Просмотр профиля
Проблемы с производительностью
« Ответ #19 : 08 Сентябрь 2010, 10:43:27 »
Тоже прошло всё нормально - 17 мин. Даже меньше по времени при расширенном логе.
Скорее всего у вас не включены плагины. Включали\выключали как? Через список плагинов? В таком случае после включение у вас нет привязки расширений к соответствующим плагинам: закладка "ассоциации".

Цитировать
PS. Есть наличие отсканированных файлов .jpg ~236 мб, b не так много архивных .rar.
Архивы мы не обрабатываем. Насчет jpg, тут надо решить - нужны ли вам превью, если нет, то отключите их в настройках плагина. Это существенно ускорит сканирование изображений и уменьшит размер базы.

Оффлайн alexansh

  • *
  • Сообщений: 21
  • Сказали спасибо: 1
    • Просмотр профиля
Проблемы с производительностью
« Ответ #20 : 08 Сентябрь 2010, 11:56:23 »
Да, извините. Вы правы, плагины я не включил при 2-ом тестировании.
Сделаю ещё раз и выложу log-файлы.

PS. По поводу системных файлов. Может быть, действительно, как предлагал здесь на форуме Conver, сделать опцию относительно таких файлов ?

Оффлайн Admin

  • Administrator
  • *****
  • Сообщений: 551
  • Сказали спасибо: 40
    • Просмотр профиля
Проблемы с производительностью
« Ответ #21 : 08 Сентябрь 2010, 12:38:29 »
PS. По поводу системных файлов. Может быть, действительно, как предлагал здесь на форуме Conver, сделать опцию относительно таких файлов ?
:o опять двадцать пять... причем тут ТАКИЕ файлы?

Оффлайн alexansh

  • *
  • Сообщений: 21
  • Сказали спасибо: 1
    • Просмотр профиля
Проблемы с производительностью
« Ответ #22 : 08 Сентябрь 2010, 16:12:20 »
Цитировать
опять двадцать пять... причем тут ТАКИЕ файлы?

Запустил обновление системного диска в 13.47.
В 13.58 в log-файле появилась последняя строка:

[08.09.10 13:58:18]: Ошибка: Не удалось извлечь время файла 'C:\pagefile.sys' (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)

Уже 18.10, а движения нет никакого. Отображаются сообщения Предустановки - Синхронизация дисков. Плагины у меня отключены.

Оффлайн alexansh

  • *
  • Сообщений: 21
  • Сказали спасибо: 1
    • Просмотр профиля
Проблемы с производительностью
« Ответ #23 : 09 Сентябрь 2010, 07:52:22 »
Цитировать
опять двадцать пять... причем тут ТАКИЕ файлы?

Посмотрел log-файл на следующий день - обновление закончилось в 19.59, т.е. с 13.58 cdc работала 6 часов. Но, тем не менее закончила работу нормально.

Строка, над которй так долго работала CDC:

[08.09.10 13:58:18]: Ошибка: Не удалось извлечь время файла 'C:\pagefile.sys' (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)

Сам log-файл, к сожалению не сохранился, т.к. CDC работала 9 сентября 2010 г. и компьютер не отключался. Я посмотрел log-файл (CDC.logger.[ 09 Sep 2010 ].log), закрыл программу, а потом снова открыл её, думая, что на следующий день будет открыт новый log-файл (CDC.logger.[ 10 Sep 2010 ].log). Но почему-то перезаписался старый log-файл (CDC.logger.[ 09 Sep 2010 ].log). Т.е., имя файла вчерашнее, а содержимое уже новое. Но успел посмотреть и понять, что такая большая пауза была при обработке файла pagefile.sys.

Т.о., запуск CDC был сделан в 13.47, остановка на pagefile.sys в 13.58 и завершение работы CDC ыбло в 19.59.

PS. В момент обработки pagefile.sys на экране были сообщения - Предустановки - Синхронизация дисков. Плагины при обновлении были отключены.

Оффлайн alexansh

  • *
  • Сообщений: 21
  • Сказали спасибо: 1
    • Просмотр профиля
Проблемы с производительностью
« Ответ #24 : 10 Сентябрь 2010, 20:52:58 »
Цитировать
опять двадцать пять... причем тут ТАКИЕ файлы?

Похоже, дискуссия закончилась ?

Оффлайн Admin

  • Administrator
  • *****
  • Сообщений: 551
  • Сказали спасибо: 40
    • Просмотр профиля
Проблемы с производительностью
« Ответ #25 : 11 Сентябрь 2010, 01:18:38 »
Похоже, дискуссия закончилась ?
У нас оказывается дискуссия?  :D Терпение, иногда еще приходится работать  ;)

Цитировать
PS. В момент обработки pagefile.sys на экране были сообщения - Предустановки - Синхронизация дисков. Плагины при обновлении были отключены.
Вы себе упорно вбили в голову, что глючит именно на обработке этого файла. Хотя это не более, чем предположение, абсолютно ничем не подкрепленное, может так, а может и нет. К сожалению расширенный лог (оказывается) не работает при обновлении дисков, поэтому пока ничего путного предложить не могу. Если проблема только на обновлениях, а не сканировании, то ждем когда MadNut вернется с отпуска, возможно он соберет для вас спецбилд (если у вас будет такое желание) или докуртит раширенный лог к обновлению, или еще что то путное предложит...

P.S. Ваше дело конечно, какие диски каталогизировать, но я бы на вашем месте (раз уж храните, что то на системном диске) всё таки сканировал нужные папки, а не целый диск с кучей файлов.

P.P.S. Не удивлюсь, что проблема вообще не в файлах, а в медленном обновление диска. С учетом гигантского количества файлов на диске C оно у вас может просто загинаться. Если я прав, то во время этого дикого процесса, идет постоянная загрузка процессора (или одного из ядер) процессом CDC, а дисковая активность - небольшая. Хотя это тоже не показатель...
« Последнее редактирование: 11 Сентябрь 2010, 02:26:57 от Admin »

Оффлайн alexansh

  • *
  • Сообщений: 21
  • Сказали спасибо: 1
    • Просмотр профиля
Проблемы с производительностью
« Ответ #26 : 13 Сентябрь 2010, 07:59:50 »
Цитировать
Вы себе упорно вбили в голову, что глючит именно на обработке этого файла.

Что же Вы так кипятитесь? Системные файлы, не системные. По-моему, я следую Вашему же алгоритму, по которому Вам же и предоставляю log-файлы, в которых как раз и появляется строка именно с pagefile.sys, на которой и происходит большая задержка.

Вот эта строка из log-файла:
[08.09.10 13:58:18]: Ошибка: Не удалось извлечь время файла 'C:\pagefile.sys' (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)

А я лишь констатирую факт log-файлом из Вашей же программы для того, чтобы помочь устранить существующую проблему. А о причине, вызывающей эту проблему я не говорю. Об этом Вы сами и рассуждаете. Если хотите, чтобы я помогал, предоставлял информацию, как один их пользователей программы CDC, то пожалуйста, если же хотите только посоветовать не сканировать системный диск, опять же, Вам самим и решать это, т.к., Вы и разрабатываете CDC программу. Но очень многие пользователи хранят нужную информацию на системных дисках (для меня это не столь актуально). Мало кто делает вообще разбивку дисков. И думаю, что Вы это знаете не хуже меня. Вы же должны ориентироваться не на программистов и системщиков, а на обычных пользователей, как мне казалось.
Короче, если хотите продолжения эксперимента, помогу предоставлением информации, ну а нет, значит нет. Ведь я тоже работаю и дел у меня хватает.

Оффлайн AndL

  • *
  • Сообщений: 8
  • Сказали спасибо: 0
    • Просмотр профиля
Проблемы с производительностью
« Ответ #27 : 13 Сентябрь 2010, 13:55:54 »
P.P.S. Не удивлюсь, что проблема вообще не в файлах, а в медленном обновление диска. С учетом гигантского количества файлов на диске C оно у вас может просто загинаться. Если я прав, то во время этого дикого процесса, идет постоянная загрузка процессора (или одного из ядер) процессом CDC, а дисковая активность - небольшая. Хотя это тоже не показатель...
На моём компе (феном 3х) 100 тыс. файлов системного диска каталогизируются за 1 час при 100% загрузке одного ядра (без плагинов). На других дисках файлов гораздо больше. Соответстенно требуется ещё больше времени. Т.е. пользоваться CDC для каталогизации жёстких дисков я не могу. При этом у wincatalog 2009 на мой системный диск уходит 1-2 минуты. CDC превосходен во всём, кроме скорости.
Есть ли надежда решить эту проблему?

Оффлайн conver

  • **
  • Сообщений: 92
  • Сказали спасибо: 5
    • Просмотр профиля
Проблемы с производительностью
« Ответ #28 : 13 Сентябрь 2010, 19:34:00 »
Цитировать
CDC превосходен во всём, кроме скорости.
  Ну не знаю...
диск C (SSD)   36412 файлов   -   время сканирования 1мин 58сек
диск H (2.5" HDD), каталог с 102453 файлами   -   время сканирования 6мин 37сек
  // WinXPsp3, Core2duo 3GHz (загрузка, кстати, 68% на 1 ядро), антивирус, дефендер, резиденты - не отключал... плагины выключены. //
Лучше быть умным и иногда тупить, чем тупым и вечно умничать!

Оффлайн Admin

  • Administrator
  • *****
  • Сообщений: 551
  • Сказали спасибо: 40
    • Просмотр профиля
Проблемы с производительностью
« Ответ #29 : 13 Сентябрь 2010, 22:33:54 »
Цитировать
Вы себе упорно вбили в голову, что глючит именно на обработке этого файла.
Что же Вы так кипятитесь?
Вам показалось ;)


Цитировать
Системные файлы, не системные. По-моему, я следую Вашему же алгоритму, по которому Вам же и предоставляю log-файлы, в которых как раз и появляется строка именно с pagefile.sys, на которой и происходит большая задержка.

Вот эта строка из log-файла:
[08.09.10 13:58:18]: Ошибка: Не удалось извлечь время файла 'C:\pagefile.sys' (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
Это строка показывает только то, что в это время не удалось прочитать этот файл. Что будет абсолютно всегда, в данном случае это нормально.

Цитировать
Если хотите, чтобы я помогал, предоставлял информацию, как один их пользователей программы CDC, то пожалуйста, если же хотите только посоветовать не сканировать системный диск, опять же, Вам самим и решать это, т.к., Вы и разрабатываете CDC программу. Но очень многие пользователи хранят нужную информацию на системных дисках (для меня это не столь актуально). Мало кто делает вообще разбивку дисков.
Всё это вовсе не так, у большинства людей диск разбит на части... через меня проходит очень большое количество компьютеров, так что это не голословное. Я не заставляю вас хранить информацию где то. Я просто порекомендовал сканировать не весь диск C, а нужные его части. Эта же рекомендация касается и других дисков. Я считаю, что так значительно быстрее и удобнее. А уж как поступать это ваше дело.

Цитировать
И думаю, что Вы это знаете не хуже меня. Вы же должны ориентироваться не на программистов и системщиков, а на обычных пользователей, как мне казалось.
Короче, если хотите продолжения эксперимента, помогу предоставлением информации, ну а нет, значит нет. Ведь я тоже работаю и дел у меня хватает.
Честно говоря, мы уже давно ни на кого не рассчитываем. Это мертвая тема. По поводу "эксперимента" - расширенный лог при обновлении диска оказался совсем не расширенным и по нему ничего не понятно. Числа 20 вернется наш ответственный товарищ MadNut, и мы вам соберем (надеюсь) спецверсию, в которой можно будет посмотреть где затык происходит. Лично я считаю, что проблема именно в синхронизации файлов, то что обновление проходит дольше, чем сканирование - это факт. Но похоже замедление происходит в геометрической прогрессии.
Только еще раз спрошу: проблема только в обновлениях? При обычном сканировании без плагинов такой проблемы не возникало?

 

Related Topics

  Тема / Автор Ответов Последний ответ
5 Ответов
3897 Просмотров
Последний ответ 24 Июнь 2009, 10:03:02
от Admin
1 Ответов
2125 Просмотров
Последний ответ 12 Январь 2010, 14:03:16
от madnut