Camel Disc Catalog

Camel Disc Catalog => Ошибки => : alexansh 04 September 2010, 22:45:18

: Проблемы с производительностью
: alexansh 04 September 2010, 22:45:18
До сего момента пользовался cd bank cataloguer 2.8 build 430 русифицированной. Всё устраивало. Работала программа достаточно быстро. Но недавно, к моему сожалению, по неосторожности "утратил" установочный файл этой программы и нигде не могу скачать. А сайт пргограммы http://www.qunom.com прекратил своё существование. Кстати, может быть у кого-то есть эта программа ?
А когда искал cd bank cataloguer, то наткнулся на cdc. Попробовал, вроде неплохо, но как-то долго идёт сканирование и несколько раз зависала намертво. Вот пытаюсь разобраться в этом, видно, что потенциал у cdc достаточно большой. Хотелось бы её использовать. Но у cd bank cataloguer таких серьёзных зависаний не было. Правда, отчетов там сделать мне не удавалось. Ещё, попробовал работать с WhereIsIt, о которой много говорят. Действительно, хорошая и быстрая программа, но не бесплатная и поэтому с ограничениями. Поэтому с ней и нет смысла завязываться.
В итоге, если смогу избавиться от зависаний в cdc, то буду пользоваться ей.
: Проблемы с производительностью
: madnut 05 September 2010, 11:59:06
alexansh,

зависания наблюдаются в последней 2.3 версии? если так, попробуйте определить в деталях, в каком именно случае это происходит и напишите нам. посмотрим
: Проблемы с производительностью
: Admin 06 September 2010, 09:23:27
Я так понял зависало на сканировании файлов, если так, то надо выяснить на каких.
: Проблемы с производительностью
: alexansh 06 September 2010, 09:54:42
Уважаемые разработчики, программой CDC я пользуюсь совсем недавно. Возможно, что ещё не всё освоил. Пробовал и с включенными плагинами и с отключенными.
Ранее пользовался CD Bank Cataloguer. Было всё без проблем. Пробовал и WhereIsIt - тоже всё нормально.

А с CDC - на одном и том же PC то проходит всё хорошо, хотя и очень долго, то идёт зависание.
Т.е., работа сходу не получается.
При возникновении всех предыдущих зависаний log-файлы я не смотрел.
А в последних 2-х случаях (на разных компьютерах) решил посмотреть и увидел ошибку 32.

Смотрите ниже последние сроки log-файла.

...
[06.09.10 10:04:25]: Ошибка: Не удалось извлечь время файла 'C:\WINDOWS\Temp\Perflib_Perfdata_83c.dat' (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[06.09.10 10:04:25]: Ошибка: Не удалось открыть 'C:\WINDOWS\Temp\Perflib_Perfdata_83c.dat' для чтение (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[06.09.10 10:04:25]: Ошибка: Не удалось открыть 'C:\hiberfil.sys' для чтение (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[06.09.10 10:04:25]: Ошибка: Не удалось извлечь время файла 'C:\hiberfil.sys' (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[06.09.10 10:04:25]: Ошибка: Не удалось открыть 'C:\pagefile.sys' для чтение (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[06.09.10 10:04:25]: Ошибка: Не удалось извлечь время файла 'C:\pagefile.sys' (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[06.09.10 11:07:18]: [cdc]         Время сканирования    3812 сек.      
[06.09.10 11:07:18]: [cdc]     задача "Обновление диска" end (thread: 5740)         
[06.09.10 11:07:18]: [cdc] задача "update_disk" end (thread: 5740)         
: Проблемы с производительностью
: Admin 06 September 2010, 13:44:56
Ну это вполне естественно. Так на этом происходит зависание? Дальше пусто?

P.S. А диск C сканируете ради теста или это вам действительно надо?  ???
: Проблемы с производительностью
: alexansh 06 September 2010, 16:17:36
Диск сканирую не ради теста. Это действительно надо. Просто хочу перейти на CDC и прежде должен быть уверен в этой программе и научиться более-менее обращаться с ней.

Вот log-файлы с 2-х компьютеров.
Показываю только абзацы, выдаваемые в момент ошибки.


[06.09.10 10:04:25]: Ошибка: Не удалось открыть 'C:\hiberfil.sys' для чтение (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[06.09.10 10:04:25]: Ошибка: Не удалось извлечь время файла 'C:\hiberfil.sys' (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[06.09.10 10:04:25]: Ошибка: Не удалось открыть 'C:\pagefile.sys' для чтение (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[06.09.10 10:04:25]: Ошибка: Не удалось извлечь время файла 'C:\pagefile.sys' (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[06.09.10 11:07:18]: [cdc]         Время сканирования    3812 сек.      
[06.09.10 11:07:18]: [cdc]     задача "Обновление диска" end (thread: 5740)         
[06.09.10 11:07:18]: [cdc] задача "update_disk" end (thread: 5740)      
--------------------------------------------------------------

[06.09.10 09:31:27]: Ошибка: Не удалось извлечь время файла 'C:\WINDOWS\Temp\Perflib_Perfdata_83c.dat' (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[06.09.10 09:31:27]: Ошибка: Не удалось открыть 'C:\WINDOWS\Temp\Perflib_Perfdata_83c.dat' для чтение (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[06.09.10 09:31:28]: Ошибка: Не удалось открыть 'C:\hiberfil.sys' для чтение (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[06.09.10 09:31:28]: Ошибка: Не удалось извлечь время файла 'C:\hiberfil.sys' (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[06.09.10 09:31:28]: Ошибка: Не удалось открыть 'C:\pagefile.sys' для чтение (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[06.09.10 09:31:28]: Ошибка: Не удалось извлечь время файла 'C:\pagefile.sys' (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[06.09.10 09:43:53]: [cdc]         Время сканирования    989 сек.      
[06.09.10 09:43:53]: [cdc]     задача "Обновление диска" end (thread: 1680)         
[06.09.10 09:43:53]: [cdc] задача "update_disk" end (thread: 1680)         
--------------------------------------------------------------


[03.09.10 10:08:28]: Ошибка: Не удалось извлечь время файла 'C:\WINDOWS\Temp\Perflib_Perfdata_7a0.dat' (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[03.09.10 10:08:28]: Ошибка: Не удалось открыть 'C:\WINDOWS\Temp\Perflib_Perfdata_7a0.dat' для чтение (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[03.09.10 10:08:29]: Ошибка: Не удалось открыть 'C:\hiberfil.sys' для чтение (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[03.09.10 10:08:29]: Ошибка: Не удалось извлечь время файла 'C:\hiberfil.sys' (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[03.09.10 10:08:29]: Ошибка: Не удалось открыть 'C:\pagefile.sys' для чтение (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[03.09.10 10:08:29]: Ошибка: Не удалось извлечь время файла 'C:\pagefile.sys' (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[03.09.10 10:18:07]: [cdc]                 Constructing filename for autobackup         
[03.09.10 10:18:54]: [cdc]                 Constructing filename for autobackup         
[03.09.10 10:19:23]: [cdc]                 Constructing filename for autobackup         
[03.09.10 10:21:34]: [cdc]                 Constructing filename for autobackup         
[03.09.10 12:27:42]: [cdc]                 Время сканирования    8493 сек.      
[03.09.10 12:27:42]: [cdc]             задача "Обновление диска" end (thread: 6088)         
[03.09.10 12:27:42]: [cdc]         задача "update_disk" end (thread: 6088)         
[03.09.10 12:28:13]: [cdc]         задача "close_db" begin (thread: 2008)         
[03.09.10 12:28:13]: [cdc]             задача "Закрыть базу данных" begin (thread: 2008)         
[03.09.10 12:28:13]: [cdc]                 задача "Обновление информации базы данных" begin (thread: 2008)         
[03.09.10 12:28:13]: [cdc]                 задача "Обновление информации базы данных" end (thread: 2008)         
[03.09.10 12:28:13]: [cdc]             задача "Закрыть базу данных" end (thread: 2008)         
[03.09.10 12:28:13]: [cdc]         задача "close_db" end (thread: 2008)         
[03.09.10 12:28:13]: [cdc]         CDC Завершение OK         
--------------------------------------------------------------

[02.09.10 10:08:07]: Ошибка: Не удалось открыть 'C:\WINDOWS\Temp\Perflib_Perfdata_d98.dat' для чтение (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[02.09.10 10:08:07]: Ошибка: Не удалось извлечь время файла 'C:\WINDOWS\Temp\Perflib_Perfdata_d98.dat' (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[02.09.10 10:08:07]: Ошибка: Не удалось открыть 'C:\WINDOWS\Temp\Perflib_Perfdata_d98.dat' для чтение (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[02.09.10 10:08:08]: Ошибка: Не удалось открыть 'C:\hiberfil.sys' для чтение (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[02.09.10 10:08:08]: Ошибка: Не удалось извлечь время файла 'C:\hiberfil.sys' (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[02.09.10 10:08:08]: Ошибка: Не удалось открыть 'C:\pagefile.sys' для чтение (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[02.09.10 10:08:08]: Ошибка: Не удалось извлечь время файла 'C:\pagefile.sys' (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[02.09.10 10:30:32]: [cdc]         Время сканирования    3144 сек.      
[02.09.10 10:30:32]: [cdc]     задача "Обновление диска" end (thread: 5124)         
[02.09.10 10:30:32]: [cdc] задача "update_disk" end (thread: 5124)         
[02.09.10 10:30:53]: [cdc] Constructing filename for autobackup         
[02.09.10 10:31:35]: [cdc] Constructing filename for autobackup         
[02.09.10 10:32:15]: [cdc] Constructing filename for autobackup         
[02.09.10 10:32:38]: [cdc] задача "Создание списка элементов диска" begin (thread: 2996)         
[02.09.10 10:32:38]: [cdc]     задача "Найден диск" begin (thread: 2996)         
[02.09.10 10:32:38]: [cdc]         Буква диска   C:\      
[02.09.10 10:32:38]: [cdc]         Информация о диске   MS Windows XP Pro SP3      
[02.09.10 10:32:38]: [cdc]         Информация о серийном номере   51A3-CDA7      
[02.09.10 10:32:38]: [cdc]         Тип диска   фиксированный      
[02.09.10 10:32:38]: [cdc]         Свободного места на диске   399,92 ГБ      
*****
: Проблемы с производительностью
: Admin 06 September 2010, 19:32:07
Диск сканирую не ради теста. Это действительно надо.
:o

Просто хочу перейти на CDC и прежде должен быть уверен в этой программе и научиться более-менее обращаться с ней.

Вот log-файлы с 2-х компьютеров.
Показываю только абзацы, выдаваемые в момент ошибки.

Вы так и не ответили на мой вопрос. После этой "ошибки" программа зависает? То, что она не может прочитать эти файлы - это вполне естественно, т.к. прочитать их невозможно (по крайней мере стандартными методами), другое дело, что вылетать\зависать CDC при этом не должна.

P.S. Логи лучше показывать вложенными файлами, чем копировать их содержимое. Так будет удобнее.
: Проблемы с производительностью
: conver 06 September 2010, 20:07:56
Таки да.. Надо-б что-б программа не пыталась сканировать, как минимум, скрытые файлы, как максимум ещё и системные. Галочку такую сделать в панели сканирования, что-ли.. А то на каждом закрытом на чтение файлике конкретные зависоны будут.

Хотя, с другой стороны, это-ж кому из програмистов могло прийти в голову мысль, что появится пользователь, который захочет отсканировать системный диск...
: Проблемы с производительностью
: Admin 06 September 2010, 21:41:56
Таки да.. Надо-б что-б программа не пыталась сканировать, как минимум, скрытые файлы, как максимум ещё и системные. Галочку такую сделать в панели сканирования, что-ли.. А то на каждом закрытом на чтение файлике конкретные зависоны будут.
У вас тоже проблемы на этих файлах или это просто предположение? Для чего добавлять системный диск я конечно не знаю, но это один из главных тестов на стабильность. У меня он без проблем добавляется, системные файлы просто пропускаются (что не совсем корректно, но приемлемо).
: Проблемы с производительностью
: conver 06 September 2010, 21:58:28
   Это просто предложение. Так сказать, чтобы предусмотреть все возможности. А то задержки 5-6 сек на каждом заблокированном системой файле, да ещё и с последующим его пропуском - зачем такое надо?
   Но если этого не сделают, я, лично, плакать не буду. Никогда ещё не делал каталогизатором образов из системных директорий. Зачем?? На край для этого у меня есть DiskDir для тоталкомандера. Делает снимок 6Gb диска C за 20 сек и размером 3 Mb всего.
: Проблемы с производительностью
: alexansh 07 September 2010, 08:24:14
По поводу зависания.
Я думал, что из log-файлов всё понятно (см.ниже). Там же проставлено время - с 10:08 и до 10:30 программа ВИСЕЛА.

[02.09.10 10:08:08]: Ошибка: Не удалось извлечь время файла 'C:\pagefile.sys' (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
[02.09.10 10:30:32]: [cdc]         Время сканирования    3144 сек.   

...другое дело, что вылетать\зависать CDC при этом не должна.   <--- Но CDC зависла

А по поводу того, нужно ли сканировать системный диск или нет, то это дело пользователя. У меня, например, есть кроме системного диска и архивный. Данные хранятся на архивном, но многие рабочие файлы временно хранятся и на системном диске. Для того, чтобы быстро найти нужную информацию, я и иногда сканирую в том числе и системный диск. По-моему, здесь нет ничего криминального. Если в этом есть необходимость, почему этого не делать. Кстати, в других каталогизаторах таких проблем почему-то нет. Я просто пользовался ими. Сканировал всё, где была нужная мне информация. И согласитесь, что вопрос-то не в том - нужно это делать или нет, а в том, чтобы решить возникшую проблему. Раньше я тоже писал программы и знаю, что алгоритм должен быть таким, чтобы на любой возможный вариант действия пользователя должна  быть вполне конкретная реакция программы. Мы старались следовать формуле "Пользователь всегда прав". Ну, в разумных пределах, конечно.
: Проблемы с производительностью
: Admin 07 September 2010, 12:26:46
...другое дело, что вылетать\зависать CDC при этом не должна.   <--- Но CDC зависла
Так вот в чем дело. Под зависла - я понимаю тот случай, когда помогает только снятие программы.

Там же проставлено время - с 10:08 и до 10:30 программа ВИСЕЛА.
Что значит висела? Не реагировала на действия пользователя?

По поводу зависания.
Я думал, что из log-файлов всё понятно (см.ниже).
Из логов понятно только одно, программа сканировала диск почти час, и то что после файла C:\pagefile.sys сканирование продолжалось еще около 22 минут. Что происходило в этом время, скажут только оракулы. Надо включать расширенный лог и смотреть. Может проблема совсем в другом.

При первоначальном сканировании такие же проблемы? Или только при обновлении?
: Проблемы с производительностью
: alexansh 07 September 2010, 20:44:59
Из ~10 сканирований жестких дисков, кстати, не только системных, только 2 сканирования прошли достаточно быстро и без проблем. Обновление дисков у меня не прошло ни разу. Делал это на 3-х разных компьютерах.

Согласитесь, что время реакции на системные файлы не должно быть таким большим. Существует такая наука - эргономика, которая занимается, в том числе и такими проблемами. Например, если какой-то сайт не открывается в течение определённого времени (речь идет о нескольких секундах, 4 или 6 секунд), то на этот сайт заходить не будут. Так устроена психика человека. И ещё много интересного изучает эта наука. То же самое касается и ожидания в работе программы. Тем более, когда есть с чем сравнивать. Программа CDC мне нравится, и если Вы решите эти вопросы, то выиграют все. А Вы в большей степени.

Если Вы настроены устранять эту проблему, то я готов помочь, предоставляя log-файлы подробные и неподробные. Сделаю сканирование с теми настройками, которые порекомендуете. Затем вышлю log-файлы за какой-то период.

А если мы будем говорить о том, что не надо сканировать системные диски, где, кстати, очень многие пользователи хранят в "Мои документы" практически все свои данные. Про рабочий стол я уже и не говорю. Тогда наш диалог не имеет смысла.
Согласитесь, что пользователи бывают разные. И продвинутые, и не очень. Очень многим сколько ни говоришь о том, что свои данные лучше хранить на другом физическом или логическом диске - они продолжают хранить данные там, где и хранили. Но искать документы им всё-равно нужно. Поэтому приходится подстраиваться и под таких пользователей.
: Проблемы с производительностью
: Admin 07 September 2010, 21:45:16
С кем ведется эта дискуссия? Я просто ответил Conver'у что не знаю для чего сканировать системный диск, а вы вместо того, что бы ответить на мои вопросы развели диалог на несколько абзацев  ;)

Из ~10 сканирований жестких дисков, кстати, не только системных, только 2 сканирования прошли достаточно быстро и без проблем.
Обновление дисков у меня не прошло ни разу. Делал это на 3-х разных компьютерах.
Так уж не разу? А логи откуда?

Но давайте вернемся к нашим баранам. Во первых разберемся с терминологией, что бы нам всем было проще:
1) Программа вылетела - закрылась сама по себе, возможно с каким-нибудь сообщением об ошибке.
2) Программа зависла - перестала реагировать на действия пользователя, признаков жизни не подает, приложение необходимо снять через диспетчер задач.
Если же программа, что делала, пусть и очень долго, но в итоге сделала это, то речь идет о проблемах со скоростью, а вовсе не зависаниях.
В нашем случае, судя по логам, обновление всё таки прошло успешно.
Опять же вы упорно привязались к системным файлам типа свопа, хотя я говорил о том, что вовсе не факт, что тормозит именно на них. На моей машине добавление системного диска занимает не более 2-3 минут.

В общем предлагаю такой вариант:
Для эксперимента выбираем один диск, думаю оптимальным будет тот системный диск, что почти час обновлялся.
С отключенными плагинами:
1) Грохаем все старые логи, они нас только запутают.
2) Сканируем диск
3) Закрываем программу
4) Архивируем лог, вылаживаем на форуме.
P.S. Опция проверки файлов на читаемость - должна быть выключена.

Со включенными плагинами:
Если диск добавляется, но очень долго, то:
1) Грохаем все старые логи.
2) Включаем в настройках опцию "расширенный лог", в лог будет писаться каждый добавленный файл, размер будет большой, да и скорость сканирования упадет существенно.
3) Смотрим сканирование какого файла (файлов) занимало много времени.
4) Копируем эти файлы в отдельную папку, добавляем только эту папку - смотрим скорость.
5) Если проблема в файлах, высылаем их нам на анализ.
: Проблемы с производительностью
: alexansh 08 September 2010, 07:26:59
По поводу терминологии согласен.
Договорились. Буду тестировать системный диск и когда буду готов, то выдам информацию для анализа. А куда прикреплять log-файлы  ? Что-то я не нашел в меню "Ответить".
: Проблемы с производительностью
: Admin 08 September 2010, 08:35:27
Дополнительные опции - Вложение
: Проблемы с производительностью
: alexansh 08 September 2010, 09:17:07
С отключенными плагинами:
1) Грохаем все старые логи, они нас только запутают.
2) Сканируем диск
3) Закрываем программу
4) Архивируем лог, вылаживаем на форуме.
P.S. Опция проверки файлов на читаемость - должна быть выключена.

Прошло всё нормально - 19 минут и безо всяких проблем.
: Проблемы с производительностью
: Admin 08 September 2010, 10:01:56
Прошло всё нормально - 19 минут и безо всяких проблем.
Долговато для 65 гиг, но всё зависит от количества файлов. А CD Bank за сколько такой диск добавляет? (хотя в плане скорости мы почти от всех отстаем).

P.S. Раз без плагинов добавляется нормально, значит тупит на каких то файлах при извлечении дополнительной инфы. Особенно долго делаются превью для графических файлов, если таких у вас много, то не удивительно, что процесс занимает столько времени.
: Проблемы с производительностью
: alexansh 08 September 2010, 10:22:55
Со включенными плагинами:
Если диск добавляется, но очень долго, то:
1) Грохаем все старые логи.
2) Включаем в настройках опцию "расширенный лог", в лог будет писаться каждый добавленный файл, размер будет большой, да и скорость сканирования упадет существенно.
3) Смотрим сканирование какого файла (файлов) занимало много времени.
4) Копируем эти файлы в отдельную папку, добавляем только эту папку - смотрим скорость.
5) Если проблема в файлах, высылаем их нам на анализ.

Тоже прошло всё нормально - 17 мин. Даже меньше по времени при расширенном логе.
Перед началом как 1-го, так и 2-го тестирования я удалял и log-файлы и сам сканируемый диск из группы. Почему так получается, пока не понимаю. У меня на компьютере ничего не менялось.
Может быть попробовать сделать то же самое несколько раз ? И посмотреть на стабильность выполнения ? Больше никакие параметры в CDC не надо изменять для проверки ?

А обновление тестировать по той же схеме ?
Какие будут Ваши предложения ?

PS. Есть наличие отсканированных файлов .jpg ~236 мб, b не так много архивных .rar.
: Проблемы с производительностью
: Admin 08 September 2010, 10:43:27
Тоже прошло всё нормально - 17 мин. Даже меньше по времени при расширенном логе.
Скорее всего у вас не включены плагины. Включали\выключали как? Через список плагинов? В таком случае после включение у вас нет привязки расширений к соответствующим плагинам: закладка "ассоциации".

PS. Есть наличие отсканированных файлов .jpg ~236 мб, b не так много архивных .rar.
Архивы мы не обрабатываем. Насчет jpg, тут надо решить - нужны ли вам превью, если нет, то отключите их в настройках плагина. Это существенно ускорит сканирование изображений и уменьшит размер базы.
: Проблемы с производительностью
: alexansh 08 September 2010, 11:56:23
Да, извините. Вы правы, плагины я не включил при 2-ом тестировании.
Сделаю ещё раз и выложу log-файлы.

PS. По поводу системных файлов. Может быть, действительно, как предлагал здесь на форуме Conver, сделать опцию относительно таких файлов ?
: Проблемы с производительностью
: Admin 08 September 2010, 12:38:29
PS. По поводу системных файлов. Может быть, действительно, как предлагал здесь на форуме Conver, сделать опцию относительно таких файлов ?
:o опять двадцать пять... причем тут ТАКИЕ файлы?
: Проблемы с производительностью
: alexansh 08 September 2010, 16:12:20
опять двадцать пять... причем тут ТАКИЕ файлы?

Запустил обновление системного диска в 13.47.
В 13.58 в log-файле появилась последняя строка:

[08.09.10 13:58:18]: Ошибка: Не удалось извлечь время файла 'C:\pagefile.sys' (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)

Уже 18.10, а движения нет никакого. Отображаются сообщения Предустановки - Синхронизация дисков. Плагины у меня отключены.
: Проблемы с производительностью
: alexansh 09 September 2010, 07:52:22
опять двадцать пять... причем тут ТАКИЕ файлы?

Посмотрел log-файл на следующий день - обновление закончилось в 19.59, т.е. с 13.58 cdc работала 6 часов. Но, тем не менее закончила работу нормально.

Строка, над которй так долго работала CDC:

[08.09.10 13:58:18]: Ошибка: Не удалось извлечь время файла 'C:\pagefile.sys' (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)

Сам log-файл, к сожалению не сохранился, т.к. CDC работала 9 сентября 2010 г. и компьютер не отключался. Я посмотрел log-файл (CDC.logger.[ 09 Sep 2010 ].log), закрыл программу, а потом снова открыл её, думая, что на следующий день будет открыт новый log-файл (CDC.logger.[ 10 Sep 2010 ].log). Но почему-то перезаписался старый log-файл (CDC.logger.[ 09 Sep 2010 ].log). Т.е., имя файла вчерашнее, а содержимое уже новое. Но успел посмотреть и понять, что такая большая пауза была при обработке файла pagefile.sys.

Т.о., запуск CDC был сделан в 13.47, остановка на pagefile.sys в 13.58 и завершение работы CDC ыбло в 19.59.

PS. В момент обработки pagefile.sys на экране были сообщения - Предустановки - Синхронизация дисков. Плагины при обновлении были отключены.
: Проблемы с производительностью
: alexansh 10 September 2010, 20:52:58
опять двадцать пять... причем тут ТАКИЕ файлы?

Похоже, дискуссия закончилась ?
: Проблемы с производительностью
: Admin 11 September 2010, 01:18:38
Похоже, дискуссия закончилась ?
У нас оказывается дискуссия?  :D Терпение, иногда еще приходится работать  ;)

PS. В момент обработки pagefile.sys на экране были сообщения - Предустановки - Синхронизация дисков. Плагины при обновлении были отключены.
Вы себе упорно вбили в голову, что глючит именно на обработке этого файла. Хотя это не более, чем предположение, абсолютно ничем не подкрепленное, может так, а может и нет. К сожалению расширенный лог (оказывается) не работает при обновлении дисков, поэтому пока ничего путного предложить не могу. Если проблема только на обновлениях, а не сканировании, то ждем когда MadNut вернется с отпуска, возможно он соберет для вас спецбилд (если у вас будет такое желание) или докуртит раширенный лог к обновлению, или еще что то путное предложит...

P.S. Ваше дело конечно, какие диски каталогизировать, но я бы на вашем месте (раз уж храните, что то на системном диске) всё таки сканировал нужные папки, а не целый диск с кучей файлов.

P.P.S. Не удивлюсь, что проблема вообще не в файлах, а в медленном обновление диска. С учетом гигантского количества файлов на диске C оно у вас может просто загинаться. Если я прав, то во время этого дикого процесса, идет постоянная загрузка процессора (или одного из ядер) процессом CDC, а дисковая активность - небольшая. Хотя это тоже не показатель...
: Проблемы с производительностью
: alexansh 13 September 2010, 07:59:50
Вы себе упорно вбили в голову, что глючит именно на обработке этого файла.

Что же Вы так кипятитесь? Системные файлы, не системные. По-моему, я следую Вашему же алгоритму, по которому Вам же и предоставляю log-файлы, в которых как раз и появляется строка именно с pagefile.sys, на которой и происходит большая задержка.

Вот эта строка из log-файла:
[08.09.10 13:58:18]: Ошибка: Не удалось извлечь время файла 'C:\pagefile.sys' (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)

А я лишь констатирую факт log-файлом из Вашей же программы для того, чтобы помочь устранить существующую проблему. А о причине, вызывающей эту проблему я не говорю. Об этом Вы сами и рассуждаете. Если хотите, чтобы я помогал, предоставлял информацию, как один их пользователей программы CDC, то пожалуйста, если же хотите только посоветовать не сканировать системный диск, опять же, Вам самим и решать это, т.к., Вы и разрабатываете CDC программу. Но очень многие пользователи хранят нужную информацию на системных дисках (для меня это не столь актуально). Мало кто делает вообще разбивку дисков. И думаю, что Вы это знаете не хуже меня. Вы же должны ориентироваться не на программистов и системщиков, а на обычных пользователей, как мне казалось.
Короче, если хотите продолжения эксперимента, помогу предоставлением информации, ну а нет, значит нет. Ведь я тоже работаю и дел у меня хватает.
: Проблемы с производительностью
: AndL 13 September 2010, 13:55:54
P.P.S. Не удивлюсь, что проблема вообще не в файлах, а в медленном обновление диска. С учетом гигантского количества файлов на диске C оно у вас может просто загинаться. Если я прав, то во время этого дикого процесса, идет постоянная загрузка процессора (или одного из ядер) процессом CDC, а дисковая активность - небольшая. Хотя это тоже не показатель...
На моём компе (феном 3х) 100 тыс. файлов системного диска каталогизируются за 1 час при 100% загрузке одного ядра (без плагинов). На других дисках файлов гораздо больше. Соответстенно требуется ещё больше времени. Т.е. пользоваться CDC для каталогизации жёстких дисков я не могу. При этом у wincatalog 2009 на мой системный диск уходит 1-2 минуты. CDC превосходен во всём, кроме скорости.
Есть ли надежда решить эту проблему?
: Проблемы с производительностью
: conver 13 September 2010, 19:34:00
CDC превосходен во всём, кроме скорости.
  Ну не знаю...
диск C (SSD)   36412 файлов   -   время сканирования 1мин 58сек
диск H (2.5" HDD), каталог с 102453 файлами   -   время сканирования 6мин 37сек
  // WinXPsp3, Core2duo 3GHz (загрузка, кстати, 68% на 1 ядро), антивирус, дефендер, резиденты - не отключал... плагины выключены. //
: Проблемы с производительностью
: Admin 13 September 2010, 22:33:54
Вы себе упорно вбили в голову, что глючит именно на обработке этого файла.
Что же Вы так кипятитесь?
Вам показалось ;)


Системные файлы, не системные. По-моему, я следую Вашему же алгоритму, по которому Вам же и предоставляю log-файлы, в которых как раз и появляется строка именно с pagefile.sys, на которой и происходит большая задержка.

Вот эта строка из log-файла:
[08.09.10 13:58:18]: Ошибка: Не удалось извлечь время файла 'C:\pagefile.sys' (ошибка 32: процесс не может получить доступ к файлу, так как этот файл занят другим процессом.)
Это строка показывает только то, что в это время не удалось прочитать этот файл. Что будет абсолютно всегда, в данном случае это нормально.

Если хотите, чтобы я помогал, предоставлял информацию, как один их пользователей программы CDC, то пожалуйста, если же хотите только посоветовать не сканировать системный диск, опять же, Вам самим и решать это, т.к., Вы и разрабатываете CDC программу. Но очень многие пользователи хранят нужную информацию на системных дисках (для меня это не столь актуально). Мало кто делает вообще разбивку дисков.
Всё это вовсе не так, у большинства людей диск разбит на части... через меня проходит очень большое количество компьютеров, так что это не голословное. Я не заставляю вас хранить информацию где то. Я просто порекомендовал сканировать не весь диск C, а нужные его части. Эта же рекомендация касается и других дисков. Я считаю, что так значительно быстрее и удобнее. А уж как поступать это ваше дело.

И думаю, что Вы это знаете не хуже меня. Вы же должны ориентироваться не на программистов и системщиков, а на обычных пользователей, как мне казалось.
Короче, если хотите продолжения эксперимента, помогу предоставлением информации, ну а нет, значит нет. Ведь я тоже работаю и дел у меня хватает.
Честно говоря, мы уже давно ни на кого не рассчитываем. Это мертвая тема. По поводу "эксперимента" - расширенный лог при обновлении диска оказался совсем не расширенным и по нему ничего не понятно. Числа 20 вернется наш ответственный товарищ MadNut, и мы вам соберем (надеюсь) спецверсию, в которой можно будет посмотреть где затык происходит. Лично я считаю, что проблема именно в синхронизации файлов, то что обновление проходит дольше, чем сканирование - это факт. Но похоже замедление происходит в геометрической прогрессии.
Только еще раз спрошу: проблема только в обновлениях? При обычном сканировании без плагинов такой проблемы не возникало?
: Проблемы с производительностью
: alexansh 14 September 2010, 07:56:03
Только еще раз спрошу: проблема только в обновлениях?

Похоже, что в обновлениях. Но, тем не менее, я ещё сделаю 2-3 раза обычное сканирование и обновление для статистики. И тогда, ещё раз скажу о полученных результатах.
: Проблемы с производительностью
: AndL 14 September 2010, 11:04:10
CDC превосходен во всём, кроме скорости.
 Ну не знаю...
диск C (SSD)   36412 файлов   -   время сканирования 1мин 58сек
диск H (2.5" HDD), каталог с 102453 файлами   -   время сканирования 6мин 37сек
У меня так:
wincatalog - 90 сек. 100тыс. файлов системного диска.
CDC тот же диск, первое добавление в пустую базу - 14,5 минут.
После этого обновление того же диска - подсчёт файлов идёт более 15 минут при высокой интенсивности дисковых операций и простаивании процессора (устал ждать подсчёт и снял задачу).
На добавление того же диска в непустую базу требуется больше времени в зависимости от объёма базы. Например второе добавление того же диска требует уже примерно полчаса 39 минут.
Третье добавление идёт 65 минут.
: Проблемы с производительностью
: Admin 14 September 2010, 15:45:48
Да, по скорости нам до WinCatalog далеко. А вот насчет повторного сканирования это уже интересно... посмотрим.
: Проблемы с производительностью
: conver 14 September 2010, 19:29:38
100тыс. файлов системного диска.
CDC тот же диск, первое добавление в пустую базу - 14,5 минут.
После этого обновление того же диска - подсчёт файлов идёт более 15 минут при высокой интенсивности дисковых операций и простаивании процессора (устал ждать подсчёт и снял задачу).
На добавление того же диска в непустую базу требуется больше времени в зависимости от объёма базы. Например второе добавление того же диска требует уже примерно полчаса 39 минут.
Третье добавление идёт 65 минут.
   Опять-таки не знаю... Я диски отнюдь не в пустую базу добавлял, там почти полмиллиона файлов было на тот момент.
   А вот обновление диска, точно - пока больное место программы. Тот-же диск C, как я писал, читался 1мин 58сек, а обновлялся 30мин 12сек. Но и процедура обновления, я так думаю, посложнее простого добавления в базу.
   
: Проблемы с производительностью
: Admin 14 September 2010, 22:27:58
У меня воспроизводится. Еще особо не тестировал, но повторное добавление того же самого диска в базу, занимает намного больше времени. Действие конечно, бессмысленнное, но такого быть не должно. В свободное время погоняю это дело в других вариациях.
: Проблемы с производительностью
: conver 14 September 2010, 22:50:43
   Ну, действие не очень бессмысленное - так удобно поступать с DVD сборниками. Просто разницы не заметно.
   И кстати, эксперименты показывают, что время добавления каталога с 30000 файлов не зависит от его содержимого, т.е. у меня не получается, что сканирование одного и того-же каталога каждый раз всё дольше. Я делал 4 каталога с одинаковым количеством примерно одинаковых файлов и добавлял их последовательно. Время каждый раз увеличивалось. Так что похоже время сканирования зависит от размера базы и числа элементов в ней. Что в какой-то мере логично.

   P.S. И увеличивается практически пропорционально процентному увеличению базы. В какой-то мере. +/-
: Re: Проблемы с производительностью
: madnut 22 September 2010, 23:36:15
Вот я и вернулся :)
К сожалению, в данный момент очень мало свободного времени, некогда даже толком прокомментировать дисскусию.
Но в любом случае всем большое спасибо за участие!  :)
Ближе к выходным соберу тестовый билд с расширенным логом для обновления диска, чтобы развенчать миф о "виновности" файла свопа в подвисании программы. А дальше будем постепенно смотреть, где и что можно еще улучшить в этом плане. Я был бы очень благодарен, если бы хотя бы у некоторых из вас нашлось немного времени поучаствовать. Еще раз спасибо) Ждите обновлений
: Re: Проблемы с производительностью
: madnut 27 September 2010, 02:50:55
Собрал тестовый билд.
Изменения и описание здесь (http://www.cameldisc.com/forum/index.php/topic,312.msg2460.html#msg2460)
Скачиваем здесь (http://cameldisc.com/redmine/projects/camel-disc-catalog/files) (для работы последнего билда нужен более ранний 1492й билд)

alexansh и другие заинтересованные лица,

можете погонять снова, теперь в логе будет намного больше букав :) (ток нужно включить расширенный лог)
только, жаль, исчезнет ошибка с pagefile.sys. ну зато хоть время посмотреть можно будет, что же там так долго работает. жду результатов с выдержками из логов

насчет перезатирания лог файла (где-то выше проскакивало такое): могу предположить, что в настройках стоит лимит на лог файл, поэтому при очередном старте программа удаляла старый лог из-за превышения лимита, поэтому и вышло, что лог стал абсолютно чистый.
: Re: Проблемы с производительностью
: alexansh 30 September 2010, 20:37:19
Для тестирования скачал версию программы cdc_2.3.1.1492_alpha.7z, установил расширенный log-файл и без плагинов сканирование заняло ~10 мин. Но когда включил плагины, то программа CDC сначала начала работать и я мог видеть это в открытом окне программы. Но спустя небольшое время (я даже не уследил, через сколько) я даже не смог раскрыть окно CDC по значку на панели инструментов (значок присутствовал на панели, а раскрыть окно не мог. В диспетчере программ процессы CDC и Manager plugins присутствовали, но, похоже, не работали. Запустить снова CDC я естественно не мог. Пришлось закрыть процессы и после этого снова запустил сканирование диска C: с включенными плагинами - результат был тот же. Оставил работать компьютер на ночь, но всё также висело и на следующий день. Даже log-файл не появился.
: Re: Проблемы с производительностью
: madnut 30 September 2010, 22:07:25
Для тестирования скачал версию программы cdc_2.3.1.1492_alpha.7z

Эм... как бы надо 1501 билд поверх 1492 переписать  ::)
: Re: Проблемы с производительностью
: alexansh 01 October 2010, 13:05:47
Эм... как бы надо 1501 билд поверх 1492 переписать

Хорошо, перепишем. Попробуем. Потом сообщим о результатах. :)
: Re: Проблемы с производительностью
: alexansh 01 October 2010, 14:41:03
Запустил сканирование также, как и раньше с расширенным log-файлом и включенными плагинами. Программа проработала 8 мин. и зависла, как и впрошлый раз. Посылаю log-файл.
: Re: Проблемы с производительностью
: Admin 06 October 2010, 08:42:10
А попробуйте тот pdf'ник что в логе последний отдельно просканировать (в отдельной папке).
: Re: Проблемы с производительностью
: alexansh 06 October 2010, 11:17:40
А попробуйте тот pdf'ник что в логе последний отдельно просканировать (в отдельной папке).

Последний pdf-файл:
[01.10.10 15:58:00]: [cdc]         Adding file:   C:\Program Files\Adobe\Acrobat 9.0\Acrobat\DocSettings\CombineFiles\RUS\coversheet.pdf

Смотрите приложение. Там находится и сам pdf-файл.
: Re: Проблемы с производительностью
: alexansh 26 October 2010, 15:58:22
Последний pdf-файл:
[01.10.10 15:58:00]: [cdc]         Adding file:   C:\Program Files\Adobe\Acrobat 9.0\Acrobat\DocSettings\CombineFiles\RUS\coversheet.pdf

Смотрите приложение. Там находится и сам pdf-файл.

А Вы уже посмотрели сам PDF-файл ? И можно ли узнать, из-за чего возникает подобное зависание ?
: Re: Проблемы с производительностью
: madnut 26 October 2010, 21:24:28
Последний pdf-файл:
[01.10.10 15:58:00]: [cdc]         Adding file:   C:\Program Files\Adobe\Acrobat 9.0\Acrobat\DocSettings\CombineFiles\RUS\coversheet.pdf

Смотрите приложение. Там находится и сам pdf-файл.

А Вы уже посмотрели сам PDF-файл ? И можно ли узнать, из-за чего возникает подобное зависание ?

Файл смотрели, проблема возникает в самой библиотеке обработки PDF файлов. Последняя на данный момент версия тоже имеет данную проблему. По мере выхода новых версий буду проверять, исправили или нет, если что, сообщу. Может еще посмотрю, что в плагине можно сделать.

Насчет зависания ничего сказать не могу, т.к. у меня просто отваливается сам плагин и перегружается плагин-менеджер, но после этого все идет дальше нормально. Так что тут ничего сказать не могу. Проверьте, может у вас вылазит какое-то окошко, которое не видно за другими и оно тормозит весь процесс, такое бывало уже. Больше идей нет
: Re: Проблемы с производительностью
: alexansh 26 October 2010, 22:05:21
Файл смотрели, проблема возникает в самой библиотеке обработки PDF файлов.

Madnut, спасибо за информацию. Конечно, подождём более новой версии и будем снова пробовать работу вашей программы. В целом, программа мне нравится и хотелось бы её использовать. Надеюсь, что общими усилиями, а в основном, конечно усилиями с Вашей стороны, проблема разрешится в конце концов.
Желаю удачи.
: Re: Проблемы с производительностью
: madnut 26 October 2010, 23:19:21
Файл смотрели, проблема возникает в самой библиотеке обработки PDF файлов.

Madnut, спасибо за информацию. Конечно, подождём более новой версии и будем снова пробовать работу вашей программы. В целом, программа мне нравится и хотелось бы её использовать. Надеюсь, что общими усилиями, а в основном, конечно усилиями с Вашей стороны, проблема разрешится в конце концов.
Желаю удачи.

Спасибо, я тоже надеюсь. Кто бы пару лишних дней в неделю подкинул только :)
: Re: Проблемы с производительностью
: madnut 31 October 2010, 01:12:47
Последний pdf-файл:
[01.10.10 15:58:00]: [cdc]         Adding file:   C:\Program Files\Adobe\Acrobat 9.0\Acrobat\DocSettings\CombineFiles\RUS\coversheet.pdf

Смотрите приложение. Там находится и сам pdf-файл.

А Вы уже посмотрели сам PDF-файл ? И можно ли узнать, из-за чего возникает подобное зависание ?

Файл смотрели, проблема возникает в самой библиотеке обработки PDF файлов. Последняя на данный момент версия тоже имеет данную проблему. По мере выхода новых версий буду проверять, исправили или нет, если что, сообщу. Может еще посмотрю, что в плагине можно сделать.

Насчет зависания ничего сказать не могу, т.к. у меня просто отваливается сам плагин и перегружается плагин-менеджер, но после этого все идет дальше нормально. Так что тут ничего сказать не могу. Проверьте, может у вас вылазит какое-то окошко, которое не видно за другими и оно тормозит весь процесс, такое бывало уже. Больше идей нет

Удалось таки немного подправить плагин, чтобы он не вылетал на подобных файлах. Прикрепляю обновленную версию, только не уверен, будет ли она работать корректно с 2.3.0 релизом, но с 2.3.1 альфой должна вести себя нормально. Также обновил библиотеку, которую использует плагин, на последнюю стабильную на данный момент версию.

Попробуйте, будет ли с ней подвисать или нет. Если кто может проверить на 2.3.0, то тоже отпишитесь.
Распаковывать также, как файлы лежат в архиве, то есть один - в папку с прогой, второй - в папку plugins.
: Re: Проблемы с производительностью
: alexansh 02 November 2010, 14:37:18
но с 2.3.1 альфой должна вести себя нормально. Также обновил библиотеку, которую использует плагин, на последнюю стабильную на данный момент версию.

А откуда скачать подправленную версию 2.3.1 альфа ?
Ранее я уже скачивал 2.3.1 альфа и пробовал с ней работать ( cdc_2.3.1.1492_alpha.7z ).
: Re: Проблемы с производительностью
: madnut 07 November 2010, 23:31:43
но с 2.3.1 альфой должна вести себя нормально. Также обновил библиотеку, которую использует плагин, на последнюю стабильную на данный момент версию.

А откуда скачать подправленную версию 2.3.1 альфа ?
Ранее я уже скачивал 2.3.1 альфа и пробовал с ней работать ( cdc_2.3.1.1492_alpha.7z ).

Насколько мне помнится, Вы и не только с 1492 пробовали :)
Все альфа версии лежат обычно на трекере (http://cameldisc.com/redmine/projects/camel-disc-catalog/files). Тема по ним здесь (http://www.cameldisc.com/forum/index.php/topic,312.0.html), там же найдете список изменений и ссылки для скачивания.

А теперь непосредственно по теме производительности:
Сегодня обновил билд до 1508 - содержит обновленный алгоритм обновления :)
По неоффициальным данным прирост скорости от 50% до >1500% по сравнению с 2.3.0 релизом.
Сканирование не менял, поэтому можете не писать по этому поводу пока.

Еще напомню - это альфа версия, могут быть ошибки в работе или неправильное поведение, пробуйте только на копиях своих баз и о всех странностях пишите в соответствующей теме (см. выше).

p.s. архив с 1508 билдом полный, т.е. к нему не надо докачивать никаких дополнительных файлов и т.п., просто распаковываете и пользуетесь.
: Re: Проблемы с производительностью
: MichaelJex 29 September 2021, 10:41:21
Всего в мире зафиксировали 230 418 451 случай коронавирусной инфекции. За сутки было выявлено 483 898 заболевших COVID-19.
Об этом свидетельствуют данные Всемирной организации здравоохранения (ВОЗ).
 
Отмечается, что число скончавшихся пациентов с COVID-19 достигло 4 724 876 подробная информация доступна на ресурсе: 
https://forum.resmihat.kz/viewtopic.php?f=10&t=96