site-auditor 1.4.1

Site Auditor
============

Для чего
--------
Этот инструмент необходим для анализа и аудита сайтов. Осуществляет быстрый и качественный сбор информации в автоматическом режиме, достаточно указать цель.

Особенности
-----------
- Open Source
- WHOIS
- ip, title, description, keywords, web-server, powered by, content language, content type
- Яндекс ТИЦ, Google PR, Alexa rank (во всем мире/в отдельной стране)
- Проверка на наличие в каталогах Яндекс, Mail, Yahoo, DMOZ, TDP
- Количество ссылок в Яндекс Блоги (часто требует капчу), Google, Яндекс (сколько проиндексировано всего (часто требует капчу)/попаввшие в индекс), Yahoo, Bing (в индексе, кол-во исходящих ссылок)
- Проверка установки Яндекс метрики, Google Analytics, Live Internet, Rambler TOP100, Mail Rating
- Проверка существования страниц авторизации - Joomla, WordPress, UMI.CMS, Ucoz, Bitrix, /admin, /login, MODX, DLE, Drupal, ISP Manager
- Вывод ``sitemap.xml`` и ``robots.txt``, если существуют.
- W3C HTML validator
- Безопасный просмотр

Пример работы
-------------
.. code-block::

Enter site, please: google.ru
Full scan? y/n y
==================================================
WHOIS
==================================================
domain: GOOGLE.RU
nserver: ns1.google.com.
nserver: ns2.google.com.
nserver: ns3.google.com.
nserver: ns4.google.com.
state: REGISTERED, DELEGATED, VERIFIED
org: Google Inc.
registrar: RU-CENTER-REG-RIPN
admin-contact: https://www.nic.ru/whois
created: 2004.03.04
paid-till: 2014.03.05
free-date: 2014.04.05
source: TCI

nic-hdl: RU-CENTER-REG-RIPN
org: Regional Network Information Center
phone: +7 495 737 0601
fax-no: +7 495 737 0602
e-mail: ru-bill@nic.ru
www: https://www.nic.ru/whois
whois: whois.nic.ru
source: TCI

Last updated on 2014.02.09 16:31:33 MSK
==================================================
Base site information
==================================================
Site ip - 87.245.196.177
Web Server - gws
Powered by - NO
Content Language - NO
Content Type - text/html; charset=UTF-8
Site title - Google
Description - NO
Key words - NO
W3C HTML validator - 26 Errors, 3 warning(s)
==================================================
Ranks
==================================================
Yandex TYC - 64000
Google Page Rank - 7
Alexa Rank in all world - 42
Alexa Rank in Russia - 3
==================================================
Catalogs
==================================================
Yandex Catalog - YES
Mail Catalog - YES
Yahoo Catalog - NO
DMOZ Catalog - YES, 16
TDP Catalog - YES
==================================================
Links
==================================================
Yandex Blog links - 418563
Proindexirovano v Google - примерно 1340000
Proindexirovano v Yandex - 2 млн
Popavshie v index Yandex - 123875
Yahoo index - 3,320,000
Bing index - 3190000
Bing Outgoing Links - 59600
==================================================
Stats
==================================================
Yandex Metrika - NO
Google Analytics - NO
Live Internet - NO
Rambler TOP100 - NO
Mail Rating - NO
==================================================
Admins
==================================================
Joomla Admin Directory - NO
WordPress Admin Directory - NO
UMI.CMS Admin Directory - NO
Ucoz Admin Directory - NO
Bitrix Admin Directory - NO
Simple Login Page - NO
Simple Admin Login Page - NO
MODX Admin Directory or ISP Manager - NO
DLE Admin Directory - NO
Drupal Login page - NO
==================================================
Safe Browsing
==================================================
Google - NO - В настоящее время этот сайт не занесен в список подозрительных. NO - За последние 90 дней на этом сайте не размещалось вредоносное ПО.
Yandex - Сайт google.ru не заражён, либо подробности заражения ещё не опубликованы
Site Advisor - This link is safe. We tested it and didn't find any significant security issues
==================================================
Files
==================================================
Robots.txt: EMPTY
SiteMap XML: EMPTY
==================================================
All Time - 14.97 seconds
==================================================


Установка
---------

Для работы **Site Auditor** необходим `Requests <https://github.com/kennethreitz/requests>`_ и Python 3.4.

Вы можете `скачать <https://github.com/stleon/OmgSite/archive/master.zip>`_ текущую версию (все самое новое). Или вы также способны на следующее:

.. code-block::

pip install requests
pip install site-auditor


Как пользоваться
----------------

На данный момент мы на стадии **Pre-Alpha**. Вы можете увидеть сообщения об ошибках и т.д. Но **Site Auditor** работает на
большинстве протестированных мной сайтов.

.. code-block::

cd site_auditor
python site_auditor.py

Куда будет развиваться
----------------------
Планируем сделать:

- Web-приложение
- Анализ позиций сайтов по запросам
- Статистика по каждому запросу
- Возможность ранжирования запросов
- Система контроля работы сайта с оповещением

Copyright (C) 2014 ST LEON

email: leonst998@gmail.com

web site: http://omgit.ru

История изменений
=================

1.4.1 (22.03.2014)
-----------------
Исправлено:

- определение кол-ва ссылок с яда

1.4.0 (17.03.2014)
-----------------
Изменено:

- Никаких 'YES'or 'NO' в атрибутах, теперь True or False

1.3.8 (17.03.2014)
-----------------
Добавлено:

- Python 3.4

1.3.7 (16.03.2014)
-----------------
Изменено:

- Новый вид сканирования

1.3.6 (10.03.2014)
-----------------
Изменено:

- ``SiteException`` перенесен в ``site_auditor.py``


1.3.5 (09.03.2014)
-----------------
Добавлено:

- багфиксы, адаптация под модели saw

1.3.1 - 1.3.4 (26.02.2014)
-----------------
Добавлено:

- pip install
- новая реализация __str__

Удалены:

- *txt файлы (out)

1.3.0 (26.02.2014)
-----------------
Добавлено:

- 2 вида сканирования - полное и частичное

1.2.6 - 1.2.7 (25.02.2014)
-----------------
Добавлено:

- Docs fix

1.2.5 (19.02.2014)
-----------------
Добавлено:

- Site Advisor

1.2.4 (17.02.2014)
-----------------
Добавлено:

- Вывод времени, затраченного на анализ

1.2.3 (11.02.2014)
-----------------
Добавлено:

- Поиск чистого домена

1.2.2 (11.02.2014)
-----------------
Добавлено:

- Исходящие ссылки Bing
- Страницы в индексе Bing


1.2.1 (11.02.2014)
-----------------
Добавлено:

- TDP Catalog
- Yahoo index

1.2.0 (10.02.2014)
-----------------
Добавлено:

- Безопасный просмотр

1.1.2 (10.02.2014)
-----------------
Удалено:

- Неиспользуемый код

1.1.1 (10.02.2014)
-----------------
Добавлено:

- Новая функция парсера

1.1.0 (09.02.2014)
-----------------
Добавлено:

- ``Microdata`` в тестовом режиме
- Обновлены доки

1.0.5 (09.02.2014)
-----------------
Добавлено:

- Теперь строковое представление объекта можно настраивать в ``out.txt``
- Обновлены доки

1.0.4 (08.02.2014)
-----------------
Исправлено:

- Никаких "!№" и тд в домене

1.0.3 (08.02.2014)
-----------------
Исправлено:

- Домен не менее 4х символов
- ``www`` теперь не удаляются

1.0.2 (07.02.2014)
-----------------
Исправлено:

- Домен не длиннее 255 символов
- Работа с доменами, написанными на кириллице

1.0.1 (07.02.2014)
-----------------
Изменения:

- Нет u'', так как Python 3

1.0.0 (07.02.2014)
-----------------
Изменения:

- Переход на Python 3.3

0.2.1 (05.02.2014)
-----------------
Добавлено:

- W3C HTML validator

0.2.0 (05.02.2014)
-----------------
Добавлено:

- Whois

0.1.0 (04.02.2014)
-----------------
Добавлено:

- Проверка существования страниц авторизации MODX, DLE, Drupal, ISP Manager

0.0.1 (04.02.2014)
-----------------
Добавлено:

- класс ``SiteAuditor`` и класс ``MetaHTMLParser``