Page 1 of 4 123 ... LastLast
Results 1 to 15 of 144

Thread: Экономия трафика (Privoxy + Polipo)

Hybrid View

Previous Post Previous Post   Next Post Next Post
  1. #1
    Join Date
    Aug 2008
    Location
    Taganrog, Rostov Region
    Posts
    397

    Exclamation Экономия трафика (Privoxy + Polipo)

    Установка privoxy+polipo. Часть 1. Privoxy

    Устанавливаем privoxy.
    Code:
    ipkg install privoxy
    Не обязательно.
    На сайте РУССКИЙ PRIVOXY забираем дополнительный набор фильтров.
    Распаковываем их в /opt/etv/privoxy В readmi.txt описано, как правильно их подключить.

    Правим конфиг.
    Code:
    confdir /opt/etc/privoxy
    templdir /opt/etc/privoxy/templates
    logdir /opt/var/log
    logfile privoxy.log
    listen-address  127.0.0.1:8118
    toggle  1
    enable-remote-toggle  1
    enable-remote-http-toggle  1
    enable-edit-actions 1
    enforce-blocks 0
    buffer-limit 128
    forwarded-connect-retries  0
    accept-intercepted-requests 0
    allow-cgi-request-crunching 0
    split-large-forms 0
    keep-alive-timeout 300
    socket-timeout 300
    Если собираетесь использовать дополнительный набор фильтров, то добавляем строки выделенные курсивом:
    Code:
    actionsfile match-all.action # Actions that are applied to all sites and maybe overruled later on.
    actionsfile default.action   # Main actions file
    actionsfile adult.action #http://privoxy.org.ru #по желанию
    actionsfile privoxy-org-ru.action #http://privoxy.org.ru
    actionsfile user.action      # User customizations
    
    filterfile default.filter
    filterfile privoxy-org-ru.filter #http://privoxy.org.ru
    filterfile user.filter      # User customizations
    Скрипт запуска /opt/etc/init.d/S60privoxy
    Code:
    #!/bin/sh
    
    NAME="Privoxy"
    PIDFILE=/opt/var/run/privoxy.pid
    USER=proxy
    GROUP=proxy
    
    start() {
      echo "Starting $NAME... "
    #/opt/sbin/privoxy --pidfile $PIDFILE --user $USER.$GROUP --chroot /opt/etc/privoxy/config
    /opt/sbin/privoxy --pidfile $PIDFILE /opt/etc/privoxy/config
    }
    
    stop() {
      echo "Shutting down $NAME... "
      [ -f ${PIDFILE} ] && kill `cat ${PIDFILE}`
    }
    
    case "$1" in
        start)
            start
            ;;
        stop)
            stop
            ;;
        restart)
            stop
            sleep 1
            start
            ;;
        *)
            echo "Usage: $0 (start|stop|restart)"
            exit 1
            ;;
    esac
    exit 0
    Сделать запуск под пользователем proxy, я не смог.
    Если кто сможет это сделать и опишет как это сделать, буду очень благодарен.

    (11.02.2010) Ура!!! Свершилось. Пользователь vildi выложил скрипт и инструкцию по запуску privoxy под ограниченным пользователем. Читать можно тут: Установка и запуск privoxy не от root'a со стартером
    Я поставил, у меня работает. За что выражаю vildi благодорность! Спасибо!
    Last edited by Omega; 21-05-2012 at 13:29. Reason: fixed

  2. #2
    никак..
    наш роутер не имеет аппаратной функции банорезки...
    ставьте такой софт для браузеров..
    С уважением,
    Плохой Санта

  3. #3
    Quote Originally Posted by usmailer™ View Post
    никак..
    наш роутер не имеет аппаратной функции банорезки...
    ставьте такой софт для браузеров..
    Ну может программы какие то есть. Вот урл заблокировать можно, а банер нет... странно.

  4. #4
    Join Date
    Feb 2007
    Location
    Moscow, Russia
    Posts
    3,805
    вообще то есть --- называются proxy, squid, например.

  5. #5
    Join Date
    Nov 2007
    Location
    Belarus, Gomel
    Posts
    168
    Есть ещё privoxy. Посетите сайт Privoxy in Russian для настройки фильтров на "русские" баннеры.

  6. #6

    Lightbulb Кто-нибудь "режет" рекламу средствами рутера?

    Собственно сабж. Кто-нибудь пробовал ставить proxy-server - BFilter?
    http://bfilter.sourceforge.net/index.php
    Last edited by Musasimaru; 29-12-2008 at 14:44.

  7. #7
    Join Date
    Sep 2007
    Location
    Russia, Novosibirsk
    Posts
    18

    Сжимающий прокси

    Захотел сделать сжимающий прокси для телефона на своем wl500gp. Поскольку не нашел в пакетах прокси, который бы позволял сжимать gzipом страницы, решил попробовать связку lighttpd & mod_compress & polipo(легкий прокси-сервер), но столкнулся с проблемой еще на стадии связания софта. Если в браузере указать в качестве прокси 192.168.1.1:8123(polipo), то все работает. Если пустить браузер через lighttpd(192.168.1.1:8088), то запрашиваемые страницы не отдаются — минуты две браузер ждет ответ, потом появляется стартовая страница polipo, которую можно вызвать через адрес 192.168.1.1:8123 (сам lighttpd работает нормально, проверял с помощью url.redirect). В логах веб-сервера:
    Code:
    admin@router:polipo # cat /opt/var/log/lighttpd/error.log
    2009-01-28 14:02:21: (log.c.97) server started
    2009-01-28 14:02:31: (mod_proxy.c.1082) proxy - start
    2009-01-28 14:02:31: (mod_proxy.c.1120) proxy - ext found
    2009-01-28 14:02:31: (mod_proxy.c.1253) proxy - found a host 192.168.1.1 8123
    2009-01-28 14:02:31: (mod_proxy.c.377) connect delayed: 8
    2009-01-28 14:02:31: (mod_proxy.c.994) proxy: fdevent-out 1
    2009-01-28 14:02:31: (mod_proxy.c.805) proxy - connect - delayed success
    2009-01-28 14:02:31: (mod_proxy.c.961) proxy: fdevent-in 4
    2009-01-28 14:02:31: (mod_proxy.c.645) proxy - have to read: 532
    2009-01-28 14:02:54: (mod_proxy.c.1082) proxy - start
    2009-01-28 14:02:54: (mod_proxy.c.1120) proxy - ext found
    2009-01-28 14:02:54: (mod_proxy.c.1253) proxy - found a host 192.168.1.1 8123
    2009-01-28 14:02:54: (mod_proxy.c.377) connect delayed: 10
    2009-01-28 14:02:54: (mod_proxy.c.994) proxy: fdevent-out 1
    2009-01-28 14:02:54: (mod_proxy.c.805) proxy - connect - delayed success
    2009-01-28 14:02:54: (mod_proxy.c.961) proxy: fdevent-in 4
    2009-01-28 14:02:54: (mod_proxy.c.645) proxy - have to read: 532
    2009-01-28 14:04:31: (mod_proxy.c.961) proxy: fdevent-in 4
    2009-01-28 14:04:31: (mod_proxy.c.645) proxy - have to read: 0
    2009-01-28 14:04:54: (mod_proxy.c.961) proxy: fdevent-in 4
    2009-01-28 14:04:54: (mod_proxy.c.645) proxy - have to read: 0
    Кусок конфига lighttpd:
    Code:
    331 $SERVER["socket"] == "192.168.1.1:8088" {
    332     #url.redirect = (".*" => "http://example.net")
    333     proxy.debug = 1
    334     proxy.server = ("" => (
    335                            "polipo" => (
    336                                         "host" => "192.168.1.1",
    337                                         "port" => 8123
    338                            )
    339                     )
    340     )
    341 }
    Наверняка, я что-то где-то не то делаю, но что именно — понять не могу. Да и вообще не знаю, будет ли такая связка делать задуманное:-)
    Заодно может быть подскажете — есть ли какая-то альтернатива? Например, сжимающий прокси(может быть я его в списке пакетов пропустил) или альтернативные связки?

  8. #8

    Сжимающий прокси-сервер.

    Как насчет прикрутить к прошивке gzip прокси ?
    Собственно сабж здесь
    http://ziproxy.sourceforge.net/
    А для чего нужно и немного по теме здесь
    http://4pda.ru/forum/index.php?showtopic=97184&st=0

    Если вкратце, имея дома безлимит с белым IP адресом, и пользуясь где-нибудь на даче, например, дорогим и медленным gprs/edge или диалапом можно экономить на скорости/трафике в 2-4 раза (до 8 при пережатии картинок).

    Сразу отвечу в чем преимущества собственного gzip прокси в сравнении с Opera, компрессорами, акселераторами: для работы не нужны никакие специальные приблуды, любой вменяемый браузер работает с gzip сжатием (в том числе в коммуникаторе), скорость отклика и стабильность работы на порядок выше публичных (даже платных) сервисов.

    К сожалению в Linux я почти полный нуль.
    Надеюсь спецов заинтересует тема, кто заинтересован - поддержите пожалуйста вопрос...
    Last edited by dr111; 18-12-2009 at 02:58.

  9. #9
    Join Date
    Jan 2009
    Location
    Kazan, Russia
    Posts
    1,163
    Quote Originally Posted by dr111 View Post
    Как насчет прикрутить к прошивке gzip прокси ?
    А смысл? С помощью дорогого/медленного интернета вы, все равно, загружаете в роутер всю страницу. Сжимаете ее и передаете, скажем, в наладонник. Где выгода??
    Asus RT-AC66U, Xerox Phaser 3160B, on the shelf RT-N16 (Killed by lightning)
    WL-500gPv1 128MB, WL-500W 300MHz/128M, LCD 40x4, DIR-320 8Mb/64MB
    WL-700g 128MB, MNV25E2+ and more and more devices. provod.beeline.ru

    -------------------------------------------
    Computers. Since 1984. First one - "МИР-1"

  10. #10
    Join Date
    Jul 2008
    Location
    МО Лобня
    Posts
    205
    Quote Originally Posted by LnrMn View Post
    А смысл? С помощью дорогого/медленного интернета вы, все равно, загружаете в роутер всю страницу. Сжимаете ее и передаете, скажем, в наладонник. Где выгода??
    выгода очевидна:
    медленный и дорогой---------дешовый быстрый

    кпк <----- инет -----> router <---- инет -----> сайт
    _______1мб трафика___________5мб трафика

    без прокси так:

    кпк <----- инет -----> сайт
    ______5мб трафика
    Asus WL-500W (firmware wl500w-1.9.2.7-d-r, rTorrent 0.8.4, ADOS, nShaper) + WD Elements 160Gb + БП AT 200W (+5V 18A )

  11. #11
    Join Date
    Jan 2009
    Location
    Kazan, Russia
    Posts
    1,163
    Quote Originally Posted by sauron093 View Post
    выгода очевидна:
    медленный и дорогой---------дешовый быстрый

    кпк <----- инет -----> router <---- инет -----> сайт
    _______1мб трафика___________5мб трафика

    без прокси так:

    кпк <----- инет -----> сайт
    ______5мб трафика
    Даже если вы получите в кпк 1МБ. Роутер скачает 5МБ. Значит заплатите вы за 5МБ, а не за 1МБ. Где выгода?

    Я хочу Вам объяснить, что сжимающий прокси имеет смысл только на стороне провайдера, а не на стороне клиента.
    Last edited by LnrMn; 18-12-2009 at 08:30.
    Asus RT-AC66U, Xerox Phaser 3160B, on the shelf RT-N16 (Killed by lightning)
    WL-500gPv1 128MB, WL-500W 300MHz/128M, LCD 40x4, DIR-320 8Mb/64MB
    WL-700g 128MB, MNV25E2+ and more and more devices. provod.beeline.ru

    -------------------------------------------
    Computers. Since 1984. First one - "МИР-1"

  12. #12
    Quote Originally Posted by dr111 View Post
    Если вкратце, имея дома безлимит с белым IP адресом, и пользуясь где-нибудь на даче, например, дорогим и медленным gprs/edge или диалапом можно экономить на скорости/трафике в 2-4 раза (до 8 при пережатии картинок).
    И много вы видели серверов которые не используют стандартные возможности HTTP/1.1 и отдают не сжатый трафик?
    Да, на сжатии картинок вообще ничего выйграть нельзя, они практически не жмутся

  13. #13
    Quote Originally Posted by smi View Post
    И много вы видели серверов которые не используют стандартные возможности HTTP/1.1 и отдают не сжатый трафик?
    Да, на сжатии картинок вообще ничего выйграть нельзя, они практически не жмутся
    Пережатие картинок, даже jpeg, элементарно делается с потерей качества (можно посмотреть на примере Opera Turbo, режим включается прямо в новой Opere, правда сервис тормозит). Ни для кого не секрет что горе-сайтоводы могут картинку размером с ядерный полигон баннером повесить. Никакой инормативности при низком качестве картинок на сайте не теряется, разве что на пореве :.

    Как это ни прискорбно, но большинство серверов в пору развития мощностей не используют ни HTTP 1.1, ни gzip в нем (об этом можно судить по реальной работе с компрессорами трафика, сжатый трафик как известно уже практически несжимаем, в реале 2-4 раза в среднем).

  14. #14
    Quote Originally Posted by dr111 View Post
    Пережатие картинок, даже jpeg, элементарно делается с потерей качества
    Вы хотите, чтобы роутер картинки на лету конвертировал? А запорожец, под карьерный самосвал, приспособить не пробовали?

    Quote Originally Posted by dr111 View Post
    Как это ни прискорбно, но большинство серверов в пору развития мощностей не используют ни HTTP 1.1, ни gzip в нем.
    Привидите пример такого сайта, это же просто, т.к. их по вашему большинство, а я вот никак не найду

    Quote Originally Posted by dr111 View Post
    об этом можно судить по реальной работе с компрессорами трафика, сжатый трафик как известно уже практически несжимаем, в реале 2-4 раза в среднем
    Хотите я вам напишу программу, которая будет говорить, что она сжимает ваш трафик в 100 раз?

  15. #15

    bfilter - Прокси с эвристическим фильтром рекламы

    Уже давно пользуюсь сабжем под ubuntu. Отлично режет все виды рекламы без заморочек с конфигурированием и обновлением бан-листов.
    Хотел бы его поставить на WL-500gP. Попробовал самостоятельно скомпилировать - не получилось - не хватает знаний.
    Если кто может - скомпилируйте пожалуйста.

    http://ylsoftware.com/?action=news&na=viewfull&news=360
    http://bfilter.sourceforge.net/

Page 1 of 4 123 ... LastLast

Similar Threads

  1. Анализ трафика на wl500gP
    By mihalich in forum Russian Discussion - РУССКИЙ (RU)
    Replies: 178
    Last Post: 19-05-2012, 13:59

Tags for this Thread

Posting Permissions

  • You may not post new threads
  • You may not post replies
  • You may not post attachments
  • You may not edit your posts
  •