[Berlin-wireless] Community-Tunnel vs. VPN03: Bröckeliger Internetzugang

[Thorsten Maerz]

Hi!

Wenn ich über den Community-Tunnel ausleite, dann haben die angeschlossenen
Router oft Probleme, über diesen das Internet zu erreichen.
Hier ganz gut in der Jahresübersicht zu erkennen:
http://monitor.berlin.freifunk.net/detail.php?p=memory&t=memory&h=mela-n2&s=31536000&x=800&y=350

Störung bedeutet: Nachts (00-06 Uhr) gibt es selten Aussetzer, in den
Morgenstunden (06-10 Uhr) werden die Aussetzer häufiger, während des
Tages/Abends (10-22 Uhr) ist die Verbindung zum Internet meist massiv
gestört.
In der Tagesansicht sieht man das ganz gut:
http://monitor.berlin.freifunk.net/detail.php?p=memory&t=memory&h=mela-n2&s=86400&x=800&y=350
Ich habe einen Watchdog implementiert, der den Inet-Zugang überprüft,
da konnte ich über das Jahr sehen, dass die Störungen zwischen
10-22 Uhr über 20 mal häufiger auftraten, als zwischen 00-06 Uhr.
Scheint also irgendwie mit den "normalen" Arbeitszeiten zusammenzuhängen.

Kurz das Setup:
- torte-mela: Ist der Uplink, steht bei mir zu Hause und versorgt die
Melanchthon-Kirche mit Internet. Kirche hat keinen weiteren Zugang
zum Freifunk- Netz oder Internet.
- mela-n5: Ist der Linkpartner von torte-mela und hängt an mela-core
- mela-core: Versorgt die weiteren Router (mela-n2/o2/s2/w2, etc.)

Beim VPN03 traten diese Störungen nicht auf. Um das zu erhärten, habe ich
seit Oktober den Uplink auf VPN03 gestellt - da traten bis jetzt keine
Störungen auf.
Die Umstellung von Tunnel-Berlin auf VPN03 in KW42 sieht man hier gut:
http://monitor.berlin.freifunk.net/detail.php?p=memory&t=memory&h=mela-n2&s=8035200&x=800&y=350

Am Samstag habe ich wieder auf den Community-Tunnel umgestellt.
Das lief bis Montag ohne Störung, dann fing es wieder an.
In den Logs sehe ich, dass von Samstag bis Montag "vm02.roellig-it.de"
als Tunnelpartner gewählt war. Da lief es auch noch problemlos.
Am Montag wurde dann "freifunk-gw01.in-berlin.de" als Tunnelpartner
gewählt und kurz darauf fingen die Verbindungsprobleme wieder an.
Sieht man in der Wochenansicht:
http://monitor.berlin.freifunk.net/detail.php?p=memory&t=memory&h=mela-n2&s=604800&x=800&y=350

Ich vermute, dass der IN-Berlin Rechner die Probleme bereitet und habe
den Uplink gerade fest auf "vm02.roellig-it.de" gesetzt, um zu sehen, ob
die Störung dann wieder aufhören.

Zum Umschalten VPN03/Comunity-Tunnel:
Am Uplink (CPE510; Hedy-1.0.0) wurde nichts weiter verändert, ausser die
/etc/config/openvpn an den entsprechenden Tunnel anzupassen und die
passenden Zertifikate bereitzustellen (openssl ist die "große"
Version, die mit beiden Tunnel klar kommt).
Weitere Änderungen gab es nicht.

Hat jemand ein ähnliches Setup (Uplink per Community-Tunnel ohne weitere
Verbindung zum Inet + weitere Freifunk-Router nur von diesem per Mesh
versorgt) und kann berichten, ob es im Monitor ähnlich bröckelig aussieht?

[Sven Roederer]

Perry hat heute auf min. dem "freifunk-gw01.in-berlin.de" folgende

nf_conntrack: nf_conntrack: table full, dropping packet

Das mag die Verbindungsprobleme erklären ...
Warum diese Probleme bei "vm02.roellig-it.de" nicht auftauchen ist
interessant. Aber entweder hat:
* die maschine weniger Verbindungen
* jemand die Konfig hier geändert
* die Maschine eine andere Grundkonfig gehabt, bevor OpenVPN installiert
wurde

Ist schade, dass wir kein Monitoring (via Collectd) haben.

Sven

Hi!
Wenn ich über den Community-Tunnel ausleite, dann haben die angeschlossenen
Router oft Probleme, über diesen das Internet zu erreichen.
http://monitor.berlin.freifunk.net/detail.php?p=memory&t=memory&h=mela-n2&s=31536000&x=800&y=350

[Thorsten Maerz]

Unterschiedliche Anzahl Verbindungen könnte durchaus ein Punkt sein.
Der Unterschied bei der Anzahl Störungen zwischen Tag- und Nachstunden
ist ja massiv (Faktor 20).

Zwei problemlose Tage über "vm02.roellig-it.de" sind jetzt zwar kein
wirklich langer Testzeitraum, aber üblicherweise wurde ich jeden Tag
mit mindestens 3 Watchdogmeldungen pro Router beglückt, eher 7-10.
Das riecht schon stark nach Zusammenhang, wenn es zwei Tage gut geht.
Aber mal sehen, wie es sich die nächsten Tage mit "fest verdrahtetem
roellig" entwickelt.

Gruß,
Thorsten

----

On Tue, 4 Dec 2018 15:22:39 +0100

Post by Sven Roederer
Perry hat heute auf min. dem "freifunk-gw01.in-berlin.de" folgende

nf_conntrack: nf_conntrack: table full, dropping packet

Das mag die Verbindungsprobleme erklären ...
Warum diese Probleme bei "vm02.roellig-it.de" nicht auftauchen ist
* die maschine weniger Verbindungen
* jemand die Konfig hier geändert
* die Maschine eine andere Grundkonfig gehabt, bevor OpenVPN installiert
wurde
Ist schade, dass wir kein Monitoring (via Collectd) haben.
Sven

Hi!
Wenn ich über den Community-Tunnel ausleite, dann haben die angeschlossenen
Router oft Probleme, über diesen das Internet zu erreichen.
http://monitor.berlin.freifunk.net/detail.php?p=memory&t=memory&h=mela-n2&s=31536000&x=800&y=350

_______________________________________________
Berlin mailing list
http://lists.berlin.freifunk.net/cgi-bin/mailman/listinfo/berlin
Diese Mailingliste besitzt ein ffentlich einsehbares Archiv

[Sven Röllig]

Aussetzer kommen momentan nur durch einen Reboot.
Proxmox liefert momentan schnell neue Kernel.

Ich würde ja die VPN Statistik in Collectd für die
einzelnen Tunnel aktiv schalten.

Das würde aber nur wieder glaub ich zu viel Datenschutz
Diskussion geben.

Gruss
Sven

Post by Thorsten Maerz
Unterschiedliche Anzahl Verbindungen könnte durchaus ein Punkt sein.
Der Unterschied bei der Anzahl Störungen zwischen Tag- und Nachstunden
ist ja massiv (Faktor 20).
Zwei problemlose Tage über "vm02.roellig-it.de" sind jetzt zwar kein
wirklich langer Testzeitraum, aber üblicherweise wurde ich jeden Tag
mit mindestens 3 Watchdogmeldungen pro Router beglückt, eher 7-10.
Das riecht schon stark nach Zusammenhang, wenn es zwei Tage gut geht.
Aber mal sehen, wie es sich die nächsten Tage mit "fest verdrahtetem
roellig" entwickelt.
Gruß,
Thorsten
----
On Tue, 4 Dec 2018 15:22:39 +0100

Post by Sven Roederer
Perry hat heute auf min. dem "freifunk-gw01.in-berlin.de" folgende

nf_conntrack: nf_conntrack: table full, dropping packet

Das mag die Verbindungsprobleme erklären ...
Warum diese Probleme bei "vm02.roellig-it.de" nicht auftauchen ist
* die maschine weniger Verbindungen
* jemand die Konfig hier geändert
* die Maschine eine andere Grundkonfig gehabt, bevor OpenVPN installiert
wurde
Ist schade, dass wir kein Monitoring (via Collectd) haben.
Sven

Hi!
Wenn ich über den Community-Tunnel ausleite, dann haben die

angeschlossenen

Router oft Probleme, über diesen das Internet zu erreichen.

http://monitor.berlin.freifunk.net/detail.php?p=memory&t=memory&h=mela-n2&s=31536000&x=800&y=350
_______________________________________________
Berlin mailing list
http://lists.berlin.freifunk.net/cgi-bin/mailman/listinfo/berlin
Diese Mailingliste besitzt ein ffentlich einsehbares Archiv

--
Gruß,
Thorsten
_______________________________________________
Berlin mailing list
http://lists.berlin.freifunk.net/cgi-bin/mailman/listinfo/berlin
Diese Mailingliste besitzt ein ffentlich einsehbares Archiv

[Malte]

Post by Sven Roederer
Perry hat heute auf min. dem "freifunk-gw01.in-berlin.de" folgende

nf_conntrack: nf_conntrack: table full, dropping packet

...

Post by Sven Roederer
Aber entweder hat

...oder auf IN-Berlin ist einfach der ein oder andere User mit P2P o.ä. am
Machen und zufälligerweise auf dem anderen Server nicht. ;-)

Post by Sven Roederer
Ist schade, dass wir kein Monitoring (via Collectd) haben.

tail -fn0 logfile | while read line ; do
echo "$line" | grep "table full, dropping packet"
if [ $? = 0 ]; then echo "$line" | mail -s "Aaaaargh!" ***@vpn ; fi
done

Ähnliches wird auch auf Nodes gehen, wie das Thorsten ja schon macht.
Alles Monitoring hilft halt nichts, wenn man da nur Durchsatz o.ä. sieht -
woher soll man da sehen, wenn was kaputt ist, außer in Extremfällen wie
"Keine Clients auf dem Server". Und Monitoring ohne Notifications ist auch
größtenteils für die Tonne. Gleichzeitig ist unser Monitoring so
unglaublich stabil, dass es vermutlich selbst eigentlich Monitoring
braucht. Also: Am besten dezentral und low-tech. ;-)

Grüße,
Malte

[Sven Roederer]

Collectd ist nicht unbedingt die Lösung, drum hatte ich's in Klammern gesetzt.
Aber für VPN03f funktioniert's [1], da könnte man aus aussenstehender dann
ja auch was sehen. Es sollte doch in den Problemzeiten ein recht stabiler
Strich in Diagramm zu sehen sein.
Benachrichtigung ist natürlich auch nicht verkehrt. Aber hier kann man sicher
beim VPN03 abgucken.

Es gab ja auch schon mehrere Ansätze dsa Monitoring zu überarbeiten, aber
so richtig produktiv scheint mir davon nix zu sein.

Wobei EMail-Versand das Problem von SMTP erzeugt (SMART-host, SMTP-Server auf
dem Gateway, ...), aber das ist auch ein anderes Thema.

Sven

1 - http://monitor.berlin.freifunk.net/host.php?h=vpn03f.berlin.freifunk.net&p=conntrack

Post by Malte

Post by Sven Roederer
Ist schade, dass wir kein Monitoring (via Collectd) haben.

tail -fn0 logfile | while read line ; do
        echo "$line" | grep "table full, dropping packet"
done
Ähnliches wird auch auf Nodes gehen, wie das Thorsten ja schon macht. Alles Monitoring hilft halt nichts, wenn man da nur Durchsatz o.ä. sieht - woher soll man da sehen, wenn was kaputt ist, außer in
Extremfällen wie "Keine Clients auf dem Server". Und Monitoring ohne Notifications ist auch größtenteils für die Tonne. Gleichzeitig ist unser Monitoring so unglaublich stabil, dass es vermutlich
selbst eigentlich Monitoring braucht. Also: Am besten dezentral und low-tech. ;-)

[Sven Röllig]

Monitoring GUGGEN Hier
http://monitor.berlin.freifunk.net/host.php?h=Tunnel_GW_VM02

Die Konfiguration hat Perry gemacht, ich bezweifle das die sich Unterscheiden.

Wir wollten ja mal mit Puppet das Provisioning machen.
Puppy läuft aber, wenn ich recht erinnere, momentan nicht Debian 9

Gruß
Sven 1.0

Post by Sven Roederer
Perry hat heute auf min. dem "freifunk-gw01.in-berlin.de" folgende

nf_conntrack: nf_conntrack: table full, dropping packet

Das mag die Verbindungsprobleme erklären ...
Warum diese Probleme bei "vm02.roellig-it.de" nicht auftauchen ist
* die maschine weniger Verbindungen
* jemand die Konfig hier geändert
* die Maschine eine andere Grundkonfig gehabt, bevor OpenVPN installiert
wurde
Ist schade, dass wir kein Monitoring (via Collectd) haben.
Sven

Hi!
Wenn ich über den Community-Tunnel ausleite, dann haben die angeschlossenen
Router oft Probleme, über diesen das Internet zu erreichen.
http://monitor.berlin.freifunk.net/detail.php?p=memory&t=memory&h=mela-n2&s=31536000&x=800&y=350

_______________________________________________
Berlin mailing list
http://lists.berlin.freifunk.net/cgi-bin/mailman/listinfo/berlin
Diese Mailingliste besitzt ein ffentlich einsehbares Archiv

[Sven Roederer]

Monitoring GUGGEN Hier http://monitor.berlin.freifunk.net/host.php?h=Tunnel_GW_VM02

Toll, Toll!
Hab ich mal im Wiki verlinkt ...
bzgl. der reboots von proxmox: nimm doch noch das uptime-modul dazu.

Die Konfiguration hat Perry gemacht, ich bezweifle das die sich Unterscheiden.

Dass kann dann nur Perry sagen. Ich hatte damals initial nur das OpenVPN gemacht,
aber am System nix gedreht.


Sven

[Perry]

Mit der system administration die beide servers habe ich auch nicht groß
gemacht. Es wäre schon wenn 2 oder 3 Leute mit mir zusammenarbeitet.
Wer hat lust?

Gruß,
Perry

Post by Sven Roederer

Monitoring GUGGEN Hier http://monitor.berlin.freifunk.net/host.php?h=Tunnel_GW_VM02

Toll, Toll!
Hab ich mal im Wiki verlinkt ...
bzgl. der reboots von proxmox: nimm doch noch das uptime-modul dazu.

Die Konfiguration hat Perry gemacht, ich bezweifle das die sich Unterscheiden.

Dass kann dann nur Perry sagen. Ich hatte damals initial nur das OpenVPN gemacht,
aber am System nix gedreht.
Sven
_______________________________________________
Berlin mailing list
http://lists.berlin.freifunk.net/cgi-bin/mailman/listinfo/berlin
Diese Mailingliste besitzt ein ffentlich einsehbares Archiv

[Sven Röllig]

Mein Angebot für Administration steht nach wie vor.

Solange ich weiß welche Aufgaben im Vorfeld übernommen werden soillen.


Gruss

Sven

Post by Perry
Mit der system administration die beide servers habe ich auch nicht groß
gemacht. Es wäre schon wenn 2 oder 3 Leute mit mir zusammenarbeitet.
Wer hat lust?
Gruß,
Perry

Post by Sven Roederer

Monitoring GUGGEN Hier http://monitor.berlin.freifunk.net/host.php?h=Tunnel_GW_VM02

Toll, Toll!
Hab ich mal im Wiki verlinkt ...
bzgl. der reboots von proxmox: nimm doch noch das uptime-modul dazu.

Die Konfiguration hat Perry gemacht, ich bezweifle das die sich Unterscheiden.

Dass kann dann nur Perry sagen. Ich hatte damals initial nur das OpenVPN gemacht,
aber am System nix gedreht.
Sven
_______________________________________________
Berlin mailing list
http://lists.berlin.freifunk.net/cgi-bin/mailman/listinfo/berlin
Diese Mailingliste besitzt ein ffentlich einsehbares Archiv

_______________________________________________
Berlin mailing list
http://lists.berlin.freifunk.net/cgi-bin/mailman/listinfo/berlin
Diese Mailingliste besitzt ein ffentlich einsehbares Archiv

[Sven Röllig]

muss mich korrigieren der VPN ist ubuntu 16.4.

Puppet soll mit Ubuntu 18 wohl nicht laufen.

Die IpSec Maschine Debian 9.*


Gruss

Sven

Post by Sven Röllig
Monitoring GUGGEN Hier
http://monitor.berlin.freifunk.net/host.php?h=Tunnel_GW_VM02
Die Konfiguration hat Perry gemacht, ich bezweifle das die sich Unterscheiden.
Wir wollten ja mal mit Puppet das Provisioning machen.
Puppy läuft aber, wenn ich recht erinnere, momentan nicht Debian 9
Gruß
Sven 1.0

Post by Sven Roederer
Perry hat heute auf min. dem "freifunk-gw01.in-berlin.de" folgende

nf_conntrack: nf_conntrack: table full, dropping packet

Das mag die Verbindungsprobleme erklären ...
Warum diese Probleme bei "vm02.roellig-it.de" nicht auftauchen ist
* die maschine weniger Verbindungen
* jemand die Konfig hier geändert
* die Maschine eine andere Grundkonfig gehabt, bevor OpenVPN installiert
  wurde
Ist schade, dass wir kein Monitoring (via Collectd) haben.
Sven

Hi!
Wenn ich über den Community-Tunnel ausleite, dann haben die
angeschlossenen
Router oft Probleme, über diesen das Internet zu erreichen.
http://monitor.berlin.freifunk.net/detail.php?p=memory&t=memory&h=mela-n2&s=31536000&x=800&y=350

_______________________________________________
Berlin mailing list
http://lists.berlin.freifunk.net/cgi-bin/mailman/listinfo/berlin
Diese Mailingliste besitzt ein ffentlich einsehbares Archiv

_______________________________________________
Berlin mailing list
http://lists.berlin.freifunk.net/cgi-bin/mailman/listinfo/berlin
Diese Mailingliste besitzt ein ffentlich einsehbares Archiv

[Sven Röllig]

meine momentane vpn instanz ist eine Ubuntu 16.04.5 LTS
Perry hatte auch schon mal was für Puppet versucht.

Wenn ich das richtig im Kopf läuft wohl Puppet momentan nicht mit
Ubuntu 18 LTS
Ansonsten hätte ich schon meine VPN Instanz auf das Aktuelle Ubuntu 18
hochgezogen.


Gruss
Sven

Ich würde es bevorzugen, wenn alle Systeme auf einer Ubuntu-Variante
laufen. Das
war bis jetzt das angestrebte Ziel bei der Verwaltung der Server.
Vielleicht fehlt es an Dokumentation zum Betrieb der Server/VM-Infrastruktur?
Gruß Philipp

Post by Sven Röllig
Monitoring GUGGEN Hier
http://monitor.berlin.freifunk.net/host.php?h=Tunnel_GW_VM02
Die Konfiguration hat Perry gemacht, ich bezweifle das die sich Unterscheiden.
Wir wollten ja mal mit Puppet das Provisioning machen.
Puppy läuft aber, wenn ich recht erinnere, momentan nicht Debian 9
Gruß
Sven 1.0

Post by Sven Roederer
Perry hat heute auf min. dem "freifunk-gw01.in-berlin.de" folgende

nf_conntrack: nf_conntrack: table full, dropping packet

Das mag die Verbindungsprobleme erklären ...
Warum diese Probleme bei "vm02.roellig-it.de" nicht auftauchen ist
* die maschine weniger Verbindungen
* jemand die Konfig hier geändert
* die Maschine eine andere Grundkonfig gehabt, bevor OpenVPN installiert
wurde
Ist schade, dass wir kein Monitoring (via Collectd) haben.
Sven

Hi!
Wenn ich über den Community-Tunnel ausleite, dann haben die

angeschlossenen

Post by Sven Roederer

Router oft Probleme, über diesen das Internet zu erreichen.

http://monitor.berlin.freifunk.net/detail.php?p=memory&t=memory&h=mela-n2&s=31536000&x=800&y=350

Post by Sven Roederer
_______________________________________________
Berlin mailing list
http://lists.berlin.freifunk.net/cgi-bin/mailman/listinfo/berlin
Diese Mailingliste besitzt ein ffentlich einsehbares Archiv

_______________________________________________
Berlin mailing list
http://lists.berlin.freifunk.net/cgi-bin/mailman/listinfo/berlin
Diese Mailingliste besitzt ein ffentlich einsehbares Archiv

[Harald Stürzebecher]

Hallo Sven

Am Do., 6. Dez. 2018 um 11:19 Uhr schrieb Sven Röllig

Post by Sven Röllig
meine momentane vpn instanz ist eine Ubuntu 16.04.5 LTS
Perry hatte auch schon mal was für Puppet versucht.
Wenn ich das richtig im Kopf läuft wohl Puppet momentan nicht mit
Ubuntu 18 LTS
Ansonsten hätte ich schon meine VPN Instanz auf das Aktuelle Ubuntu 18
hochgezogen.

https://help.ubuntu.com/lts/serverguide/puppet.html.en
Von "geht nicht", sehe ich in der AFAICT offiziellen Dokumentation nichts.
Eine kurze Suche, um welchen Bug es sich handeln könnte, brachte auch
kein Ergebnis.


VG
Harald

[Perry]

Das problem ist das unsere puppet scripts noch nicht mit puppet5
funktionieren. Es gibt auch bereit ein github issue.

https://github.com/freifunk-berlin/puppet/issues/58

Post by Harald Stürzebecher
Hallo Sven
Am Do., 6. Dez. 2018 um 11:19 Uhr schrieb Sven Röllig

Post by Sven Röllig
meine momentane vpn instanz ist eine Ubuntu 16.04.5 LTS
Perry hatte auch schon mal was für Puppet versucht.
Wenn ich das richtig im Kopf läuft wohl Puppet momentan nicht mit
Ubuntu 18 LTS
Ansonsten hätte ich schon meine VPN Instanz auf das Aktuelle Ubuntu 18
hochgezogen.

https://help.ubuntu.com/lts/serverguide/puppet.html.en
Von "geht nicht", sehe ich in der AFAICT offiziellen Dokumentation nichts.
Eine kurze Suche, um welchen Bug es sich handeln könnte, brachte auch
kein Ergebnis.
VG
Harald
_______________________________________________
Berlin mailing list
http://lists.berlin.freifunk.net/cgi-bin/mailman/listinfo/berlin
Diese Mailingliste besitzt ein ffentlich einsehbares Archiv