L2TP und Tunneldigger: Unterschied zwischen den Versionen

Aus Freifunk Franken
Wechseln zu:Navigation, Suche
KKeine Bearbeitungszusammenfassung
 
(104 dazwischenliegende Versionen von 8 Benutzern werden nicht angezeigt)
Zeile 1: Zeile 1:
{{Entwurf}}
'''Veraltet!'''
__TOC__


Dies sind sie ersten zaghaften Versuche von fastd auf L2TP zu switchen, bzw. beide parallel zu nutzen. Dies soll nur eine kurze Zusammenfassung sein, was schon gemacht wurde. Nicht dass doppelte Arbeit geleistet wird. Doku folgt bei Erfolg
'''Die neuere Node-Firmware > 20181202 unterstützt keinen Tunneldigger mehr!'''


Vorteile: *Weniger CPU Last auf den Gateway Servern
__TOC__


Nachteile: *Umstellung von GWs und Firmware


===Am Router===


Ich habe euch nen tarball gemacht. Da ist alles drin und läuft mit der
Seit der Firmware 20161008-beta ist der Tunneldigger für l2tp Tunnel zum Gateway mit dabei.
normalen aktuellen stable.
Hier die Anleitung, wie man den Tunnelbroker auf einem Gateway installiert und konfiguriert.


Sicherstellen das am Router die Kernelmodule enthalten sind. Bei meinen wr1043 v0.5.2 war dies nicht der Fall.
Vorteile:


lsmod
Weniger CPU Last auf den Gateway Servern und den Routern.
Mehr Durchsatz durch die Tunnel.


sollte u.a. folgende Ausgabe liefern:
Nachteile:


...
Auf kleinen Gateways (Vserver, 1 Kern) kommt es bei vielen Tunnel >100 zu Problemen. Die CPU Last steigt überproportional zur Tunnelzahl. Besonders ein Anstieg von si - software interrupts ist zu beobachten und es kommt zur Kernelpanic.
l2tp_core              12733  4 l2tp_ip6
l2tp_eth                2672  1
l2tp_ip                4704  0
l2tp_ip6                5760  0
l2tp_netlink            6536  1 l2tp_eth
...


dann ist das Kernelmodul im Router enthalten und es kann nach Anleitung fortgefahren werden.


Folgendes am Router ausführen:
=Am Router=


wget -P/ langhammer-mainberg.de/fff/tunneldigger.tar
Eine Firmware ab 20161008-beta oder neuer flashen.
cd / && tar -xf tunneldigger.tar


Jetzt einmal die Konfig erstellen:
Es wird die Datei vpn.txt auf dem GW geprüft, wenn mit Inhalt l2tp vorhanden, dann l2tp sonst fastd.
 
   
l2tunnel conf
'''Am Router muss nichts konfiguriert werden!'''
 
und starten (macht der Router beim nächsten Reboot automatisch)
 
/etc/init.d/tunneldigger start
 
man steuert das ganze mit dem Kommando '''l2tunnel'''
 
Viel Spass damit!
 
Wenn der Router neu startet, läuft fastd und tunneldigger. Alles bleibt beim alten nur dass jetzt beide Tunnel laufen.
 
Wie man den Tunneldigger in die Firmware einbaut, findest du [[Neues_Paket_in_Firmware_aufnehmen|hier]]
 
===Am Gateway===
So, jetzt brauchen wir noch Gateways mit dem Broker.
Aus der Doku auf https://tunneldigger.readthedocs.org/en/latest/server.html
haben wir mal die wichtigen Zeilen rausgezogen:
 
Voraussetzungen
Nötige Pakete holen:
 
sudo apt-get install iproute bridge-utils libnetfilter-conntrack3 python-dev  libevent-dev ebtables python-virtualenv
 
Kernelmodule beim Booten laden:  (Nötig??)
 
echo "l2tp_core
      l2tp_eth
      l2tp_netlink" >> /etc/modules
 
Installation:
 
mkdir /srv/tunneldigger <br />
cd /srv/tunneldigger  <br />
virtualenv env_tunneldigger  <br />
cd /srv/tunneldigger  <br />
git clone https://github.com/wlanslovenija/tunneldigger.git <br />
. env_tunneldigger/bin/activate <br />
  pip install -r tunneldigger/broker/requirements.txt <br />
 
Konfiguration in /srv/tunneldigger/tunneldigger/broker/l2tp_broker-sued.cfg anpassen
(Öffentliche IP des Gateway Ports und Interface, port und idbase, namespace)
 
l2tp_broker-sued.cfg steht für die Hood, könnte also auch l2tp_broker-nbg oder l2tp_broker-wue.cfg heisen. Pro Hood muss ein eigener Broker mit up und down erstellt werden.
 
'''Wichtig! Port für die entsprechende Hood = fastd-port + 10000. '''
 
Scripte in scripts/
bridge_functions.sh:
 
ensure_policy()
{
  ip rule del $*
  ip rule add $*
}
 
ensure_bridge()
{
  local brname="$1"
  brctl addbr $brname 2>/dev/null
 
  if [[ "$?" == "0" ]]; then
    # Bridge did not exist before, we have to initialize it
    ip link set dev $brname up
    # Neue Bridge batman hinzufügen
    batctl -m $batdev if add $brname
    # TODO Policy routing should probably not be hardcoded here?
    #ensure_policy from all iif $brname lookup mesh prio 1000
    # Disable forwarding between bridge ports
    ebtables -A FORWARD --logical-in $brname -j DROP
  fi
}
has.up:
 
#!/bin/bash
TUNNEL_ID="$1"
INTERFACE="$3"
MTU="$4"
batdev=bat4
 
. scripts/bridge_functions.sh
 
# Set the interface to UP state
ip link set dev $INTERFACE up mtu $MTU
 
# Add the interface to our bridge
ensure_bridge l2-br-has${MTU}
brctl addif l2-br-has${MTU} $INTERFACE
has-sued.up:
 
#!/bin/bash
TUNNEL_ID="$1"
INTERFACE="$3"
MTU="$4"
batdev=bat7
 
. scripts/bridge_functions.sh
 
# Set the interface to UP state
ip link set dev $INTERFACE up mtu $MTU
 
# Add the interface to our bridge
ensure_bridge l2-br-sued${MTU}
brctl addif l2-br-sued${MTU} $INTERFACE
mtu_changed-has.sh
#!/bin/bash
TUNNEL_ID="$1"
INTERFACE="$3"
OLD_MTU="$4"
NEW_MTU="$5"
batdev=bat4
 
. scripts/bridge_functions.sh


# Remove interface from old bridge
=Am Gateway (KeyXchangev2!!)=
brctl delif l2-br-has${OLD_MTU} $INTERFACE


# Change interface MTU
So, jetzt brauchen wir noch Gateways mit dem Broker. Nebenbei braucht der Gateway auch noch ein Webserver, die Clients fragen ob ein Gateway l2tp anbietet oder nicht.
ip link set dev $INTERFACE mtu $NEW_MTU


# Add interface to new bridge
==Vorbereitungen:==
ensure_bridge l2-br-has${NEW_MTU}
brctl addif l2-br-has${NEW_MTU} $INTERFACE


mtu_changed-has-sued.sh
'''Nötige Pakete holen:'''
#!/bin/bash
TUNNEL_ID="$1"
INTERFACE="$3"
OLD_MTU="$4"
NEW_MTU="$5"
batdev=bat7


. scripts/bridge_functions.sh
apt-get install iproute bridge-utils libnetfilter-conntrack-dev libnfnetlink-dev libffi-dev python-dev libevent-dev ebtables python-virtualenv
apache2


# Remove interface from old bridge
brctl delif l2-br-sued${OLD_MTU} $INTERFACE


# Change interface MTU
'''Module'''
ip link set dev $INTERFACE mtu $NEW_MTU


# Add interface to new bridge
In /etc/modules die Module eintragen:
ensure_bridge l2-br-sued${NEW_MTU}
brctl addif l2-br-sued${NEW_MTU} $INTERFACE


l2tp_core
l2tp_eth
l2tp_netlink


has.down
Mit  modprobe "name des Moduls" kann man dann alle Module laden. Beim nächsten reboot geht das dann automatisch.
#!/bin/bash
TUNNEL_ID="$1"
INTERFACE="$3"
MTU="$4"


# Remove the interface from our bridge
modprobe l2tp_core
brctl delif l2-br-has${MTU} $INTERFACE
modprobe l2tp_eth
modprobe l2tp_netlink


has-sued.down
==Installation:==
#!/bin/bash
TUNNEL_ID="$1"
INTERFACE="$3"
MTU="$4"


# Remove the interface from our bridge
Eine Installationsanleitung findet man hier:
brctl delif l2-br-sued${MTU} $INTERFACE


https://tunneldigger.readthedocs.io/en/latest/server.html


[Install]
WantedBy=multi-user.target


[broker]
Es gibt auch eine angepasste Version des Brokers für die fff-Gateways.
; IP address the broker will listen and accept tunnels on
address=a.b.c.d #öffentliche ip des Servers
; Ports where the broker will listen on
port=fastd-port + 10000
; Interface with that IP address
interface=eth0
; Maximum number of tunnels that will be allowed by the broker
max_tunnels=1024
; Tunnel port base
port_base=20000 #(für jede Brokerinstanz eine andere)
; Tunnel id base
tunnel_id_base=100 #(für jede Brokerinstanz eine andere)
; Namespace (for running multiple brokers); note that you must also
; configure disjunct ports, and tunnel identifiers in order for
; namespacing to work
namespace=has-sued
; check if all kernel module are loaded. Do not check for built-ins.
check_modules=true
[log]
; Log filename
filename=tunneldigger-broker.log
; Verbosity
verbosity=DEBUG
; Should IP addresses be logged or not
log_ip_addresses=false
[hooks]
; Arguments to the session.{up,pre-down,down} hooks are as follows:
;
;    <tunnel_id> <session_id> <interface> <mtu> <endpoint_ip>  <endpoint_port>  <local_port>
;
; Arguments to the session.mtu-changed hook are as follows:
;
;    <tunnel_id> <session_id> <interface> <old_mtu> <new_mtu>
;
; Called after the tunnel interface goes up
session.up=/srv/tunneldigger/tunneldigger/broker/scripts/has-sued.up
; Called just before the tunnel interface goes down
session.pre-down=
; Called after the tunnel interface goes down
session.down=/srv/tunneldigger/tunneldigger/broker/scripts/has-sued.down
; Called after the tunnel MTU gets changed because of PMTU discovery
session.mtu-changed=


'''Hierfür die Anleitung:'''


Hook Scripte /srv/tunneldigger/tunneldigger/broker/scripts/has-sued.up
mkdir /srv/tunneldigger
cd /srv/tunneldigger  
virtualenv env_tunneldigger
git clone  https://github.com/rohammer/tunneldigger.git
source env_tunneldigger/bin/activate
cd  /srv/tunneldigger/tunneldigger/broker
python setup.py install


#!/bin/bash
INTERFACE="$3"
  ip link set dev $INTERFACE up
#/usr/sbin/batctl -m <bat interface von has-sued> if add $INTERFACE
  brctl addif l2tphassued $INTERFACE


/srv/tunneldigger/tunneldigger/broker/scripts/has-sued.down
==Konfiguration:==


#!/bin/bash
Im Brokerverzeichnis findet ihr eine Beispielkonfigdatei: l2tp_broker.cfg.example. Wir brauchen für jede Hood eine Konfigdatei.
INTERFACE="$3"
#/usr/sbin/batctl -m <bat interface von has-sued> if del $INTERFACE
brctl delif l2tphassued $INTERFACE


(Das sind nur Beispiele. Hier kann man die neuen Interfaces einstellen, Bridges zuordnen und ....
Diese Datei kopieren wir für jede Hood einmal nach /etc/tunneldigger/


Wenn batctl nicht in /usr/sbin liegt, Pfad anpassen. Bei mir liegt es z.b. in /usr/local/sbin
mkdir /etc/tunneldigger
cp /srv/tunneldigger/tunneldigger/broker/l2tp_broker.cfg.example /etc/tunneldigger/hood.cfg


Wichtig: die up und down scripts müssem durch "chmod +x has-sued.up" bzw "chmod +x hassued.down" ausführbar gemacht werden.
In die Konfigdatei die Parameter der Hood eintragen. Die Datei ist selbsterklärend.


==Start einrichten==


Wir legen für jede Hood eine systemd unit Datei an:


Da B.A.T.M.A.N nicht gut mit vielen sich ständig ändernden Parametern umgehen kann, müssen wir alle l2tp Tunnel über eine bridge ins BATMAN- Netz bringen:
Z.B. /etc/systemd/system/td-broker-hood.service
 
Start einrichten:
 
Systemd Start Unit in  /etc/systemd/system/tunneldigger-broker-sued.service


  [Unit]
  [Unit]
Zeile 287: Zeile 98:
  Type=simple
  Type=simple
  WorkingDirectory=/srv/tunneldigger/tunneldigger
  WorkingDirectory=/srv/tunneldigger/tunneldigger
  ExecStart=/srv/tunneldigger/env_tunneldigger/bin/python -m broker.main /srv/tunneldigger/tunneldigger/broker/l2tp_broker-sued.cfg
  ExecStart=/srv/tunneldigger/env_tunneldigger/bin/python -m tunneldigger_broker.main /etc/tunneldigger/hood.cfg
   
   
  KillMode=process
  KillMode=process
Zeile 293: Zeile 104:
   
   
  [Install]
  [Install]
  WantedBy=multi-user.target  
  WantedBy=multi-user.target
 
 
Jetzt noch den Service anmelden, autostart und manuell Start <br />
systemctl daemon-reload  <br />
systemctl enable tunneldigger-broker-sued.service  <br />
systemctl start tunneldigger-broker-sued.service  <br />


Das kann man jetzt mehrfach machen mit unterschiedlichen Konfigurationen für verschiedene Hoods.
==Unit aktivieren==


systemctl enable td-broker-hood.service


Falls es Probleme beim Start des Brokers geben sollte, kann probiert werden im file l2tp_broker-xxx.cfg alle ";" ,zum auskommentieren, durch "#" zu ersetzen
==Broker starten==


über "systemctl status tunneldigger-broker-xxx.service" kann man den Status erfragen.
systemctl start td-broker-hood.service


===Tunnel aufbauen===
Der Broker startet beim nächsen Booten automatisch.


Ihr findet im tarball das kleine Skript l2tunnel zum steuern der Tunnel (s. oben)
==Den Routern mitteilen, dass wir l2tp anbieten==


Auf dem Router kann man auch mal von Hand mit
'''Erst aktivieren, wenn für alle Hoods des Gateways die Konfiguration gemacht wurde!!'''


tunneldigger -f -u 123 -l <localIP> -b <Gw IP:Port> -i l2tp
Im DocumentRoot des Webservers die Datei vpn.txt mit Inhalt l2tp anlegen


den Tunnel aufbauen
  echo l2tp > vpn.txt
 
Das OpenWrt Packet vom Tunneldigger bringt auch ein Startscript mit und eine Config-Datei: /etc/config/tunneldigger
Hier können die Tunneldevices konfiguriert werden.
 
config broker
list address '192.168.100.20:10050'
# list address '20.30.40.50:53'
# list address 'x.y.z.w:123'
option uuid 'abcd'
option interface 'l2tp0'
# option limit_bw_down '1024'
option enabled '1'
  # option hook_script '/etc/tunneldigger.hook'
config broker
list address '192.168.200.20:20050'
# list address 'x.y.z.w:53'
# list address 'x.y.z.w:123'
option uuid 'efgh'
option interface 'l2tp1'
# option limit_bw_down '1024'
option enabled '1'
# option hook_script '/etc/tunneldigger.hook2'
 
 
 


Danach verbinden sich die Router via l2tp.


Jetzt geht es ans Testen:
==Kontrolle==


Wie müssen bei uns die Hook Skripte aussehen?
- über ''systemctl status td-broker-xxx.service'' kann man den Status erfragen.


Wie stabil sind die Tunnel z.B bei Zwangstrennung vom Provider?
- mit ''ip link'' sieht man für jeden Router ein l2tpXXXX Device mit der entsprechenden Bridge als master.


Hier scheint die Verbindung verloren zu gehen und der Tunnel bricht zusammen. Quick&Dirty Lösung:
- mit ''ip l2tp show tunnel'' sieht man die einzelnen Tunnel


vi /etc/l2trestart.sh
- mit ''ip l2tp show session'' die entsprechenden Devices


anlegen und mit
- der Broker sollte auch die entsprechenden SNAT und DNAT Einträge gemacht haben:  ''iptables -L -t nat''


#!/bin/sh
- das Log mit journalctl -u td-broker-HOOD.service
/etc/init.d/tunneldigger start
l2tunnel on


füllen. Datei ausführbar machen:


chmod +x /etc/l2trestart.sh


vi /usr/lib/micron.d/default
==Broker für eine Hood wieder los werden==


editieren und folgende Zeile hinzufügen:
Beispielhood: hawaii


  */5 * * * * sh /etc/l2trestart.sh
Service stoppen:  (Tipp: Tab-Taste)
  systemctl stop td-broker-hawaii.service


micrond noch eben neu starten:
Service ausschalten:
systemctl disable td-broker-hawaii.service


/etc/init.d/micrond restart
Wenn man die ganze Konfiguration weg haben will, geht es weiter.


Laufen fastd und l2tp parallel?
Unit löschen:
rm /etc/systemd/system/td-broker-hawaii.service


Und natürlich die Sache mit der mtu.
systemd davon in Kenntnis setzen:
systemctl daemon-reload


usw.....
Konfigdateien löschen:
rm /etc/hawaii.cfg

Aktuelle Version vom 27. Oktober 2019, 11:15 Uhr

Veraltet!

Die neuere Node-Firmware > 20181202 unterstützt keinen Tunneldigger mehr!


Seit der Firmware 20161008-beta ist der Tunneldigger für l2tp Tunnel zum Gateway mit dabei. Hier die Anleitung, wie man den Tunnelbroker auf einem Gateway installiert und konfiguriert.

Vorteile:

Weniger CPU Last auf den Gateway Servern und den Routern. Mehr Durchsatz durch die Tunnel.

Nachteile:

Auf kleinen Gateways (Vserver, 1 Kern) kommt es bei vielen Tunnel >100 zu Problemen. Die CPU Last steigt überproportional zur Tunnelzahl. Besonders ein Anstieg von si - software interrupts ist zu beobachten und es kommt zur Kernelpanic.


Am Router

Eine Firmware ab 20161008-beta oder neuer flashen.

Es wird die Datei vpn.txt auf dem GW geprüft, wenn mit Inhalt l2tp vorhanden, dann l2tp sonst fastd.

Am Router muss nichts konfiguriert werden!

Am Gateway (KeyXchangev2!!)

So, jetzt brauchen wir noch Gateways mit dem Broker. Nebenbei braucht der Gateway auch noch ein Webserver, die Clients fragen ob ein Gateway l2tp anbietet oder nicht.

Vorbereitungen:

Nötige Pakete holen: 

apt-get install iproute bridge-utils libnetfilter-conntrack-dev libnfnetlink-dev libffi-dev python-dev libevent-dev ebtables python-virtualenv
apache2


Module

In /etc/modules die Module eintragen: 

l2tp_core
l2tp_eth
l2tp_netlink

Mit modprobe "name des Moduls" kann man dann alle Module laden. Beim nächsten reboot geht das dann automatisch. 

modprobe l2tp_core
modprobe l2tp_eth
modprobe l2tp_netlink

Installation:

Eine Installationsanleitung findet man hier: 

https://tunneldigger.readthedocs.io/en/latest/server.html


Es gibt auch eine angepasste Version des Brokers für die fff-Gateways.

Hierfür die Anleitung: 

mkdir /srv/tunneldigger
cd /srv/tunneldigger 
virtualenv env_tunneldigger 
git clone  https://github.com/rohammer/tunneldigger.git
source env_tunneldigger/bin/activate 
cd  /srv/tunneldigger/tunneldigger/broker 
python setup.py install


Konfiguration:

Im Brokerverzeichnis findet ihr eine Beispielkonfigdatei: l2tp_broker.cfg.example. Wir brauchen für jede Hood eine Konfigdatei.

Diese Datei kopieren wir für jede Hood einmal nach /etc/tunneldigger/ 

mkdir /etc/tunneldigger
cp /srv/tunneldigger/tunneldigger/broker/l2tp_broker.cfg.example /etc/tunneldigger/hood.cfg

In die Konfigdatei die Parameter der Hood eintragen. Die Datei ist selbsterklärend.

Start einrichten

Wir legen für jede Hood eine systemd unit Datei an:

Z.B. /etc/systemd/system/td-broker-hood.service 

[Unit]
Description=tunneldigger tunnelling network daemon using l2tpv3
After=network.target auditd.service

[Service]
Type=simple
WorkingDirectory=/srv/tunneldigger/tunneldigger
ExecStart=/srv/tunneldigger/env_tunneldigger/bin/python -m tunneldigger_broker.main /etc/tunneldigger/hood.cfg

KillMode=process
Restart=on-failure

[Install]
WantedBy=multi-user.target

Unit aktivieren

systemctl enable td-broker-hood.service

Broker starten

systemctl start td-broker-hood.service

Der Broker startet beim nächsen Booten automatisch.

Den Routern mitteilen, dass wir l2tp anbieten

Erst aktivieren, wenn für alle Hoods des Gateways die Konfiguration gemacht wurde!!

Im DocumentRoot des Webservers die Datei vpn.txt mit Inhalt l2tp anlegen 

echo l2tp > vpn.txt

Danach verbinden sich die Router via l2tp.

Kontrolle

- über systemctl status td-broker-xxx.service kann man den Status erfragen.

- mit ip link sieht man für jeden Router ein l2tpXXXX Device mit der entsprechenden Bridge als master.

- mit ip l2tp show tunnel sieht man die einzelnen Tunnel

- mit ip l2tp show session die entsprechenden Devices

- der Broker sollte auch die entsprechenden SNAT und DNAT Einträge gemacht haben: iptables -L -t nat

- das Log mit journalctl -u td-broker-HOOD.service


Broker für eine Hood wieder los werden

Beispielhood: hawaii

Service stoppen: (Tipp: Tab-Taste) 

systemctl stop td-broker-hawaii.service

Service ausschalten: 

systemctl disable td-broker-hawaii.service

Wenn man die ganze Konfiguration weg haben will, geht es weiter.

Unit löschen: 

rm /etc/systemd/system/td-broker-hawaii.service

systemd davon in Kenntnis setzen: 

systemctl daemon-reload

Konfigdateien löschen: 

rm /etc/hawaii.cfg
Abgerufen von „https://wiki.freifunk-franken.de/mediawiki/index.php?title=L2TP_und_Tunneldigger&oldid=16500“
Creative Commons „Namensnennung, Weitergabe unter gleichen Bedingungen“
Powered by MediaWiki