altes wiki durchsortiert zum veröffentlichen

This commit is contained in:
amanita 2017-06-15 13:20:32 +02:00
commit 57b6e0e2d3
92 changed files with 4949 additions and 0 deletions

View file

@ -0,0 +1,116 @@
Auf dieser Seite wird die angepeilte Infrastruktur möglichst genau beschrieben.
## Die einfache Konfiguration
### Genereller Überblick
Anschluss beim ISP --> Der Server --> Der Switch --> PoE --> Nanostation 1 (Bridgemode) --)) Nanostation 2 (Routermode) --> PoE --> Ethernetanschluss
### Der Server
DHCP Server für das ganze Netz
### Der Switch
Unkritsch. Glasfaser auf Gigabit-Ethernet. Vermutlich macht es keinen Sinn einen PoE-Switch zu Benutzen
### Nanostation 1 (Bridge)
WLAN und LAN im sind im selben Netz. Die Station holt sich ihre IP vom DHCP-Server. Sie gibt den Traffic nur durch.
- Network Mode: Bridge
- Wireless Mode: Accesspoint
- LAN Address: DHCP
- FallbackIP: lassen wir die so? bzw. wollen wir überall die selbe Nutzen
### Nanostation 2 (Router)
Diese Nanostation funktioniert als DHCP Relay. Sie nimmt die DHCP-Requests von der Seite des Ethernetanschlusses entgegen und leitet sie direkt an den DHCP-Server weiter. So werden Braodcasts vermieden und hinter der Nanostation benimmt sich alles wie ein Subnetz ohne das ein NAT notwendig ist.
- Network Mode: Router
- Wireless Mode: Station
- LAN Address: DHCP
- FallbackIP: lassen wir die so? bzw. wollen wir überall die selbe Nutzen
- LAN: Relay
- DHCP Server IP: klar oder?
- Agent ID: kann leer bleiben oder eine Info über die Station enthalten
## etwas Komplizierter für den Anfang
Statt dem direkten Anschluss vom ISP benutzen wir VPN über einen Schlandkabelanschluss:
### Genereller Überblick
Interwobz --> VNP Server ---Schlandkabelnetz---> VPN Server --> DHCP Server --> der Rest wie oben…
### Der Server
Macht in diesem Fall VPN und DHCP. Für wenige Verbindungen reicht ein PlasteRouter aus.
## Mesh?
Wie würde ein Meshnetz optimalerweise aussehen?
# Alternativen:
1-1-zitat equi, wir verwenden momentan ne abgeschwächte form von 3.
Laut ben wird das eventuell problematisch wass die routing-performance auf der Nanostation 2 (Routermodus) angeht.
Das sollte mal gebenchtmarkt werden.
Ansonsten hat L2.5 auch noch seinen charme, aber dafür müssten wir nen bestimmtes modul in den ubiquity-kernel laden,
welches die nicht mitliefern, und welches es auch sonst nicht einfach so zu hohlen gibt, namentlich gretap, eventuell kann man das aber selbst kompilieren, oder bei denen anrufen, müsste man auch mal schauen.
* L2 / VLAN-switched Netz "1 User = 1 802.1Q VLAN"
= momentaner Westnetz-Aufbau
+ Hardware im Rest des Netzes braucht nur Ethernet-Funktionen
+ wenig Bugs in kaufbaren Geräten (z.B. Managed Switches)
+ einfach für 1 User mehrere Ports zu schalten, auch an völlig
verschiedenen Stellen im Netz
+ optimaler Trafficflow bei mehreren Ports für 1 user
+ zentralisiertes Routing einfach zu managen
+ zentralisiertes DHCP ohne relay
- VLANs müssen an vielen Stellen geconfigt werden
=> besonders scheisse wenn das Netz nicht "sternförmig" ist
- suboptimaler Trafficflow zwischen Usern (zum Router + zurück)
- Ethernet-Loops möglich, STP stinkt
- mittelmässige Debuggingfeatures auf Ethernet-Ebene
* L2.5 / IP-tunneled L2 "1 User = 1 Extended Ethernet Bridge"
= VXLAN, GREtap (in billig), VPLS (in teuer/professionell)
Ethernet-Frames werden am Netzwerkrand/User-Schnittstelle in Tunnel
eingepackt und laufen als Eth<-IP<-Eth<-IP durch den Backbone
+ Backbone kann frei auf- und umgebaut werden
+ Flexibler Backbone impliziert gute Redundanzmöglichkeiten
+ einfach für 1 User mehrere Ports zu schalten, auch an völlig
verschiedenen Stellen im Netz
+ zentralisiertes Routing an Tunnelendpunkt
+ zentralisiertes DHCP ohne relay
0 erhöhte MTU im Backbone nötig (allgemein kein Problem)
0 mittelmässiges Debugging (User kann kein traceroute im Backbone)
- bei VXLAN/GREtap suboptimaler Trafficflow wenn mehrere Ports für 1
User (zentraler Router und zurück). VPLS hat das problem nicht dank
Split-Horizon-Bridging, gibts nur (noch) nicht in Open Source.
- in kaufbaren Geräten nicht bezahlbar, höchstens Mikrotik (kann VPLS)
- für Linux-Möhren muss der Support im Kernel an sein, was bei
Ubiquiti beim Standardkernel nicht ist -_-
- kaufbare Geräte z.T. mit Bugs und Antifeatures im IP-Routing
* L3 / Routed Edge "1 Port = 1 IP-Netz"
= Routing in mehr oder weniger Reinform
+ Backbone kann frei auf- und umgebaut werden
+ Flexibler Backbone impliziert gute Redundanzmöglichkeiten
+ generell gut optimierbarer Trafficfluss
+ traceroute 4 life
- mehrere IP-Netze pro User wenn mehrere Ports
- NAT schwieriger zu managen wenns zwischen Usern applizieren soll
- dezentrales Routing, komplexes IP-Management
- DHCP entweder direkt auf Edge-Geräten oder mit Relay
- kaufbare Geräte teuer (aber noch bezahlbar)
- kaufbare Geräte z.T. mit Bugs und Antifeatures im IP-Routing
## Homenet + Babels
wie schon geschrieben habe ich etwas mit Freifunk Daniel geplaudert. Dabei auch über Redundanz der Antennen sowie OpenSource auf den Antennen selbst gesprochen.
Ein weiteres Szenario was ich durchdenken könnten:
- Wir besorgen und besage Ubnt EdgeRouter für ~100€ das Stück.
- Installieren OpenWrt und [Homenet](https://github.com/sbyx/hnetd)
* Wie gut funktioniert das? Haben wir Anwendungsfälle zu anschauen?
- Im Interface Menü lässt sich neben Static und DHCP Server nun auch Homenet auswählen
- Auf *unserer* Antennen Infastruktur wird ebenfalls [OpenWRT](https://www.youtube.com/watch?v=TgHYjfTnsI4) installiert
- Damit das gut geht nutzen wir statt Loco besser die [von Daniel empfohlenen Antennen](https://www.ligowave.com/products/dlb-5-15)
* Die Antennen finde ich auch unabhängig vom Rest interessant.
- Routing machen die Geräte dann selbst, wir bauen immer mehr Antennen überall hin und wenn mal was ausfällt sollte automatisch ein Plan B umgeroutet werden.
* Naja, ich würde tatsächlich ungern ein Netz mit potentiell ausfallenden Routen bauen. Das macht für unsere Anwendung nicht so viel Sinn. Einfache Redundanz erfüllt das bei uns ja auch.
- Laut D. lässt sich das ganze gut Debuggen, mit Netzgraphen (wie ich es verstanden habe)
- Weitere Services wie Hosting von Service X machen wir auf weiteren Servern die wir ans Netz anstecken.
- Was haltet ihr davon?
- Wie können wir solche Modelle testen? Wieviel und welche Hardware brauchen wir, wie viel Aufwand an umflashen und aufbauen ist nötig, bis wir ein Benchmark bekommen?

View file

@ -0,0 +1,107 @@
## Anwendungen
### Routing
Zwischen den beiden netzen "Reudnetz" und "Restinternet" Routen. Potentiell kommt später auch noch "Westnetz" hinzu.
### DHCP
IP-Adressen an alle interessierten Teilnehmer Verteilen, in ipv6-speek wird das dann Subnetze verteilen.
### Infrastruktur
Email, Wiki, <s>F</s>AQ, Monitoring, DNS. Alles in seperate VMs abgepackt, so dass das später auch auf andere Server verschoben werden kann.
Bitte erweitern, falls ich etwas vergessen haben sollte.
## Hardwareanforderungen
Basierend auf den Anforderungen der Anwendung hier eine Berechnung der notwendigen Hardware
### RAM
Wir sollten definitiv ECC nutzen.
* NAT
26 nat-einträge passen in 8kb ram, 128\*8kb = 1mb
wir haben 32 IPs, für jede können wir ein theoretisches maximum an 2\*\*16 ports für 3 protokolle (TCP, UDP, SCTP) mappen.
Maximale Anzahl an mappings: 32\*(2\*\*16)\*3 = 6291456
⌈(6291456/26)/128⌉ = 1891 ~ 2GB
_2GB_
* DHCP
200 Kunden, 3 Geräte pro Kunde (PC, Laptop, Handy) ≈ 600 Geräte
Laut [internet](https://osdir.com/ml/network.dhcp.isc.dhcp-server/2004-03/msg00288.html) < 30mb RAM.
* Infrastruktur
ich würde großzügig 256 mb/Service rechnen, könnte überprovisioniert werden, weil einiges nicht permanent benutzt wird.
5\*256+200 für VM-overhead (nur einmal weil die pages zwischen den vms gleich sind und geteilt werden) = 1.5GB
_1.5GB_
* Cache
Festplattenzugriffe müssen gecached werden, sonst stirbt die performance.
_1GB_
Summa Summarum sind wir also bei 2+1.5+1 = 3.5 GB, Also ist der Kauf von 8-16GB ram empfehlenswert.
### Storage
Cachehierachien sind sinnvoll, Deshalb wäre eine ssd-hdd-lösung cool, Notwendig ist eine Untersuchung von aktivem speicher vs vorgehaltenem speicher um respektiv ssd und hdd-größe zu bestimmen.
Aktiver speicher ist hier die menge an Festplattenspeicher auf den inerhalb eines "kurzen" Zeitraums, ~15 minuten, zugegriffen wird, vorgehaltener Speicher ist die Menge an Daten die auf Der Festplatte herrumliegen und irgendwann benötigt werden könnten.
* Betriebssysteme und Software
10GB/OS. 6\*10=60GB Theoretisch besteht die Möglichkeit die VMs zu deduplizieren, aber meh.
Diese Blöcke werden nur einmal, beim Start, gelesen, haben also keinen Aktiven Anteil.
_60GB_,_0GB_
* DHCP
Aus privacygründen wird die Leasefile nur im Ram gehalten
_0GB_,_0GB_
* Email
Das kann Groß werden, wenn wir es Nutzern zur verfügung stellen, aber zu dem Zeitpunkt werden wir das eh auf eine andere Maschiene auslagern. Bis dahin hat das < 10 Nutzer denen man großzügug 5GB geben kann.
10\*5 = 50GB
Emails werden einmal geschrieben, mehrfach gelesen, dann einmal gelöscht, ich würde mit weniger als 1% aktivem Anteil rechnen.
_50GB_,_1GB_
* Wiki
Wenn viele Bilder dazukommen, z.B. Panoramas kommen wir eventuell auf 10GB.
Häufig Gelesen werden dann maximal 3 seiten, wenn wir von max. 5 Großen bildern pro Seite ausgehen sind das 3\*5\*10=150MB
_10GB_,_1GB_
* <s>F</s>AQ
Alles textbasiert, das kommt nicht über 1GB.
_1GB_,_1GB_
* Monitoring
Das kann groß werden, ich würd mal 100GB veranschlagen, das sollte aber mal genauer durchgerechnet werden.
Lesen will man dann meist sätze von ner Woche oder einem Tag, selten einem Jahr, vlt. 2GB?
_100GB_,_2GB_
* DNS
<1GB
_1GB_,_1GB_
60+0+50+10+1+100+1 = 222 GB Also 2 500GB-1TB Festplatten im RAID-1
0+0+1+1+1+2+1 = 6 GB, Also Die Kleinste SSD die zu finden ist.
Eventuell ist es aufgrund des doch sehr kleinen aktiven Anteils sinnvoll auf eine SSD zu verzichten und auf den ram-cache zu vertrauen.
Billige kleine SSD:
<http://www.idealo.de/preisvergleich/OffersOfProduct/2899304_-16gb-msata-ssd-mlc-transcend.html>
*Paul* hab sowas Zuhause rumliegen
### CPU/Mobo
<https://geizhals.de/supermicro-a1srm-2558f-retail-mbd-a1srm-2558f-o-a1057354.html>
das ist gut.
## Hardware
* Mobo/CPU <https://geizhals.de/supermicro-a1srm-2558f-retail-mbd-a1srm-2558f-o-a1057354.html> 280€
* RAM <https://geizhals.de/crucial-dimm-kit-8gb-ct2kit51272bd160b-a701551.html> 90€
* HDD 2x <https://geizhals.de/seagate-constellation-es-1tb-st1000nm0011-a632284.html> 2\*60€
* Gehäuse <https://geizhals.de/inter-tech-2u-2098-sk-88887180-a1307670.html> 85€
* Netzteil <https://geizhals.de/lc-power-pro-line-lc7300-v2-3-silver-shield-300w-atx-2-3-a697598.html> 35€
**= 610€**
*Paul* warum ist das Mobo so Teuer? Und wäre es nicht besser wenn wir die CPU später noch aufrüsten könnten?
*Yannik* Unter anderem weil das ziemlich low-power und passiv gekühlt ist, CPU aufrüsten ist eher irrelevant, da die sockel sich permanent ändern. A pro pos passiv gekühlt, wir könnten statt des vorgeschlagenen Netzteils auch ein [anderes](https://geizhals.de/seasonic-ss-300m1u-300w-atx-2-31-eps12v-a819424.html) für 60€ nehmen, das bei unter 50% Last (also praktisch immer) lüfterlos ist, dann hätten wir das komplette Gerät passiv, das wäre dann zudem noch ein stück efizienter.
### Plan B?
Freifunk Daniel hat empfohlen [UBNT Edge Router](https://www.ubnt.com/edgemax/edgerouter-lite/) zu benutzen weil die minimal Strom brauchen und mit nem OpenWRT ähnlich zu konfigurieren sind wie nen "richtiger Server". Wenn wir spielereien wie Mail und Hosting eh als Subprojekt Anbieten könnten wir dafür auch einfach andere Server benuzten oder?
Die teile kosten auch [etwas](http://www.amazon.de/Ubiquiti-Networks-ERLite-3-EdgeRouter-Lite/dp/B00CSML06Q) weniger

View file

@ -0,0 +1,52 @@
Wir hatten ja schon einige Ideen für Interne Dienste. DA wir uns über so etwas erst Gadanken machen brauchen, wenn wir über ein ausreichend großes Netz verfügen, würde ich die Ideen hier mal für spätere Zeiten konservieren.
Mailman (auch mit PGP) oder "Schleuder" was eindeutig den besseren namen hat
Eastereggs
Freifunk
kostenloses Internet im Park
9.7.13 sorry für fragen, aber was ist das?? ein datum??!
XMPP-Server
Tox-Bootstrap
Webserver für die Nutzer
freenet node
Projektpaten
Wir vermitteln Menschen, die sich als Ansprechpartner um das interne Netz eines Hausprojektes kümmern
Openstreetmapinstanz, mit umap
peering mit:
guifi.net
---
Services sollten Grundsätzlich 2 Zwecke erfüllen, der Menschheit und insbesondere unseren Nutzern einen *Mehrwert* bieten, und die wahrscheinlich überflüssige upload-bandbreite, die durch unseren Symetrischen Anschlüss abfällt zu verbraten.
---
###VPN
wird tatsächlich für größere Zahl an clients recht rechenaufwändig, zudem symetrischer bandbreitenverbrauch, also eher weniger cool, zudem fraglicher Mehrwert.
###Mailserver/Mailadressen
Nützlich, kaum Rechenaufwand, kaum Bandbreitenverbrauch, aber aufwändig einzurichten, zudem müssen wir dann zuverlässig sein, email muss funktionieren.
###Webhosting
Ja
###Cache
Als optional anschaltbares dingen für größere dateien sicher sinnvoll, insbesondere in hinblick auf OS-Updates und …Videos_
###Tor-Exit-Nodes
symetrischer bandbreitenverbrauch, killt bei benutzung garantiert die genutzte ip, oder gleich den ganzen /24, weil es in allen botnetfiltern landet.
###(v)-Server vermieten
Ja, eventuell sogar so in richtung: wenn du bei uns nen anschluss hast hast du auch automatisch einen minivserver, mit dem du zeug tun kannst, wenn du willst. Das internet muss symetrischer werden, im moment ist das ne ziemliche konsummaschiene. Ungenutzte vserver verbrauchen halt auch praktisch keine Recouren. Helfen zudem upload zu verbraten.
###XMPP
is ded. < this