https://dc.planet3dnow.de/wiki/api.php?action=feedcontributions&feedformat=atom&user=KoschiPlanet 3DNow! Distributed Computing Wiki - Benutzerbeiträge [de]2026-04-22T04:01:18ZBenutzerbeiträgeMediaWiki 1.43.5https://dc.planet3dnow.de/wiki/index.php?title=Instanzen_anlegen_%2B_verwalten&diff=7047Instanzen anlegen + verwalten2021-08-06T07:37:55Z<p>Koschi: </p>
<hr />
<div>Bei manchen Projekten reicht es nicht aus, nur mit der Hauptinstanz zu arbeiten.<br />
Entweder arbeitet man dann mit Virtuellen Maschinen, oder mit zusätzlichen Instanzen.<br />
Hier zeigen wir, wie sich Instanzen unter Windows und Linux anlegen lassen.<br />
<br />
===Windows===<br />
<br />
# BOINC-Manager ganz normal offen lassen, aber die Ur-Instanz anhalten (Steuerung / pausieren).<br />
# Neuen Bunkerordner anlegen, z.B. C:\Benutzer\p3d-cluster\boinc\b01<br />
# Konsole öffnen (und offen lassen!) und dort folgenden '''Befehl eintragen:'''<br>"cd\"<br>"%ProgramFiles%\BOINC\boinc.exe" --allow_multiple_clients --dir C:\Users\p3d-cluster\boinc\b01 --allow_remote_gui_rpc --gui_rpc_port 9001<br />
# Mit STRG-C die neue Instanz nochmal kurz stoppen und im Bunker-Ordner in der Datei gui_rpc_auth.cfg, die eben unter anderem erstellt worden ist, das gewünschte Passwort für den Fernzugriff eintragen, z.B. p3d<br>Es muss nicht zwingend ein Passwort vergeben werden. Bleibt die Datei leer, ist später auch im Feld Passwort kein Eintrag erforderlich. <br>'''Passwort ändern:''' Mit Notepad "\Users\p3d-cluster\boinc\b01\gui_rpc_auth.cfg" öffnen (Hinweis: Es kann sein, dass Passwörter automatisch erstellt sind und man keinen Zugriff auf die Instanz bekommt. Dann muss man wie beschrieben ein eigenes Passwort festlegen.) <br />
# Mit dem Befehl aus 3.) in der Konsole die Instanz wieder starten<br />
# Im BOINC-Manager unter Datei / Computer verbinden die Adresse 127.0.0.1:9001 eintragen und das unter 4.) hinterlegte Passwort und schon bist Du mit der ersten Instanz verbunden und kannst ein Projekt verbinden<br />
# Die Berechnungseinstellungen anpassen, z.B. unter "Sonstiges" einstellen, dass mindestens 9 Arbeitstage gespeichert werden. <br />
# Hinweis: Wer über die Host-Datei den Zugriff zum Server gesperrt hat, erhält natürlich keinen Zugriff auf das Projekt. Hier muss die Host-Datei also zum Besorgen der WUs vorübergehend angepasst werden. <br />
<br />
<br />
===Linux===<br />
<br />
# BOINC-Manager ganz normal offen lassen, aber die Ur-Instanz anhalten (Steuerung / pausieren).<br />
# Neuen Bunkerordner anlegen, z.B. /home/p3d-cluster/boinc/b01<br />
# Konsole öffnen (und offen lassen!) und dort folgenden '''Befehl eintragen:''' /usr/bin/boinc --allow_multiple_clients --dir /home/p3d-cluster/boinc/b01 --allow_remote_gui_rpc --gui_rpc_port 9001<br />
# Mit STRG-C die neue Instanz nochmal kurz stoppen und im Bunker-Ordner in der Datei gui_rpc_auth.cfg, die eben unter anderem erstellt worden ist, das gewünschte Passwort für den Fernzugriff eintragen, z.B. p3d<br>Es muss nicht zwingend ein Passwort vergeben werden. Bleibt die Datei leer, ist später auch im Feld Passwort kein Eintrag erforderlich.<br>'''Passwort ändern:''' gedit /home/p3d-cluster/boinc/b01/gui_rpc_auth.cfg<br />
# Mit dem Befehl aus 3.) in der Konsole die Instanz wieder starten<br />
# Im BOINC-Manager unter Datei / Computer verbinden die Adresse 127.0.0.1:9001 eintragen und das unter 4.) hinterlegte Passwort und schon bist Du mit der ersten Instanz verbunden und kannst ein Projekt verbinden<br />
<br />
<br />
===Verwaltung===<br />
<br />
* Um den Überblick aller Instanzen zu bewaren, hat ydeeps ein [https://forum.planet3dnow.de/index.php?threads/boinc-php-gui.442921/#post-5335749 '''Browsertool'''] entwickelt.<br />
* Um sich unter Linux eine Übersicht zu verschaffen, hat koschi ein [https://github.com/MBlenn/BOINC '''Script'''] geschrieben.<br />
<br />
<br />
===Bedienungsanleitungen===<br />
<br />
====Browsertool====<br />
<br />
====Script (Linux only)====<br />
Als Arbeitsverzeichnis empfiehlt sich: /opt/boinc/config_repo/boinc_accounts#<br />
<br />
=====Vorbereitung=====<br />
cd /usr/local/bin/<br />
wget https://raw.githubusercontent.com/MBlenn/BOINC/master/BOINC%20instancer/boinc-instancer.sh<br />
apt install net-tools<br />
chmod +x boinc-instancer.sh<br />
boinc-instancer.sh -E https://raw.githubusercontent.com/MBlenn/BOINC/master/BOINC%20instancer/bic.tar<br />
<br />
Um sich die weitere Arbeit zu erleichtern, können jetzt die Account-Dateien aus der Hauptinstanz umkopiert werden,<br />
sodass beim anlegen einer neuen Instanz, diese Projekte gleich angemeldet werden. Beispielhaft sei dies am Projekt<br />
SiDock gezeigt:<br />
<br />
cd /var/lib/boinc-client/<br />
cp account_www.sidock.si_sidock.xml /opt/boinc/config_repo/boinc_accounts/<br />
<br />
In dem Verzeichnis config_repo liegen u.a. vorbereitete '''cc_config.xml''' und '''global_prefs_override.xml'''<br />
Beim anlegen einer neuen Instanz, greift das Script auf diese Dateien zu. Darum emphielt es sich, diese Datei im Vorfeld an das eigene System anzupassen.<br />
<br />
In der Datei '''cc_config.xml''' sind das in der Hauptsache:<br />
<br />
<max_file_xfers>128</max_file_xfers><br />
<max_file_xfers_per_project>'''20'''</max_file_xfers_per_project> (In Abhängigkeit der Internetverbindung)<br />
...<br />
<ncpus>'''16'''</ncpus> (In Abhängigkeit der Anzahl der Threads)<br />
<br />
Der Inhalt der Datei '''global_prefs_override.xml''' sollte komplett mit dem Inhalt der Datei aus dem Verzeichnis<br />
'''/var/lib/boinc-client/global_prefs_override.xml''' ersetzt werden, denn dort wurden diese Einstellungen bereits vorgenommen.<br />
<br />
Damit sind die Vorbereitungen abgeschlossen.<br />
<br />
=====Arbeiten mit dem Script=====<br />
Als erstes kann die richtige Funktionsweise überprüft werden, indem mit dem ersten Script-Befehl -l (kleines L) gearbeitet wird. In welchem Verzeichnis dies erfolgt, ist egal.<br />
<br />
boinc-instancer.sh -l<br />
<br />
[[Datei:Screenshot Hauptinstanz.png|links]]<br><br />
<br><br />
<br><br />
In der Auflistung wird uns die Hauptinstanz angezeigt. Diese trägt immer die Nummer 31416.<br />
<br />
Über "boinc-instancer.sh -h" lassen sich alle Befehlsstrings aufrufen.<br />
<br />
Wurden einige Instanzen angelegt, sieht es dann wie folgt aus:<br />
<br />
[[Datei:Script2.png|links]]<br><br />
<br><br />
<br><br />
<br><br />
<br><br />
<br><br />
<br><br />
Die Instanzen boinc_31422 und boinc_31423 wurden angelegt, aber nicht gestartet.<br />
<br />
Wenn gerade mit Komandobefehlen gearbeitet wird, emphiehlt es sich, gleich noch den Benchmark pro Instanz anzustossen:<br />
<br />
boinccmd --host localhost:31424 –run_benchmarks<br />
<br />
Mit dem folgenden Befehl läßt sich die Auflistung, je nach eingestelltem Zeitablauf, mit aktuallisiertem Stand aufrufen:<br />
<br />
while true; do clear; date; boinc-instancer.sh -l; sleep 60; done<br />
<br />
In der Auflistung wird in der letzten Spalte die Information ausgegeben, mit der der Boinc-Manager mit der entsprechenden Instanz gestartet wird. Hier am Beispiel der Instanz 31417:<br />
<br />
boincmgr -m -g 31417 &<br />
<br />
Oder im Boinc-Manager über Datei -> Computer auswählen -> Rechnername: 127.0.0.1:31417</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC_native_Einrichtung&diff=6840LHC native Einrichtung2021-03-17T22:37:19Z<p>Koschi: </p>
<hr />
<div>= Einrichtung von nativen LHC Anwendungen =<br />
<br />
Diese Anleitung beschreibt die Installation von Squid und Cerns CVMFS auf Ubuntu Systemen. Analog funktioniert dies dann natürlich auch auf Debian, Mint und anderen verwandten Distributionen.<br />
Bei SuSE oder RedHat sind die entsprechenden Paketverwaltungstools (zypper/yast & yum/dnf) zu verwenden, auch kann der Squid Nutzer und dessen Gruppe eine andere sein, zB. "squid" anstelle von "proxy".<br />
<br />
Im Rahmen dieser Anleitung nutzen wir beispielhaft das in der Tabelle gelistete Subnetz und eine IP daraus für den Squid Rechner. Dieses ist das LAN-seitige Defaultsubnetz der meisten Fritzboxen. Andere Router nutzen aber zB. das Subnetz 192.168.0.0/24. <br />
{| class="wikitable"<br />
| LAN Subnetz || 192.168.178.0/24<br />
|-<br />
| IP des Squid Rechners || 192.168.178.4<br />
|}<br />
<br />
Wurde die IP des Rechners per DHCP vergeben, sollte diese im Router dem Rechner fest zugewiesen werden, bzw. eine feste IP händisch konfiguriert werden. Sollte das eigene Subnetz vom Beispiel abweichen, ist dieses in der squid.conf, der CVMFS default.local sowie dem BOINC Client anzupassen.<br />
<br />
= Squid =<br />
Squid ist ein cachender Proxyserver, er wird idR. genutzt um Netzinhalte zu cachen und damit den Zugriff auf diese zu beschleunigen. Damit einher geht eine Reduzierung der beanspruchten Netzwerkbandbreite.<br />
Es empfiehlt sich ausdrücklich Squid über die distributionseigene Paketverwaltung zu installieren, da diese den Cache automatisch und unterhalb eines eigenen Benutzers startet. Auch Konfigurationen für die automatische Rotation der Squid Log Dateien sind enthalten, diese wachsen also nicht ins unermessliche an.<br />
<br />
== Installation ==<br />
<br />
Cacheverzeichnis anlegen:<br />
mkdir -p /var/cache/squid<br />
<br />
Squid installieren:<br />
apt install squid<br />
<br />
Squid stoppen:<br />
service squid stop<br />
<br />
Cacheverzeichnis dem Squid Benutzer "proxy" übergeben:<br />
chown -R proxy:proxy /var/cache/squid<br />
<br />
Cache Basisstruktur im Cacheverzeichnis anlegen:<br />
squid -z <br />
<br />
Hier '''zwei mal Enter''' drücken, dieser Schritt geht schnell, gibt aber keine newline zurück, scheint daher zu hängen.<br />
<br />
== Konfiguration ==<br />
<br />
Die eigentliche Konfiguration der Squidcaches erfolg anhand der im [https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=5473 LHC Forum abgelegten Konfiguration].<br />
Es lohnt sich diesen Thread nochmals zu überfliegen, da Änderungen an der Beispielkonfiguration nicht mehr im Startbeitrag eingepflegt werden können. Stand 26.02.2020 sieht die /etc/squid/squid.conf folgendermaßen aus:<br />
<br />
<nowiki><br />
# Squid configuration for BOINC<br />
# Based on squid version 3.5<br />
# See also: http://www.squid-cache.org/<br />
<br />
# Every line starting with "#" represents a comment.<br />
<br />
# Define your local hosts/networks here.<br />
# If neither "crunchers" nor "localnet" is set none of your devices will be permitted to use the proxy.<br />
# The examples show the principle.<br />
# For advanced options read the Squid documentation.<br />
#<br />
# Examples:<br />
#<br />
# Either enter a list of IPs representing your computers that are permitted to use the proxy.<br />
# Each IP on a separate line.<br />
# acl crunchers src 198.51.100.20<br />
# acl crunchers src 198.51.100.31<br />
# acl crunchers src 198.51.100.37<br />
# acl crunchers src 198.51.100.42<br />
#<br />
# Or enter complete network ranges.<br />
# Be aware that this may permit devices like printers or TVs that you may not want to use the proxy.<br />
# acl localnet src 192.0.2.0/24<br />
# acl localnet src 198.51.100.0/24<br />
# acl localnet src 192.168.178.0/24<br />
<br />
<br />
acl SSL_ports port 443<br />
acl Safe_ports port 80<br />
acl Safe_ports port 443<br />
acl Safe_ports port 1025-65535 # unregistered ports<br />
<br />
acl CONNECT method CONNECT<br />
<br />
follow_x_forwarded_for allow localhost<br />
follow_x_forwarded_for deny all<br />
<br />
<br />
#<br />
# Start of extra section 1<br />
# Requests that need special handling<br />
<br />
# worldcommunitygrid doesn't like it if data is taken from the local cache<br />
acl wcg_nocache dstdomain .worldcommunitygrid.org<br />
cache deny wcg_nocache<br />
<br />
<br />
# if CVMFS uses geoapi, ensure it's checked directly<br />
acl cvmfs_geoapi urlpath_regex -i ^/+cvmfs/+[0-9a-z._~-]+/+api/+[0-9a-z._~-]+/+geo/+[0-9a-z._~-]+/+[0-9a-z.,_~-]+<br />
cache deny cvmfs_geoapi<br />
<br />
<br />
# avoids polluting the disk cache with typical onetimers, e.g. ATLAS job data<br />
acl boinc_nocache urlpath_regex -i /download[0-9a-z._~-]*/+[0-9a-z._~-]+/+.+<br />
cache deny boinc_nocache<br />
<br />
<br />
# seriously: do NOT cache that!<br />
# Based on a frontier cache suggestion<br />
acl PragmaNoCache req_header Pragma no-cache<br />
cache deny PragmaNoCache<br />
<br />
# End of extra section 1<br />
#<br />
<br />
acl Purge method PURGE<br />
<br />
http_access deny !Safe_ports<br />
http_access deny CONNECT !SSL_ports<br />
http_access allow localhost manager<br />
http_access deny manager<br />
http_access deny to_localhost<br />
<br />
#<br />
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS<br />
# Depending on the definition of "crunchers" or "localnet" above at least 1 of the following lines must be uncommented.<br />
# Examples:<br />
# http_access allow crunchers<br />
http_access allow localnet<br />
<br />
http_access allow localhost<br />
# Last "http_access" line.<br />
# Order matters, hence all "http_access" lines following this one will be ignored.<br />
http_access deny all<br />
<br />
# http_port<br />
# don't bind it to an IP that is accessible from outside unless you know what you do.<br />
# Examples:<br />
# http_port localhost:3128<br />
#<br />
# This assumes 198.51.100.99 is the external IP of the Squid box<br />
# http_port 198.51.100.99:3128<br />
#<br />
# default setting that binds Squid to all IPs of the Squid box<br />
http_port 3128<br />
<br />
<br />
# A MUST on Windows.<br />
# If unsure try the the LAN IP of your internet router.<br />
# Avoid using external DNS here.<br />
# On Linux this option shouldn't be necessary<br />
# dns_nameservers 198.51.100.1<br />
<br />
max_filedescriptors 4096<br />
<br />
# Required OFF for intercepted traffic from LHCb VMs<br />
client_dst_passthru off<br />
<br />
# You don't believe this is enough?<br />
# For sure, it is!<br />
cache_mem 256 MB<br />
maximum_object_size_in_memory 24 KB<br />
memory_replacement_policy heap GDSF<br />
<br />
<br />
# Keep it large enough to store vdi files in the cache.<br />
# See extra section 1 how to avoid onetimers eating up your disk storage.<br />
# min-size=xxx keeps very small files away from your disk<br />
# 20000 limits the disk cache to 20 GB<br />
cache_replacement_policy heap LFUDA<br />
maximum_object_size 6144 MB<br />
cache_dir aufs /var/cache/squid 20000 16 64 min-size=7937<br />
<br />
# default=10<br />
logfile_rotate 10<br />
<br />
# logformat has to be changed according to your needs and the capabilities of your logfile analyser<br />
logformat my_awstats %>A %lp %ui %un [%tl] "%rm %>ru HTTP/%rv" %>Hs %st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh<br />
access_log stdio:/var/log/squid/access.log logformat=my_awstats<br />
#access_log none<br />
strip_query_terms off<br />
<br />
coredump_dir none<br />
ftp_user anonymous@<br />
<br />
# max_stale 1 week #default<br />
# extended to be prepared for a project reset<br />
max_stale 37 days<br />
<br />
# 1 line is required to avoid the ancient default settings<br />
# be conservative<br />
# don't violate the HTTP standards<br />
refresh_pattern . 0 0% 0<br />
<br />
store_avg_object_size 1800 KB<br />
<br />
shutdown_lifetime 0 seconds<br />
<br />
# booster 1!<br />
collapsed_forwarding on<br />
<br />
# booster 2!<br />
client_persistent_connections on<br />
server_persistent_connections on<br />
<br />
log_icp_queries off<br />
<br />
dns_defnames on<br />
dns_v4_first on<br />
<br />
forwarded_for transparent<br />
<br />
##### End of squid.conf</nowiki><br />
<br />
Die gibt es nun 2 Möglichkeiten den Squid Zugriff zu erlauben.<br />
<br />
Auf Netzwerkbasis, hier wird erst ein '''localnet''' definiert und diesem dann der HTTP Zugriff gewährt:<br />
acl localnet src 192.168.178.0/24<br />
http_access allow localnet<br />
Alle Rechner des angegebenen Netzwerkes dürfen daraufhin auf den Cache zugreifen.<br />
<br />
Alternativ können auch nur einzelne Rechner erlaubt werden, dies kann über folgende Einträge erfolgen: <br />
acl crunchers src 192.168.178.20<br />
acl crunchers src 192.168.178.38<br />
http_access allow crunchers<br />
Nun wird der Squid seine Services nur den Rechnern 192.168.178.20 & 192.168.178.38 ermöglichen.<br />
<br />
Den Squid nun mit der neuen Konfiguration starten:<br />
service squid start<br />
Ob der Squid genutzt wird, lässt sich einfach über sein Zugriffslog verfolgen:<br />
<br />
tail -f /var/log/squid/access.log<br />
<br />
Startet nach abgeschlossener Konfiguration eine neue native WU, kommen hier innerhalb der ersten Minuten jeweils hunderte bis tausende Einträge hinzu.<br />
<br />
= CVMFS = <br />
<br />
Das CernVM File System ist ein http basiertes read-only Netzwerkdateisystem. Es wird genutzt um Software innerhalb der High Performance Computing (HPC) Umgebung des CERN zu verteilen. Daten im CVMFS werden erst bei Bedarf geladen und können lokal gecached werden.<br />
<br />
== Installation ==<br />
<br />
Cern CVMFS Paketinformationen ziehen, installieren und den Download wieder entfernen:<br />
wget https://ecsft.cern.ch/dist/cvmfs/cvmfs-release/cvmfs-release-latest_all.deb<br />
sudo dpkg -i cvmfs-release-latest_all.deb<br />
rm -f cvmfs-release-latest_all.deb<br />
<br />
CVMFS installieren:<br />
sudo apt-get update<br />
sudo apt-get install cvmfs cvmfs-config-default<br />
<br />
CVMFS Basissetup:<br />
sudo cvmfs_config setup<br />
sudo wget https://lhcathome.cern.ch/lhcathome/download/default.local -O /etc/cvmfs/default.local<br />
sudo cvmfs_config reload<br />
<br />
Die folgenden Schritte sind notwendig um die nativ laufenden WUs pausieren und wieder aufwecken zu können. Hierzu wird eine control group (cgroup) erstellt, die dieses ermöglicht:<br />
sudo sed -i '$ a\kernel.unprivileged_userns_clone = 1' /etc/sysctl.conf<br />
sudo sysctl -p<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/create-boinc-cgroup -O /sbin/create-boinc-cgroup<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/boinc-client.service -O /etc/systemd/system/boinc-client.service<br />
sudo echo "MemoryAccounting=true" >> /etc/systemd/system/boinc-client.service<br />
sudo echo "IOAccounting=true" >> /etc/systemd/system/boinc-client.service<br />
sudo echo "BlockIOAccounting=true" >> /etc/systemd/system/boinc-client.service<br />
sudo echo "CPUAccounting=true" >> /etc/systemd/system/boinc-client.service<br />
<br />
sudo systemctl daemon-reload<br />
sudo systemctl restart boinc-client <br />
<br />
<br />
== Konfiguration == <br />
Über die CVMFS Konfigurationsdatei default.local kann der Cache nutzbar gemacht werden. <br />
CVMFS_HTTP_PROXY ist auskommentiert und muss noch angepasst werden:<br />
<br />
# CVMFS_HTTP_PROXY="auto;DIRECT"<br />
=><br />
CVMFS_HTTP_PROXY="http://192.168.178.4:3128;DIRECT"<br />
<br />
Nach dem Abspeichern einmal die Konfiguration neu einlesen:<br />
cvmfs_config reload<br />
Das Kommando '''cvmfs_config stat''' zeigt jetzt ''s1cern-cvmfs.openhtc.io'' anstatt ''cvmfs-stratum-one.cern.ch'' als nächstes Cache level, zB. für ATLAS sieht das folgendermaßen aus:<br />
<small><br />
# /usr/bin/cvmfs_config stat atlas.cern.ch<br />
VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE<br />
2.8.0.0 3963658 1 24568 79806 2 1 3942964 4194305 0 130560 0 0 n/a 530 186 http://s1cern-cvmfs.openhtc.io/cvmfs/atlas.cern.ch http://192.168.178.4:3128 1<br />
</small><br />
<br />
= BOINC Client = <br />
Die Proxyeinstellungen können sowohl über die GUI als auch direkt in der cc_config.xml gesetzt werden. <br />
Eine der beiden Methoden ist ausreichend.<br />
<br />
== BOINC Manager ==<br />
<br />
Im BOINC Manager via ''Optionen'' -> ''Sonstige Einstellungen...'' den Tab ''HTTP Proxyserver'' auswählen.<br />
<br />
Haken setzen bei "Über HTTP Proxyserver verbinden", dann Adresse und Port befüllen:<br />
Adresse: 192.168.178.4<br />
Port: 3128<br />
<br />
== cc_config.xml ==<br />
<cc_config><br />
<options><br />
<proxy_info><br />
<http_server_name>192.168.178.4</http_server_name><br />
<http_server_port>3128</http_server_port><br />
</proxy_info><br />
</options><br />
</cc_config><br />
<br />
Anschließend die cc_config über boinccmd neu einlesen:<br />
boinccmd --read_cc_config</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC_native_Einrichtung&diff=6839LHC native Einrichtung2021-03-15T13:38:25Z<p>Koschi: </p>
<hr />
<div>= Einrichtung von nativen LHC Anwendungen =<br />
<br />
Diese Anleitung beschreibt die Installation von Squid und Cerns CVMFS auf Ubuntu Systemen. Analog funktioniert dies dann natürlich auch auf Debian, Mint und anderen verwandten Distributionen.<br />
Bei SuSE oder RedHat sind die entsprechenden Paketverwaltungstools (zypper/yast & yum/dnf) zu verwenden, auch kann der Squid Nutzer und dessen Gruppe eine andere sein, zB. "squid" anstelle von "proxy".<br />
<br />
Im Rahmen dieser Anleitung nutzen wir beispielhaft das in der Tabelle gelistete Subnetz und eine IP daraus für den Squid Rechner. Dieses ist das LAN-seitige Defaultsubnetz der meisten Fritzboxen. Andere Router nutzen aber zB. das Subnetz 192.168.0.0/24. <br />
{| class="wikitable"<br />
| LAN Subnetz || 192.168.178.0/24<br />
|-<br />
| IP des Squid Rechners || 192.168.178.4<br />
|}<br />
<br />
Wurde die IP des Rechners per DHCP vergeben, sollte diese im Router dem Rechner fest zugewiesen werden, bzw. eine feste IP händisch konfiguriert werden. Sollte das eigene Subnetz vom Beispiel abweichen, ist dieses in der squid.conf, der CVMFS default.local sowie dem BOINC Client anzupassen.<br />
<br />
= Squid =<br />
Squid ist ein cachender Proxyserver, er wird idR. genutzt um Netzinhalte zu cachen und damit den Zugriff auf diese zu beschleunigen. Damit einher geht eine Reduzierung der beanspruchten Netzwerkbandbreite.<br />
Es empfiehlt sich ausdrücklich Squid über die distributionseigene Paketverwaltung zu installieren, da diese den Cache automatisch und unterhalb eines eigenen Benutzers startet. Auch Konfigurationen für die automatische Rotation der Squid Log Dateien sind enthalten, diese wachsen also nicht ins unermessliche an.<br />
<br />
== Installation ==<br />
<br />
Cacheverzeichnis anlegen:<br />
mkdir -p /var/cache/squid<br />
<br />
Squid installieren:<br />
apt install squid<br />
<br />
Squid stoppen:<br />
service squid stop<br />
<br />
Cacheverzeichnis dem Squid Benutzer "proxy" übergeben:<br />
chown -R proxy:proxy /var/cache/squid<br />
<br />
Cache Basisstruktur im Cacheverzeichnis anlegen:<br />
squid -z <br />
<br />
Hier '''zwei mal Enter''' drücken, dieser Schritt geht schnell, gibt aber keine newline zurück, scheint daher zu hängen.<br />
<br />
== Konfiguration ==<br />
<br />
Die eigentliche Konfiguration der Squidcaches erfolg anhand der im [https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=5473 LHC Forum abgelegten Konfiguration].<br />
Es lohnt sich diesen Thread nochmals zu überfliegen, da Änderungen an der Beispielkonfiguration nicht mehr im Startbeitrag eingepflegt werden können. Stand 26.02.2020 sieht die /etc/squid/squid.conf folgendermaßen aus:<br />
<br />
<nowiki><br />
# Squid configuration for BOINC<br />
# Based on squid version 3.5<br />
# See also: http://www.squid-cache.org/<br />
<br />
# Every line starting with "#" represents a comment.<br />
<br />
# Define your local hosts/networks here.<br />
# If neither "crunchers" nor "localnet" is set none of your devices will be permitted to use the proxy.<br />
# The examples show the principle.<br />
# For advanced options read the Squid documentation.<br />
#<br />
# Examples:<br />
#<br />
# Either enter a list of IPs representing your computers that are permitted to use the proxy.<br />
# Each IP on a separate line.<br />
# acl crunchers src 198.51.100.20<br />
# acl crunchers src 198.51.100.31<br />
# acl crunchers src 198.51.100.37<br />
# acl crunchers src 198.51.100.42<br />
#<br />
# Or enter complete network ranges.<br />
# Be aware that this may permit devices like printers or TVs that you may not want to use the proxy.<br />
# acl localnet src 192.0.2.0/24<br />
# acl localnet src 198.51.100.0/24<br />
acl localnet src 192.168.178.0/24<br />
<br />
<br />
acl SSL_ports port 443<br />
acl Safe_ports port 80<br />
acl Safe_ports port 443<br />
acl Safe_ports port 1025-65535 # unregistered ports<br />
<br />
acl CONNECT method CONNECT<br />
<br />
follow_x_forwarded_for allow localhost<br />
follow_x_forwarded_for deny all<br />
<br />
<br />
#<br />
# Start of extra section 1<br />
# Requests that need special handling<br />
<br />
# worldcommunitygrid doesn't like it if data is taken from the local cache<br />
acl wcg_nocache dstdomain .worldcommunitygrid.org<br />
cache deny wcg_nocache<br />
<br />
<br />
# if CVMFS uses geoapi, ensure it's checked directly<br />
acl cvmfs_geoapi urlpath_regex -i ^/+cvmfs/+[0-9a-z._~-]+/+api/+[0-9a-z._~-]+/+geo/+[0-9a-z._~-]+/+[0-9a-z.,_~-]+<br />
cache deny cvmfs_geoapi<br />
<br />
<br />
# avoids polluting the disk cache with typical onetimers, e.g. ATLAS job data<br />
acl boinc_nocache urlpath_regex -i /download[0-9a-z._~-]*/+[0-9a-z._~-]+/+.+<br />
cache deny boinc_nocache<br />
<br />
<br />
# seriously: do NOT cache that!<br />
# Based on a frontier cache suggestion<br />
acl PragmaNoCache req_header Pragma no-cache<br />
cache deny PragmaNoCache<br />
<br />
# End of extra section 1<br />
#<br />
<br />
acl Purge method PURGE<br />
<br />
http_access deny !Safe_ports<br />
http_access deny CONNECT !SSL_ports<br />
http_access allow localhost manager<br />
http_access deny manager<br />
http_access deny to_localhost<br />
<br />
#<br />
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS<br />
# Depending on the definition of "crunchers" or "localnet" above at least 1 of the following lines must be uncommented.<br />
# Examples:<br />
# http_access allow crunchers<br />
http_access allow localnet<br />
<br />
http_access allow localhost<br />
# Last "http_access" line.<br />
# Order matters, hence all "http_access" lines following this one will be ignored.<br />
http_access deny all<br />
<br />
# http_port<br />
# don't bind it to an IP that is accessible from outside unless you know what you do.<br />
# Examples:<br />
# http_port localhost:3128<br />
#<br />
# This assumes 198.51.100.99 is the external IP of the Squid box<br />
# http_port 198.51.100.99:3128<br />
#<br />
# default setting that binds Squid to all IPs of the Squid box<br />
http_port 3128<br />
<br />
<br />
# A MUST on Windows.<br />
# If unsure try the the LAN IP of your internet router.<br />
# Avoid using external DNS here.<br />
# On Linux this option shouldn't be necessary<br />
# dns_nameservers 198.51.100.1<br />
<br />
max_filedescriptors 4096<br />
<br />
# Required OFF for intercepted traffic from LHCb VMs<br />
client_dst_passthru off<br />
<br />
# You don't believe this is enough?<br />
# For sure, it is!<br />
cache_mem 256 MB<br />
maximum_object_size_in_memory 24 KB<br />
memory_replacement_policy heap GDSF<br />
<br />
<br />
# Keep it large enough to store vdi files in the cache.<br />
# See extra section 1 how to avoid onetimers eating up your disk storage.<br />
# min-size=xxx keeps very small files away from your disk<br />
# 20000 limits the disk cache to 20 GB<br />
cache_replacement_policy heap LFUDA<br />
maximum_object_size 6144 MB<br />
cache_dir aufs /var/cache/squid 20000 16 64 min-size=7937<br />
<br />
# default=10<br />
logfile_rotate 10<br />
<br />
# logformat has to be changed according to your needs and the capabilities of your logfile analyser<br />
logformat my_awstats %>A %lp %ui %un [%tl] "%rm %>ru HTTP/%rv" %>Hs %st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh<br />
access_log stdio:/var/log/squid/access.log logformat=my_awstats<br />
#access_log none<br />
strip_query_terms off<br />
<br />
coredump_dir none<br />
ftp_user anonymous@<br />
<br />
# max_stale 1 week #default<br />
# extended to be prepared for a project reset<br />
max_stale 37 days<br />
<br />
# 1 line is required to avoid the ancient default settings<br />
# be conservative<br />
# don't violate the HTTP standards<br />
refresh_pattern . 0 0% 0<br />
<br />
store_avg_object_size 1800 KB<br />
<br />
shutdown_lifetime 0 seconds<br />
<br />
# booster 1!<br />
collapsed_forwarding on<br />
<br />
# booster 2!<br />
client_persistent_connections on<br />
server_persistent_connections on<br />
<br />
log_icp_queries off<br />
<br />
dns_defnames on<br />
dns_v4_first on<br />
<br />
forwarded_for transparent<br />
<br />
##### End of squid.conf</nowiki><br />
<br />
Die gibt es nun 2 Möglichkeiten den Squid Zugriff zu erlauben.<br />
<br />
Auf Netzwerkbasis, hier wird erst ein '''localnet''' definiert und diesem dann der HTTP Zugriff gewährt:<br />
acl localnet src 192.168.178.0/24<br />
http_access allow localnet<br />
Alle Rechner des angegebenen Netzwerkes dürfen daraufhin auf den Cache zugreifen.<br />
<br />
Alternativ können auch nur einzelne Rechner erlaubt werden, dies kann über folgende Einträge erfolgen: <br />
acl crunchers src 192.168.178.20<br />
acl crunchers src 192.168.178.38<br />
http_access allow crunchers<br />
Nun wird der Squid seine Services nur den Rechnern 192.168.178.20 & 192.168.178.38 ermöglichen.<br />
<br />
Den Squid nun mit der neuen Konfiguration starten:<br />
service squid start<br />
Ob der Squid genutzt wird, lässt sich einfach über sein Zugriffslog verfolgen:<br />
<br />
tail -f /var/log/squid/access.log<br />
<br />
Startet nach abgeschlossener Konfiguration eine neue native WU, kommen hier innerhalb der ersten Minuten jeweils hunderte bis tausende Einträge hinzu.<br />
<br />
= CVMFS = <br />
<br />
Das CernVM File System ist ein http basiertes read-only Netzwerkdateisystem. Es wird genutzt um Software innerhalb der High Performance Computing (HPC) Umgebung des CERN zu verteilen. Daten im CVMFS werden erst bei Bedarf geladen und können lokal gecached werden.<br />
<br />
== Installation ==<br />
<br />
Cern CVMFS Paketinformationen ziehen, installieren und den Download wieder entfernen:<br />
wget https://ecsft.cern.ch/dist/cvmfs/cvmfs-release/cvmfs-release-latest_all.deb<br />
sudo dpkg -i cvmfs-release-latest_all.deb<br />
rm -f cvmfs-release-latest_all.deb<br />
<br />
CVMFS installieren:<br />
sudo apt-get update<br />
sudo apt-get install cvmfs cvmfs-config-default<br />
<br />
CVMFS Basissetup:<br />
sudo cvmfs_config setup<br />
sudo wget https://lhcathome.cern.ch/lhcathome/download/default.local -O /etc/cvmfs/default.local<br />
sudo cvmfs_config reload<br />
<br />
Die folgenden Schritte sind notwendig um die nativ laufenden WUs pausieren und wieder aufwecken zu können. Hierzu wird eine control group (cgroup) erstellt, die dieses ermöglicht:<br />
sudo sed -i '$ a\kernel.unprivileged_userns_clone = 1' /etc/sysctl.conf<br />
sudo sysctl -p<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/create-boinc-cgroup -O /sbin/create-boinc-cgroup<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/boinc-client.service -O /etc/systemd/system/boinc-client.service<br />
sudo echo "MemoryAccounting=true" >> /etc/systemd/system/boinc-client.service<br />
sudo echo "IOAccounting=true" >> /etc/systemd/system/boinc-client.service<br />
sudo echo "BlockIOAccounting=true" >> /etc/systemd/system/boinc-client.service<br />
sudo echo "CPUAccounting=true" >> /etc/systemd/system/boinc-client.service<br />
<br />
sudo systemctl daemon-reload<br />
sudo systemctl restart boinc-client <br />
<br />
<br />
== Konfiguration == <br />
Über die CVMFS Konfigurationsdatei default.local kann der Cache nutzbar gemacht werden. <br />
CVMFS_HTTP_PROXY ist auskommentiert und muss noch angepasst werden:<br />
<br />
# CVMFS_HTTP_PROXY="auto;DIRECT"<br />
=><br />
CVMFS_HTTP_PROXY="http://192.168.178.4:3128;DIRECT"<br />
<br />
Nach dem Abspeichern einmal die Konfiguration neu einlesen:<br />
cvmfs_config reload<br />
Das Kommando '''cvmfs_config stat''' zeigt jetzt ''s1cern-cvmfs.openhtc.io'' anstatt ''cvmfs-stratum-one.cern.ch'' als nächstes Cache level, zB. für ATLAS sieht das folgendermaßen aus:<br />
<small><br />
# /usr/bin/cvmfs_config stat atlas.cern.ch<br />
VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE<br />
2.8.0.0 3963658 1 24568 79806 2 1 3942964 4194305 0 130560 0 0 n/a 530 186 http://s1cern-cvmfs.openhtc.io/cvmfs/atlas.cern.ch http://192.168.178.4:3128 1<br />
</small><br />
<br />
= BOINC Client = <br />
Die Proxyeinstellungen können sowohl über die GUI als auch direkt in der cc_config.xml gesetzt werden. <br />
Eine der beiden Methoden ist ausreichend.<br />
<br />
== BOINC Manager ==<br />
<br />
Im BOINC Manager via ''Optionen'' -> ''Sonstige Einstellungen...'' den Tab ''HTTP Proxyserver'' auswählen.<br />
<br />
Haken setzen bei "Über HTTP Proxyserver verbinden", dann Adresse und Port befüllen:<br />
Adresse: 192.168.178.4<br />
Port: 3128<br />
<br />
== cc_config.xml ==<br />
<cc_config><br />
<options><br />
<proxy_info><br />
<http_server_name>192.168.178.4</http_server_name><br />
<http_server_port>3128</http_server_port><br />
</proxy_info><br />
</options><br />
</cc_config><br />
<br />
Anschließend die cc_config über boinccmd neu einlesen:<br />
boinccmd --read_cc_config</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC_native_Einrichtung&diff=6838LHC native Einrichtung2021-03-15T13:37:52Z<p>Koschi: Anpassung boinc-client.service</p>
<hr />
<div>= Einrichtung von nativen LHC Anwendungen =<br />
<br />
Diese Anleitung beschreibt die Installation von Squid und Cerns CVMFS auf Ubuntu Systemen. Analog funktioniert dies dann natürlich auch auf Debian, Mint und anderen verwandten Distributionen.<br />
Bei SuSE oder RedHat sind die entsprechenden Paketverwaltungstools (zypper/yast & yum/dnf) zu verwenden, auch kann der Squid Nutzer und dessen Gruppe eine andere sein, zB. "squid" anstelle von "proxy".<br />
<br />
Im Rahmen dieser Anleitung nutzen wir beispielhaft das in der Tabelle gelistete Subnetz und eine IP daraus für den Squid Rechner. Dieses ist das LAN-seitige Defaultsubnetz der meisten Fritzboxen. Andere Router nutzen aber zB. das Subnetz 192.168.0.0/24. <br />
{| class="wikitable"<br />
| LAN Subnetz || 192.168.178.0/24<br />
|-<br />
| IP des Squid Rechners || 192.168.178.4<br />
|}<br />
<br />
Wurde die IP des Rechners per DHCP vergeben, sollte diese im Router dem Rechner fest zugewiesen werden, bzw. eine feste IP händisch konfiguriert werden. Sollte das eigene Subnetz vom Beispiel abweichen, ist dieses in der squid.conf, der CVMFS default.local sowie dem BOINC Client anzupassen.<br />
<br />
= Squid =<br />
Squid ist ein cachender Proxyserver, er wird idR. genutzt um Netzinhalte zu cachen und damit den Zugriff auf diese zu beschleunigen. Damit einher geht eine Reduzierung der beanspruchten Netzwerkbandbreite.<br />
Es empfiehlt sich ausdrücklich Squid über die distributionseigene Paketverwaltung zu installieren, da diese den Cache automatisch und unterhalb eines eigenen Benutzers startet. Auch Konfigurationen für die automatische Rotation der Squid Log Dateien sind enthalten, diese wachsen also nicht ins unermessliche an.<br />
<br />
== Installation ==<br />
<br />
Cacheverzeichnis anlegen:<br />
mkdir -p /var/cache/squid<br />
<br />
Squid installieren:<br />
apt install squid<br />
<br />
Squid stoppen:<br />
service squid stop<br />
<br />
Cacheverzeichnis dem Squid Benutzer "proxy" übergeben:<br />
chown -R proxy:proxy /var/cache/squid<br />
<br />
Cache Basisstruktur im Cacheverzeichnis anlegen:<br />
squid -z <br />
<br />
Hier '''zwei mal Enter''' drücken, dieser Schritt geht schnell, gibt aber keine newline zurück, scheint daher zu hängen.<br />
<br />
== Konfiguration ==<br />
<br />
Die eigentliche Konfiguration der Squidcaches erfolg anhand der im [https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=5473 LHC Forum abgelegten Konfiguration].<br />
Es lohnt sich diesen Thread nochmals zu überfliegen, da Änderungen an der Beispielkonfiguration nicht mehr im Startbeitrag eingepflegt werden können. Stand 26.02.2020 sieht die /etc/squid/squid.conf folgendermaßen aus:<br />
<br />
<nowiki><br />
# Squid configuration for BOINC<br />
# Based on squid version 3.5<br />
# See also: http://www.squid-cache.org/<br />
<br />
# Every line starting with "#" represents a comment.<br />
<br />
# Define your local hosts/networks here.<br />
# If neither "crunchers" nor "localnet" is set none of your devices will be permitted to use the proxy.<br />
# The examples show the principle.<br />
# For advanced options read the Squid documentation.<br />
#<br />
# Examples:<br />
#<br />
# Either enter a list of IPs representing your computers that are permitted to use the proxy.<br />
# Each IP on a separate line.<br />
# acl crunchers src 198.51.100.20<br />
# acl crunchers src 198.51.100.31<br />
# acl crunchers src 198.51.100.37<br />
# acl crunchers src 198.51.100.42<br />
#<br />
# Or enter complete network ranges.<br />
# Be aware that this may permit devices like printers or TVs that you may not want to use the proxy.<br />
# acl localnet src 192.0.2.0/24<br />
# acl localnet src 198.51.100.0/24<br />
acl localnet src 192.168.178.0/24<br />
<br />
<br />
acl SSL_ports port 443<br />
acl Safe_ports port 80<br />
acl Safe_ports port 443<br />
acl Safe_ports port 1025-65535 # unregistered ports<br />
<br />
acl CONNECT method CONNECT<br />
<br />
follow_x_forwarded_for allow localhost<br />
follow_x_forwarded_for deny all<br />
<br />
<br />
#<br />
# Start of extra section 1<br />
# Requests that need special handling<br />
<br />
# worldcommunitygrid doesn't like it if data is taken from the local cache<br />
acl wcg_nocache dstdomain .worldcommunitygrid.org<br />
cache deny wcg_nocache<br />
<br />
<br />
# if CVMFS uses geoapi, ensure it's checked directly<br />
acl cvmfs_geoapi urlpath_regex -i ^/+cvmfs/+[0-9a-z._~-]+/+api/+[0-9a-z._~-]+/+geo/+[0-9a-z._~-]+/+[0-9a-z.,_~-]+<br />
cache deny cvmfs_geoapi<br />
<br />
<br />
# avoids polluting the disk cache with typical onetimers, e.g. ATLAS job data<br />
acl boinc_nocache urlpath_regex -i /download[0-9a-z._~-]*/+[0-9a-z._~-]+/+.+<br />
cache deny boinc_nocache<br />
<br />
<br />
# seriously: do NOT cache that!<br />
# Based on a frontier cache suggestion<br />
acl PragmaNoCache req_header Pragma no-cache<br />
cache deny PragmaNoCache<br />
<br />
# End of extra section 1<br />
#<br />
<br />
acl Purge method PURGE<br />
<br />
http_access deny !Safe_ports<br />
http_access deny CONNECT !SSL_ports<br />
http_access allow localhost manager<br />
http_access deny manager<br />
http_access deny to_localhost<br />
<br />
#<br />
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS<br />
# Depending on the definition of "crunchers" or "localnet" above at least 1 of the following lines must be uncommented.<br />
# Examples:<br />
# http_access allow crunchers<br />
http_access allow localnet<br />
<br />
http_access allow localhost<br />
# Last "http_access" line.<br />
# Order matters, hence all "http_access" lines following this one will be ignored.<br />
http_access deny all<br />
<br />
# http_port<br />
# don't bind it to an IP that is accessible from outside unless you know what you do.<br />
# Examples:<br />
# http_port localhost:3128<br />
#<br />
# This assumes 198.51.100.99 is the external IP of the Squid box<br />
# http_port 198.51.100.99:3128<br />
#<br />
# default setting that binds Squid to all IPs of the Squid box<br />
http_port 3128<br />
<br />
<br />
# A MUST on Windows.<br />
# If unsure try the the LAN IP of your internet router.<br />
# Avoid using external DNS here.<br />
# On Linux this option shouldn't be necessary<br />
# dns_nameservers 198.51.100.1<br />
<br />
max_filedescriptors 4096<br />
<br />
# Required OFF for intercepted traffic from LHCb VMs<br />
client_dst_passthru off<br />
<br />
# You don't believe this is enough?<br />
# For sure, it is!<br />
cache_mem 256 MB<br />
maximum_object_size_in_memory 24 KB<br />
memory_replacement_policy heap GDSF<br />
<br />
<br />
# Keep it large enough to store vdi files in the cache.<br />
# See extra section 1 how to avoid onetimers eating up your disk storage.<br />
# min-size=xxx keeps very small files away from your disk<br />
# 20000 limits the disk cache to 20 GB<br />
cache_replacement_policy heap LFUDA<br />
maximum_object_size 6144 MB<br />
cache_dir aufs /var/cache/squid 20000 16 64 min-size=7937<br />
<br />
# default=10<br />
logfile_rotate 10<br />
<br />
# logformat has to be changed according to your needs and the capabilities of your logfile analyser<br />
logformat my_awstats %>A %lp %ui %un [%tl] "%rm %>ru HTTP/%rv" %>Hs %st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh<br />
access_log stdio:/var/log/squid/access.log logformat=my_awstats<br />
#access_log none<br />
strip_query_terms off<br />
<br />
coredump_dir none<br />
ftp_user anonymous@<br />
<br />
# max_stale 1 week #default<br />
# extended to be prepared for a project reset<br />
max_stale 37 days<br />
<br />
# 1 line is required to avoid the ancient default settings<br />
# be conservative<br />
# don't violate the HTTP standards<br />
refresh_pattern . 0 0% 0<br />
<br />
store_avg_object_size 1800 KB<br />
<br />
shutdown_lifetime 0 seconds<br />
<br />
# booster 1!<br />
collapsed_forwarding on<br />
<br />
# booster 2!<br />
client_persistent_connections on<br />
server_persistent_connections on<br />
<br />
log_icp_queries off<br />
<br />
dns_defnames on<br />
dns_v4_first on<br />
<br />
forwarded_for transparent<br />
<br />
##### End of squid.conf</nowiki><br />
<br />
Die gibt es nun 2 Möglichkeiten den Squid Zugriff zu erlauben.<br />
<br />
Auf Netzwerkbasis, hier wird erst ein '''localnet''' definiert und diesem dann der HTTP Zugriff gewährt:<br />
acl localnet src 192.168.178.0/24<br />
http_access allow localnet<br />
Alle Rechner des angegebenen Netzwerkes dürfen daraufhin auf den Cache zugreifen.<br />
<br />
Alternativ können auch nur einzelne Rechner erlaubt werden, dies kann über folgende Einträge erfolgen: <br />
acl crunchers src 192.168.178.20<br />
acl crunchers src 192.168.178.38<br />
http_access allow crunchers<br />
Nun wird der Squid seine Services nur den Rechnern 192.168.178.20 & 192.168.178.38 ermöglichen.<br />
<br />
Den Squid nun mit der neuen Konfiguration starten:<br />
service squid start<br />
Ob der Squid genutzt wird, lässt sich einfach über sein Zugriffslog verfolgen:<br />
<br />
tail -f /var/log/squid/access.log<br />
<br />
Startet nach abgeschlossener Konfiguration eine neue native WU, kommen hier innerhalb der ersten Minuten jeweils hunderte bis tausende Einträge hinzu.<br />
<br />
= CVMFS = <br />
<br />
Das CernVM File System ist ein http basiertes read-only Netzwerkdateisystem. Es wird genutzt um Software innerhalb der High Performance Computing (HPC) Umgebung des CERN zu verteilen. Daten im CVMFS werden erst bei Bedarf geladen und können lokal gecached werden.<br />
<br />
== Installation ==<br />
<br />
Cern CVMFS Paketinformationen ziehen, installieren und den Download wieder entfernen:<br />
wget https://ecsft.cern.ch/dist/cvmfs/cvmfs-release/cvmfs-release-latest_all.deb<br />
sudo dpkg -i cvmfs-release-latest_all.deb<br />
rm -f cvmfs-release-latest_all.deb<br />
<br />
CVMFS installieren:<br />
sudo apt-get update<br />
sudo apt-get install cvmfs cvmfs-config-default<br />
<br />
CVMFS Basissetup:<br />
sudo cvmfs_config setup<br />
sudo wget https://lhcathome.cern.ch/lhcathome/download/default.local -O /etc/cvmfs/default.local<br />
sudo cvmfs_config reload<br />
<br />
Die folgenden Schritte sind notwendig um die nativ laufenden WUs pausieren und wieder aufwecken zu können. Hierzu wird eine control group (cgroup) erstellt, die dieses ermöglicht:<br />
sudo sed -i '$ a\kernel.unprivileged_userns_clone = 1' /etc/sysctl.conf<br />
sudo sysctl -p<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/create-boinc-cgroup -O /sbin/create-boinc-cgroup<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/boinc-client.service -O /etc/systemd/system/boinc-client.service<br />
sudo echo "MemoryAccounting=true" >> /etc/systemd/system/boinc-client.service<br />
sudo echo "IOAccounting=true" >> /etc/systemd/system/boinc-client.service<br />
sudo echo "BlockIOAccounting=true" >> /etc/systemd/system/boinc-client.service<br />
sudo echo "CPUAccounting=true" >> /etc/systemd/system/boinc-client.service<br />
<br />
sudo systemctl daemon-reload<br />
sudo systemctl restart boinc-client <br />
<br />
<br />
== Konfiguration == <br />
Über die CVMFS Konfigurationsdatei default.local kann der Cache nutzbar gemacht werden. <br />
CVMFS_HTTP_PROXY ist auskommentiert und muss noch angepasst werden:<br />
<br />
# CVMFS_HTTP_PROXY="auto;DIRECT"<br />
=><br />
CVMFS_HTTP_PROXY="http://192.168.178.4:3128;DIRECT"<br />
<br />
Nach dem Abspeichern einmal die Konfiguration neu einlesen:<br />
cvmfs_config reload<br />
Das Kommando '''cvmfs_config stat''' zeigt jetzt ''s1cern-cvmfs.openhtc.io'' anstatt ''cvmfs-stratum-one.cern.ch'' als nächstes Cache level, zB. für ATLAS sieht das folgendermaßen aus:<br />
<small><br />
# /usr/bin/cvmfs_config stat atlas.cern.ch<br />
VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE<br />
2.8.0.0 3963658 1 24568 79806 2 1 3942964 4194305 0 130560 0 0 n/a 530 186 http://s1cern-cvmfs.openhtc.io/cvmfs/atlas.cern.ch http://192.168.178.4:3128 1<br />
</small><br />
<br />
= BOINC Client = <br />
Die Proxyeinstellungen können sowohl über die GUI als auch direkt in der cc_config.xml gesetzt werden. <br />
Eine der beiden Methoden ist ausreichend.<br />
<br />
== BOINC Manager ==<br />
<br />
Im BOINC Manager via ''Optionen'' -> ''Sonstige Einstellungen...'' den Tab ''HTTP Proxyserver'' auswählen.<br />
<br />
Haken setzen bei "Über HTTP Proxyserver verbinden", dann Adresse und Port befüllen:<br />
Adresse: 192.168.178.4<br />
Port: 3128<br />
<br />
== cc_config.xml ==<br />
<cc_config><br />
<options><br />
<proxy_info><br />
<http_server_name>192.168.178.4</http_server_name><br />
<http_server_port>3128</http_server_port><br />
</proxy_info><br />
</options><br />
</cc_config><br />
<br />
Anschließend die cc_config über boinccmd neu einlesen:<br />
boinccmd --read_cc_config</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=App_config.xml&diff=6837App config.xml2021-03-14T09:25:34Z<p>Koschi: minor</p>
<hr />
<div>Mit einer app_config.xml können Parameter für die Projektberechnung festgelegt werden, die sich über die Projektseite nicht festlegen lassen. Per Suchmaschine lassen sich alle Parameter finden. Für unsere Zwecke geht es um das Einstellen:<br />
* wieviele GPU-WUs von welchem Projekt gleichzeitig, mit wievielen CPU-Kernen, rechnen sollen<br />
* von CPU-Projekten die Multithreading betreiben<br />
* der maximalen Anzahl von WUs, eines Projektes/Unterprojektes, die gleichzeitig gerechnet werden sollen<br />
<br />
Werden diese Informationen im Race-Thread oder Plauderchat bekannt gegeben, gehen sie nach ein paar Seiten wieder unter.<br><br />
<br><br />
Die app_config.xml Datei z. B. mit dem Notepad erstellen und in den jeweiligen BOINC-Projektordner "C:\ProgramData\BOINC\projects\..." abspeichern. Darauf achten, dass die Datei nicht "app_config.xml.'''txt'''" heißt.<br><br />
<br><br />
Analog gilt bei Linux dann idR. /var/lib/boinc-client/projects/... oder /var/lib/boinc/projects/...<br />
<br><br />
<br><br />
== [[Collatz Conjecture]] ==<br />
<app_config><br />
<app><br />
<name>collatz_sieve</name><br />
<gpu_versions><br />
<gpu_usage>1.0</gpu_usage><br />
<cpu_usage>1.0</cpu_usage><br />
</gpu_versions><br />
</app><br />
</app_config><br><br />
<br />
== [[Einstein@Home]] ==<br />
<app_config><br />
<app><br />
<name>hsgamma_FGRPB1G</name><br />
<gpu_versions><br />
<gpu_usage>0.333</gpu_usage><br />
<cpu_usage>1.0</cpu_usage><br />
</gpu_versions><br />
</app><br />
<app><br />
<name>einstein_O2MDF</name><br />
<gpu_versions><br />
<gpu_usage>0.2</gpu_usage><br />
<cpu_usage>1.0</cpu_usage><br />
</gpu_versions><br />
</app><br />
</app_config><br><br />
== [[MilkyWay@home]] ==<br />
<app_config><br />
<app><br />
<name>milkyway</name><br />
<gpu_versions><br />
<gpu_usage>1.0</gpu_usage><br />
<cpu_usage>0.05</cpu_usage><br />
</gpu_versions><br />
</app><br />
<app><br />
<name>milkyway_separation__modified_fit</name><br />
<gpu_versions><br />
<gpu_usage>1.0</gpu_usage><br />
<cpu_usage>0.05</cpu_usage><br />
</gpu_versions><br />
</app><br />
</app_config><br><br />
== [[PrimeGrid]] ==<br />
<app_config><br />
<app><br />
<name>pps_sr2sieve</name><br />
<gpu_versions><br />
<gpu_usage>1.0</gpu_usage><br />
<cpu_usage>1.0</cpu_usage><br />
</gpu_versions><br />
</app><br />
<app><br />
<name>ap26</name><br />
<gpu_versions><br />
<gpu_usage>1.0</gpu_usage><br />
<cpu_usage>1.0</cpu_usage><br />
</gpu_versions><br />
</app><br />
<app><br />
<name>genefer</name><br />
<gpu_versions><br />
<gpu_usage>1.0</gpu_usage><br />
<cpu_usage>0.084</cpu_usage><br />
</gpu_versions><br />
</app><br />
<app><br />
<name>genefer_wr</name><br />
<gpu_versions><br />
<gpu_usage>1.0</gpu_usage><br />
<cpu_usage>0.084</cpu_usage><br />
</gpu_versions><br />
</app><br />
<app><br />
<name>genefer15</name><br />
<gpu_versions><br />
<gpu_usage>1.0</gpu_usage><br />
<cpu_usage>0.084</cpu_usage><br />
</gpu_versions><br />
</app><br />
<app><br />
<name>genefer16</name><br />
<gpu_versions><br />
<gpu_usage>1.0</gpu_usage><br />
<cpu_usage>0.084</cpu_usage><br />
</gpu_versions><br />
</app><br />
<app><br />
<name>genefer17low</name><br />
<gpu_versions><br />
<gpu_usage>1.0</gpu_usage><br />
<cpu_usage>0.084</cpu_usage><br />
</gpu_versions><br />
</app><br />
<app><br />
<name>genefer17mega</name><br />
<gpu_versions><br />
<gpu_usage>1.0</gpu_usage><br />
<cpu_usage>0.084</cpu_usage><br />
</gpu_versions><br />
</app><br />
<app><br />
<name>genefer18</name><br />
<gpu_versions><br />
<gpu_usage>1.0</gpu_usage><br />
<cpu_usage>0.084</cpu_usage><br />
</gpu_versions><br />
</app><br />
<app><br />
<name>genefer19</name><br />
<gpu_versions><br />
<gpu_usage>1.0</gpu_usage><br />
<cpu_usage>0.084</cpu_usage><br />
</gpu_versions><br />
</app><br />
<app><br />
<name>genefer20</name><br />
<gpu_versions><br />
<gpu_usage>1.0</gpu_usage><br />
<cpu_usage>0.084</cpu_usage><br />
</gpu_versions><br />
</app><br />
<app><br />
<name>genefer_extreme</name><br />
<gpu_versions><br />
<gpu_usage>1.0</gpu_usage><br />
<cpu_usage>0.084</cpu_usage><br />
</gpu_versions><br />
</app><br />
<app><br />
<name>ww</name><br />
<gpu_versions><br />
<gpu_usage>1.0</gpu_usage><br />
<cpu_usage>0.084</cpu_usage><br />
</gpu_versions><br />
</app><br />
</app_config></div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=Update.bat&diff=6836Update.bat2021-03-14T08:54:32Z<p>Koschi: </p>
<hr />
<div>Bei manchen Projekten kommt man nicht umhin, bei der Workunit-Anforderung nachzuhelfen.<br />
<br />
Dies erfolgt am einfachsten mit einer ausführbaren Datei, oder im Falle von Linux, mit einer Komandozeile.<br />
<br />
<br />
=== Windows ===<br />
<br />
Den Texteditor öffnen und folgenden Inhalt, hier beispielhaft für das Projekt TN-Gird, einfügen:<br><br><br />
<nowiki><br />
cls<br />
:START<br />
echo off<br />
time /t<br />
timeout 122<br />
"C:\Programme\Boinc\boinccmd.exe" --project http://gene.disi.unitn.it/test/ update<br />
GOTO START </nowiki><br />
<br><br />
<br><br />
<br><br />
Danach die Datei mit dem Namen "Update.bat" im Verzeichnis: C:\ProgramData\BOINC\ abspeichern.<br><br />
<br />
Darauf achten, dass die Datei nicht "Update.bat.'''txt'''" heißt.<br><br />
<br />
Datei mit Doppelklick starten, beenden mit Strg+C und mit j bestätigen.<br><br />
<br />
Mit Rechtsklick läßt sich natürlich auch eine Verknüpfung anlegen.<br><br />
<br />
Die Zahl hinter "timeout" ist in Sekunden, wie lange pausiert werden soll, bis die nächste Anfrage ans Projekt erfolgt.<br><br />
<br />
Diese Zeitspanne ist von Projekt zu Projekt unterschiedlich.<br><br />
<br><br />
<br><br />
<br />
<br />
=== Linux ===<br />
<br />
Konsole im Verzeichnis: /var/lib/boinc-client/ mit Strg+Alt+T öffnen und folgenden Inhalt, hier beispielhaft für das Projekt TN-Grid, einfügen:<br><br />
<br />
<br />
<nowiki> while true; do boinccmd --project http://gene.disi.unitn.it/test/ update; sleep 122; done</nowiki><br />
<br />
Mit Enter ausführen, und mit Strg+C beenden.<br><br />
<br />
Der Eintrag hinter "sleep" ist analog zu "timeout".</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC_native_Einrichtung&diff=6766LHC native Einrichtung2021-03-08T09:03:15Z<p>Koschi: </p>
<hr />
<div>= Einrichtung von nativen LHC Anwendungen =<br />
<br />
Diese Anleitung beschreibt die Installation von Squid und Cerns CVMFS auf Ubuntu Systemen. Analog funktioniert dies dann natürlich auch auf Debian, Mint und anderen verwandten Distributionen.<br />
Bei SuSE oder RedHat sind die entsprechenden Paketverwaltungstools (zypper/yast & yum/dnf) zu verwenden, auch kann der Squid Nutzer und dessen Gruppe eine andere sein, zB. "squid" anstelle von "proxy".<br />
<br />
Im Rahmen dieser Anleitung nutzen wir beispielhaft das in der Tabelle gelistete Subnetz und eine IP daraus für den Squid Rechner. Dieses ist das LAN-seitige Defaultsubnetz der meisten Fritzboxen. Andere Router nutzen aber zB. das Subnetz 192.168.0.0/24. <br />
{| class="wikitable"<br />
| LAN Subnetz || 192.168.178.0/24<br />
|-<br />
| IP des Squid Rechners || 192.168.178.4<br />
|}<br />
<br />
Wurde die IP des Rechners per DHCP vergeben, sollte diese im Router dem Rechner fest zugewiesen werden, bzw. eine feste IP händisch konfiguriert werden. Sollte das eigene Subnetz vom Beispiel abweichen, ist dieses in der squid.conf, der CVMFS default.local sowie dem BOINC Client anzupassen.<br />
<br />
= Squid =<br />
Squid ist ein cachender Proxyserver, er wird idR. genutzt um Netzinhalte zu cachen und damit den Zugriff auf diese zu beschleunigen. Damit einher geht eine Reduzierung der beanspruchten Netzwerkbandbreite.<br />
Es empfiehlt sich ausdrücklich Squid über die distributionseigene Paketverwaltung zu installieren, da diese den Cache automatisch und unterhalb eines eigenen Benutzers startet. Auch Konfigurationen für die automatische Rotation der Squid Log Dateien sind enthalten, diese wachsen also nicht ins unermessliche an.<br />
<br />
== Installation ==<br />
<br />
Cacheverzeichnis anlegen:<br />
mkdir -p /var/cache/squid<br />
<br />
Squid installieren:<br />
apt install squid<br />
<br />
Squid stoppen:<br />
service squid stop<br />
<br />
Cacheverzeichnis dem Squid Benutzer "proxy" übergeben:<br />
chown -R proxy:proxy /var/cache/squid<br />
<br />
Cache Basisstruktur im Cacheverzeichnis anlegen:<br />
squid -z <br />
<br />
Hier '''zwei mal Enter''' drücken, dieser Schritt geht schnell, gibt aber keine newline zurück, scheint daher zu hängen.<br />
<br />
== Konfiguration ==<br />
<br />
Die eigentliche Konfiguration der Squidcaches erfolg anhand der im [https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=5473 LHC Forum abgelegten Konfiguration].<br />
Es lohnt sich diesen Thread nochmals zu überfliegen, da Änderungen an der Beispielkonfiguration nicht mehr im Startbeitrag eingepflegt werden können. Stand 26.02.2020 sieht die /etc/squid/squid.conf folgendermaßen aus:<br />
<br />
<nowiki><br />
# Squid configuration for BOINC<br />
# Based on squid version 3.5<br />
# See also: http://www.squid-cache.org/<br />
<br />
# Every line starting with "#" represents a comment.<br />
<br />
# Define your local hosts/networks here.<br />
# If neither "crunchers" nor "localnet" is set none of your devices will be permitted to use the proxy.<br />
# The examples show the principle.<br />
# For advanced options read the Squid documentation.<br />
#<br />
# Examples:<br />
#<br />
# Either enter a list of IPs representing your computers that are permitted to use the proxy.<br />
# Each IP on a separate line.<br />
# acl crunchers src 198.51.100.20<br />
# acl crunchers src 198.51.100.31<br />
# acl crunchers src 198.51.100.37<br />
# acl crunchers src 198.51.100.42<br />
#<br />
# Or enter complete network ranges.<br />
# Be aware that this may permit devices like printers or TVs that you may not want to use the proxy.<br />
# acl localnet src 192.0.2.0/24<br />
# acl localnet src 198.51.100.0/24<br />
acl localnet src 192.168.178.0/24<br />
<br />
<br />
acl SSL_ports port 443<br />
acl Safe_ports port 80<br />
acl Safe_ports port 443<br />
acl Safe_ports port 1025-65535 # unregistered ports<br />
<br />
acl CONNECT method CONNECT<br />
<br />
follow_x_forwarded_for allow localhost<br />
follow_x_forwarded_for deny all<br />
<br />
<br />
#<br />
# Start of extra section 1<br />
# Requests that need special handling<br />
<br />
# worldcommunitygrid doesn't like it if data is taken from the local cache<br />
acl wcg_nocache dstdomain .worldcommunitygrid.org<br />
cache deny wcg_nocache<br />
<br />
<br />
# if CVMFS uses geoapi, ensure it's checked directly<br />
acl cvmfs_geoapi urlpath_regex -i ^/+cvmfs/+[0-9a-z._~-]+/+api/+[0-9a-z._~-]+/+geo/+[0-9a-z._~-]+/+[0-9a-z.,_~-]+<br />
cache deny cvmfs_geoapi<br />
<br />
<br />
# avoids polluting the disk cache with typical onetimers, e.g. ATLAS job data<br />
acl boinc_nocache urlpath_regex -i /download[0-9a-z._~-]*/+[0-9a-z._~-]+/+.+<br />
cache deny boinc_nocache<br />
<br />
<br />
# seriously: do NOT cache that!<br />
# Based on a frontier cache suggestion<br />
acl PragmaNoCache req_header Pragma no-cache<br />
cache deny PragmaNoCache<br />
<br />
# End of extra section 1<br />
#<br />
<br />
acl Purge method PURGE<br />
<br />
http_access deny !Safe_ports<br />
http_access deny CONNECT !SSL_ports<br />
http_access allow localhost manager<br />
http_access deny manager<br />
http_access deny to_localhost<br />
<br />
#<br />
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS<br />
# Depending on the definition of "crunchers" or "localnet" above at least 1 of the following lines must be uncommented.<br />
# Examples:<br />
# http_access allow crunchers<br />
http_access allow localnet<br />
<br />
http_access allow localhost<br />
# Last "http_access" line.<br />
# Order matters, hence all "http_access" lines following this one will be ignored.<br />
http_access deny all<br />
<br />
# http_port<br />
# don't bind it to an IP that is accessible from outside unless you know what you do.<br />
# Examples:<br />
# http_port localhost:3128<br />
#<br />
# This assumes 198.51.100.99 is the external IP of the Squid box<br />
# http_port 198.51.100.99:3128<br />
#<br />
# default setting that binds Squid to all IPs of the Squid box<br />
http_port 3128<br />
<br />
<br />
# A MUST on Windows.<br />
# If unsure try the the LAN IP of your internet router.<br />
# Avoid using external DNS here.<br />
# On Linux this option shouldn't be necessary<br />
# dns_nameservers 198.51.100.1<br />
<br />
max_filedescriptors 4096<br />
<br />
# Required OFF for intercepted traffic from LHCb VMs<br />
client_dst_passthru off<br />
<br />
# You don't believe this is enough?<br />
# For sure, it is!<br />
cache_mem 256 MB<br />
maximum_object_size_in_memory 24 KB<br />
memory_replacement_policy heap GDSF<br />
<br />
<br />
# Keep it large enough to store vdi files in the cache.<br />
# See extra section 1 how to avoid onetimers eating up your disk storage.<br />
# min-size=xxx keeps very small files away from your disk<br />
# 20000 limits the disk cache to 20 GB<br />
cache_replacement_policy heap LFUDA<br />
maximum_object_size 6144 MB<br />
cache_dir aufs /var/cache/squid 20000 16 64 min-size=7937<br />
<br />
# default=10<br />
logfile_rotate 10<br />
<br />
# logformat has to be changed according to your needs and the capabilities of your logfile analyser<br />
logformat my_awstats %>A %lp %ui %un [%tl] "%rm %>ru HTTP/%rv" %>Hs %st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh<br />
access_log stdio:/var/log/squid/access.log logformat=my_awstats<br />
#access_log none<br />
strip_query_terms off<br />
<br />
coredump_dir none<br />
ftp_user anonymous@<br />
<br />
# max_stale 1 week #default<br />
# extended to be prepared for a project reset<br />
max_stale 37 days<br />
<br />
# 1 line is required to avoid the ancient default settings<br />
# be conservative<br />
# don't violate the HTTP standards<br />
refresh_pattern . 0 0% 0<br />
<br />
store_avg_object_size 1800 KB<br />
<br />
shutdown_lifetime 0 seconds<br />
<br />
# booster 1!<br />
collapsed_forwarding on<br />
<br />
# booster 2!<br />
client_persistent_connections on<br />
server_persistent_connections on<br />
<br />
log_icp_queries off<br />
<br />
dns_defnames on<br />
dns_v4_first on<br />
<br />
forwarded_for transparent<br />
<br />
##### End of squid.conf</nowiki><br />
<br />
Die gibt es nun 2 Möglichkeiten den Squid Zugriff zu erlauben.<br />
<br />
Auf Netzwerkbasis, hier wird erst ein '''localnet''' definiert und diesem dann der HTTP Zugriff gewährt:<br />
acl localnet src 192.168.178.0/24<br />
http_access allow localnet<br />
Alle Rechner des angegebenen Netzwerkes dürfen daraufhin auf den Cache zugreifen.<br />
<br />
Alternativ können auch nur einzelne Rechner erlaubt werden, dies kann über folgende Einträge erfolgen: <br />
acl crunchers src 192.168.178.20<br />
acl crunchers src 192.168.178.38<br />
http_access allow crunchers<br />
Nun wird der Squid seine Services nur den Rechnern 192.168.178.20 & 192.168.178.38 ermöglichen.<br />
<br />
Den Squid nun mit der neuen Konfiguration starten:<br />
service squid start<br />
Ob der Squid genutzt wird, lässt sich einfach über sein Zugriffslog verfolgen:<br />
<br />
tail -f /var/log/squid/access.log<br />
<br />
Startet nach abgeschlossener Konfiguration eine neue native WU, kommen hier innerhalb der ersten Minuten jeweils hunderte bis tausende Einträge hinzu.<br />
<br />
= CVMFS = <br />
<br />
Das CernVM File System ist ein http basiertes read-only Netzwerkdateisystem. Es wird genutzt um Software innerhalb der High Performance Computing (HPC) Umgebung des CERN zu verteilen. Daten im CVMFS werden erst bei Bedarf geladen und können lokal gecached werden.<br />
<br />
== Installation ==<br />
<br />
Cern CVMFS Paketinformationen ziehen, installieren und den Download wieder entfernen:<br />
wget https://ecsft.cern.ch/dist/cvmfs/cvmfs-release/cvmfs-release-latest_all.deb<br />
sudo dpkg -i cvmfs-release-latest_all.deb<br />
rm -f cvmfs-release-latest_all.deb<br />
<br />
CVMFS installieren:<br />
sudo apt-get update<br />
sudo apt-get install cvmfs cvmfs-config-default<br />
<br />
CVMFS Basissetup:<br />
sudo cvmfs_config setup<br />
sudo wget https://lhcathome.cern.ch/lhcathome/download/default.local -O /etc/cvmfs/default.local<br />
sudo cvmfs_config reload<br />
<br />
Die folgenden Schritte sind notwendig um die nativ laufenden WUs pausieren und wieder aufwecken zu können. Hierzu wird eine control group (cgroup) erstellt, die dieses ermöglicht:<br />
sudo sed -i '$ a\kernel.unprivileged_userns_clone = 1' /etc/sysctl.conf<br />
sudo sysctl -p<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/create-boinc-cgroup -O /sbin/create-boinc-cgroup<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/boinc-client.service -O /etc/systemd/system/boinc-client.service<br />
sudo systemctl daemon-reload<br />
sudo systemctl restart boinc-client <br />
<br />
<br />
== Konfiguration == <br />
Über die CVMFS Konfigurationsdatei default.local kann der Cache nutzbar gemacht werden. <br />
CVMFS_HTTP_PROXY ist auskommentiert und muss noch angepasst werden:<br />
<br />
# CVMFS_HTTP_PROXY="auto;DIRECT"<br />
=><br />
CVMFS_HTTP_PROXY="http://192.168.178.4:3128;DIRECT"<br />
<br />
Nach dem Abspeichern einmal die Konfiguration neu einlesen:<br />
cvmfs_config reload<br />
Das Kommando '''cvmfs_config stat''' zeigt jetzt ''s1cern-cvmfs.openhtc.io'' anstatt ''cvmfs-stratum-one.cern.ch'' als nächstes Cache level, zB. für ATLAS sieht das folgendermaßen aus:<br />
<small><br />
# /usr/bin/cvmfs_config stat atlas.cern.ch<br />
VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE<br />
2.8.0.0 3963658 1 24568 79806 2 1 3942964 4194305 0 130560 0 0 n/a 530 186 http://s1cern-cvmfs.openhtc.io/cvmfs/atlas.cern.ch http://192.168.178.4:3128 1<br />
</small><br />
<br />
= BOINC Client = <br />
Die Proxyeinstellungen können sowohl über die GUI als auch direkt in der cc_config.xml gesetzt werden. <br />
Eine der beiden Methoden ist ausreichend.<br />
<br />
== BOINC Manager ==<br />
<br />
Im BOINC Manager via ''Optionen'' -> ''Sonstige Einstellungen...'' den Tab ''HTTP Proxyserver'' auswählen.<br />
<br />
Haken setzen bei "Über HTTP Proxyserver verbinden", dann Adresse und Port befüllen:<br />
Adresse: 192.168.178.4<br />
Port: 3128<br />
<br />
== cc_config.xml ==<br />
<cc_config><br />
<options><br />
<proxy_info><br />
<http_server_name>192.168.178.4</http_server_name><br />
<http_server_port>3128</http_server_port><br />
</proxy_info><br />
</options><br />
</cc_config><br />
<br />
Anschließend die cc_config über boinccmd neu einlesen:<br />
boinccmd --read_cc_config</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC_native_Einrichtung&diff=6759LHC native Einrichtung2021-03-07T22:26:23Z<p>Koschi: </p>
<hr />
<div>= Einrichtung von nativen LHC Anwendungen =<br />
<br />
Diese Anleitung beschreibt die Installation von Squid und Cerns CVMFS auf Ubuntu Systemen. Analog funktioniert dies dann natürlich auch auf Debian, Mint und anderen verwandten Distributionen.<br />
Bei SuSE oder RedHat sind die entsprechenden Paketverwaltungstools (zypper/yast & yum/dnf) zu verwenden, auch kann der Squid Nutzer und dessen Gruppe eine andere sein, zB. "squid" anstelle von "proxy".<br />
<br />
Im Rahmen dieser Anleitung nutzen wir beispielhaft das in der Tabelle gelistete Subnetz und eine IP daraus für den Squid Rechner. Dieses ist das LAN-seitige Defaultsubnetz der meisten Fritzboxen. Andere Router nutzen aber zB. das Subnetz 192.168.0.0/24. <br />
{| class="wikitable"<br />
| LAN Subnetz || 192.168.178.0/24<br />
|-<br />
| IP des Squid Rechners || 192.168.178.4<br />
|}<br />
<br />
Wurde die IP des Rechners per DHCP vergeben, sollte diese im Router dem Rechner fest zugewiesen werden, bzw. eine feste IP händisch konfiguriert werden. Sollte das eigene Subnetz vom Beispiel abweichen, ist dieses in der squid.conf, der CVMFS default.local sowie dem BOINC Client anzupassen.<br />
<br />
= Squid =<br />
Squid ist ein cachender Proxyserver, er wird idR. genutzt um Netzinhalte zu cachen und damit den Zugriff auf diese zu beschleunigen. Damit einher geht eine Reduzierung der beanspruchten Netzwerkbandbreite.<br />
Es empfiehlt sich ausdrücklich Squid über die distributionseigene Paketverwaltung zu installieren, da diese den Cache automatisch und unterhalb eines eigenen Benutzers startet. Auch Konfigurationen für die automatische Rotation der Squid Log Dateien sind enthalten, diese wachsen also nicht ins unermessliche an.<br />
<br />
== Installation ==<br />
<br />
Cacheverzeichnis anlegen:<br />
mkdir -p /var/cache/squid<br />
<br />
Squid installieren:<br />
apt install squid<br />
<br />
Squid stoppen:<br />
service squid stop<br />
<br />
Cacheverzeichnis dem Squid Benutzer "proxy" übergeben:<br />
chown -R proxy:proxy /var/cache/squid<br />
<br />
Cache Basisstruktur im Cacheverzeichnis anlegen:<br />
squid -z <br />
<br />
Hier '''zwei mal Enter''' drücken, dieser Schritt geht schnell, gibt aber keine newline zurück, scheint daher zu hängen.<br />
<br />
== Konfiguration ==<br />
<br />
Die eigentliche Konfiguration der Squidcaches erfolg anhand der im [https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=5473 LHC Forum abgelegten Konfiguration].<br />
Es lohnt sich diesen Thread nochmals zu überfliegen, da Änderungen an der Beispielkonfiguration nicht mehr im Startbeitrag eingepflegt werden können. Stand 26.02.2020 sieht die /etc/squid/squid.conf folgendermaßen aus:<br />
<br />
<nowiki><br />
# Squid configuration for BOINC<br />
# Based on squid version 3.5<br />
# See also: http://www.squid-cache.org/<br />
<br />
# Every line starting with "#" represents a comment.<br />
<br />
# Define your local hosts/networks here.<br />
# If neither "crunchers" nor "localnet" is set none of your devices will be permitted to use the proxy.<br />
# The examples show the principle.<br />
# For advanced options read the Squid documentation.<br />
#<br />
# Examples:<br />
#<br />
# Either enter a list of IPs representing your computers that are permitted to use the proxy.<br />
# Each IP on a separate line.<br />
# acl crunchers src 198.51.100.20<br />
# acl crunchers src 198.51.100.31<br />
# acl crunchers src 198.51.100.37<br />
# acl crunchers src 198.51.100.42<br />
#<br />
# Or enter complete network ranges.<br />
# Be aware that this may permit devices like printers or TVs that you may not want to use the proxy.<br />
# acl localnet src 192.0.2.0/24<br />
# acl localnet src 198.51.100.0/24<br />
acl localnet src 192.168.178.0/24<br />
<br />
<br />
acl SSL_ports port 443<br />
acl Safe_ports port 80<br />
acl Safe_ports port 443<br />
acl Safe_ports port 1025-65535 # unregistered ports<br />
<br />
acl CONNECT method CONNECT<br />
<br />
follow_x_forwarded_for allow localhost<br />
follow_x_forwarded_for deny all<br />
<br />
<br />
#<br />
# Start of extra section 1<br />
# Requests that need special handling<br />
<br />
# worldcommunitygrid doesn't like it if data is taken from the local cache<br />
acl wcg_nocache dstdomain .worldcommunitygrid.org<br />
cache deny wcg_nocache<br />
<br />
<br />
# if CVMFS uses geoapi, ensure it's checked directly<br />
acl cvmfs_geoapi urlpath_regex -i ^/+cvmfs/+[0-9a-z._~-]+/+api/+[0-9a-z._~-]+/+geo/+[0-9a-z._~-]+/+[0-9a-z.,_~-]+<br />
cache deny cvmfs_geoapi<br />
<br />
<br />
# avoids polluting the disk cache with typical onetimers, e.g. ATLAS job data<br />
acl boinc_nocache urlpath_regex -i /download[0-9a-z._~-]*/+[0-9a-z._~-]+/+.+<br />
cache deny boinc_nocache<br />
<br />
<br />
# seriously: do NOT cache that!<br />
# Based on a frontier cache suggestion<br />
acl PragmaNoCache req_header Pragma no-cache<br />
cache deny PragmaNoCache<br />
<br />
# End of extra section 1<br />
#<br />
<br />
acl Purge method PURGE<br />
<br />
http_access deny !Safe_ports<br />
http_access deny CONNECT !SSL_ports<br />
http_access allow localhost manager<br />
http_access deny manager<br />
http_access deny to_localhost<br />
<br />
#<br />
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS<br />
# Depending on the definition of "crunchers" or "localnet" above at least 1 of the following lines must be uncommented.<br />
# Examples:<br />
# http_access allow crunchers<br />
http_access allow localnet<br />
<br />
http_access allow localhost<br />
# Last "http_access" line.<br />
# Order matters, hence all "http_access" lines following this one will be ignored.<br />
http_access deny all<br />
<br />
# http_port<br />
# don't bind it to an IP that is accessible from outside unless you know what you do.<br />
# Examples:<br />
# http_port localhost:3128<br />
#<br />
# This assumes 198.51.100.99 is the external IP of the Squid box<br />
# http_port 198.51.100.99:3128<br />
#<br />
# default setting that binds Squid to all IPs of the Squid box<br />
http_port 3128<br />
<br />
<br />
# A MUST on Windows.<br />
# If unsure try the the LAN IP of your internet router.<br />
# Avoid using external DNS here.<br />
# On Linux this option shouldn't be necessary<br />
# dns_nameservers 198.51.100.1<br />
<br />
max_filedescriptors 4096<br />
<br />
# Required OFF for intercepted traffic from LHCb VMs<br />
client_dst_passthru off<br />
<br />
# You don't believe this is enough?<br />
# For sure, it is!<br />
cache_mem 256 MB<br />
maximum_object_size_in_memory 24 KB<br />
memory_replacement_policy heap GDSF<br />
<br />
<br />
# Keep it large enough to store vdi files in the cache.<br />
# See extra section 1 how to avoid onetimers eating up your disk storage.<br />
# min-size=xxx keeps very small files away from your disk<br />
# 20000 limits the disk cache to 20 GB<br />
cache_replacement_policy heap LFUDA<br />
maximum_object_size 6144 MB<br />
cache_dir aufs /var/cache/squid 20000 16 64 min-size=7937<br />
<br />
# default=10<br />
logfile_rotate 10<br />
<br />
# logformat has to be changed according to your needs and the capabilities of your logfile analyser<br />
logformat my_awstats %>A %lp %ui %un [%tl] "%rm %>ru HTTP/%rv" %>Hs %st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh<br />
access_log stdio:/var/log/squid/access.log logformat=my_awstats<br />
#access_log none<br />
strip_query_terms off<br />
<br />
coredump_dir none<br />
ftp_user anonymous@<br />
<br />
# max_stale 1 week #default<br />
# extended to be prepared for a project reset<br />
max_stale 37 days<br />
<br />
# 1 line is required to avoid the ancient default settings<br />
# be conservative<br />
# don't violate the HTTP standards<br />
refresh_pattern . 0 0% 0<br />
<br />
store_avg_object_size 1800 KB<br />
<br />
shutdown_lifetime 0 seconds<br />
<br />
# booster 1!<br />
collapsed_forwarding on<br />
<br />
# booster 2!<br />
client_persistent_connections on<br />
server_persistent_connections on<br />
<br />
log_icp_queries off<br />
<br />
dns_defnames on<br />
dns_v4_first on<br />
<br />
forwarded_for transparent<br />
<br />
##### End of squid.conf</nowiki><br />
<br />
Die gibt es nun 2 Möglichkeiten den Squid Zugriff zu erlauben.<br />
<br />
Auf Netzwerkbasis, hier wird erst ein '''localnet''' definiert und diesem dann der HTTP Zugriff gewährt:<br />
acl localnet src 192.168.178.0/24<br />
http_access allow localnet<br />
Alle Rechner des angegebenen Netzwerkes dürfen daraufhin auf den Cache zugreifen.<br />
<br />
Alternativ können auch nur einzelne Rechner erlaubt werden, dies kann über folgende Einträge erfolgen: <br />
acl crunchers src 192.168.178.20<br />
acl crunchers src 192.168.178.38<br />
http_access allow crunchers<br />
Nun wird der Squid seine Services nur den Rechnern 192.168.178.20 & 192.168.178.38 ermöglichen.<br />
<br />
Den Squid nun mit der neuen Konfiguration starten:<br />
service squid start<br />
Ob der Squid genutzt wird, lässt sich einfach über sein Zugriffslog verfolgen:<br />
<br />
tail -f /var/log/squid/access.log<br />
<br />
Startet nach abgeschlossener Konfiguration eine neue native WU, kommen hier innerhalb der ersten Minuten jeweils hunderte bis tausende Einträge hinzu.<br />
<br />
= CVMFS = <br />
<br />
Das CernVM File System ist ein http basiertes read-only Netzwerkdateisystem. Es wird genutzt um Software innerhalb der High Performance Computing (HPC) Umgebung des CERN zu verteilen. Daten im CVMFS werden erst bei Bedarf geladen und können lokal gecached werden.<br />
<br />
== Installation ==<br />
<br />
Cern CVMFS Paketinformationen ziehen, installieren und den Download wieder entfernen:<br />
wget https://ecsft.cern.ch/dist/cvmfs/cvmfs-release/cvmfs-release-latest_all.deb<br />
sudo dpkg -i cvmfs-release-latest_all.deb<br />
rm -f cvmfs-release-latest_all.deb<br />
<br />
CVMFS installieren:<br />
sudo apt-get update<br />
sudo apt-get install cvmfs cvmfs-config-default<br />
<br />
CVMFS Basissetup:<br />
sudo cvmfs_config setup<br />
sudo wget https://lhcathome.cern.ch/lhcathome/download/default.local -O /etc/cvmfs/default.local<br />
sudo cvmfs_config reload<br />
<br />
Die folgenden Schritte sind notwendig um die nativ laufenden WUs pausieren und wieder aufwecken zu können. Hierzu wird eine control group (cgroup) erstellt, die dieses ermöglicht:<br />
sudo sed -i '$ a\kernel.unprivileged_userns_clone = 1' /etc/sysctl.conf<br />
sudo sysctl -p<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/create-boinc-cgroup -O /sbin/create-boinc-cgroup<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/boinc-client.service -O /etc/systemd/system/boinc-client.service<br />
sudo systemctl daemon-reload<br />
sudo systemctl restart boinc-client <br />
<br />
LHC native läuft hiermit bereits, jedoch muss in der Konfiguration<br />
== Konfiguration == <br />
Über die CVMFS Konfigurationsdatei default.local kann der Cache nutzbar gemacht werden. <br />
CVMFS_HTTP_PROXY ist auskommentiert und muss noch angepasst werden:<br />
<br />
# CVMFS_HTTP_PROXY="auto;DIRECT"<br />
=><br />
CVMFS_HTTP_PROXY="http://192.168.178.4:3128;DIRECT"<br />
<br />
Nach dem Abspeichern einmal die Konfiguration neu einlesen:<br />
cvmfs_config reload<br />
Das Kommando '''cvmfs_config stat''' zeigt jetzt ''s1cern-cvmfs.openhtc.io'' anstatt ''cvmfs-stratum-one.cern.ch'' als nächstes Cache level, zB. für ATLAS sieht das folgendermaßen aus:<br />
<small><br />
# /usr/bin/cvmfs_config stat atlas.cern.ch<br />
VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE<br />
2.8.0.0 3963658 1 24568 79806 2 1 3942964 4194305 0 130560 0 0 n/a 530 186 http://s1cern-cvmfs.openhtc.io/cvmfs/atlas.cern.ch http://192.168.178.4:3128 1<br />
</small><br />
<br />
= BOINC Client = <br />
Die Proxyeinstellungen können sowohl über die GUI als auch direkt in der cc_config.xml gesetzt werden. <br />
Eine der beiden Methoden ist ausreichend.<br />
<br />
== BOINC Manager ==<br />
<br />
Im BOINC Manager via ''Optionen'' -> ''Sonstige Einstellungen...'' den Tab ''HTTP Proxyserver'' auswählen.<br />
<br />
Haken setzen bei "Über HTTP Proxyserver verbinden", dann Adresse und Port befüllen:<br />
Adresse: 192.168.178.4<br />
Port: 3128<br />
<br />
== cc_config.xml ==<br />
<cc_config><br />
<options><br />
<proxy_info><br />
<http_server_name>192.168.178.4</http_server_name><br />
<http_server_port>3128</http_server_port><br />
</proxy_info><br />
</options><br />
</cc_config><br />
<br />
Anschließend die cc_config über boinccmd neu einlesen:<br />
boinccmd --read_cc_config</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC_native_Einrichtung&diff=6758LHC native Einrichtung2021-03-07T22:17:25Z<p>Koschi: </p>
<hr />
<div>= Einrichtung von nativen LHC Anwendungen =<br />
<br />
Diese Anleitung beschreibt die Installation von Squid und Cerns CVMFS auf Ubuntu Systemen. Analog funktioniert dies dann natürlich auch auf Debian, Mint und anderen verwandten Distributionen.<br />
Bei SuSE oder RedHat sind die entsprechenden Paketverwaltungstools (zypper/yast & yum/dnf) zu verwenden, auch kann der Squid Nutzer und dessen Gruppe eine andere sein, zB. "squid" anstelle von "proxy".<br />
<br />
Im Rahmen dieser Anleitung nutzen wir beispielhaft das in der Tabelle gelistete Subnetz und eine IP daraus für den Squid Rechner. Dieses ist das LAN-seitige Defaultsubnetz der meisten Fritzboxen. Andere Router nutzen aber zB. das Subnetz 192.168.0.0/24. <br />
{| class="wikitable"<br />
| LAN Subnetz || 192.168.178.0/24<br />
|-<br />
| IP des Squid Rechners || 192.168.178.4<br />
|}<br />
<br />
Wurde die IP des Rechners per DHCP vergeben, sollte diese im Router dem Rechner fest zugewiesen werden, bzw. eine feste IP händisch konfiguriert werden. Sollte das eigene Subnetz vom Beispiel abweichen, ist dieses in der squid.conf, der CVMFS default.local sowie dem BOINC Client anzupassen.<br />
<br />
= Squid =<br />
Squid ist ein cachender Proxyserver, er wird idR. genutzt um Netzinhalte zu cachen und damit den Zugriff auf diese zu beschleunigen. Damit einher geht eine Reduzierung der beanspruchten Netzwerkbandbreite.<br />
Es empfiehlt sich ausdrücklich Squid über die distributionseigene Paketverwaltung zu installieren, da diese den Cache automatisch und unterhalb eines eigenen Benutzers startet. Auch Konfigurationen für die automatische Rotation der Squid Log Dateien sind enthalten, diese wachsen also nicht ins unermessliche an.<br />
<br />
== Installation ==<br />
<br />
Cacheverzeichnis anlegen:<br />
mkdir -p /var/cache/squid<br />
<br />
Squid installieren:<br />
apt install squid<br />
<br />
Squid stoppen:<br />
service squid stop<br />
<br />
Cacheverzeichnis dem Squid Benutzer "proxy" übergeben:<br />
chown -R proxy:proxy /var/cache/squid<br />
<br />
Cache Basisstruktur im Cacheverzeichnis anlegen:<br />
squid -z <br />
<br />
Hier '''zwei mal Enter''' drücken, dieser Schritt geht schnell, gibt aber keine newline zurück, scheint daher zu hängen.<br />
<br />
== Konfiguration ==<br />
<br />
Die eigentliche Konfiguration der Squidcaches erfolg anhand der im [https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=5473 LHC Forum abgelegten Konfiguration].<br />
Es lohnt sich diesen Thread nochmals zu überfliegen, da Änderungen an der Beispielkonfiguration nicht mehr im Startbeitrag eingepflegt werden können. Stand 26.02.2020 sieht die /etc/squid/squid.conf folgendermaßen aus:<br />
<br />
<nowiki><br />
# Squid configuration for BOINC<br />
# Based on squid version 3.5<br />
# See also: http://www.squid-cache.org/<br />
<br />
# Every line starting with "#" represents a comment.<br />
<br />
# Define your local hosts/networks here.<br />
# If neither "crunchers" nor "localnet" is set none of your devices will be permitted to use the proxy.<br />
# The examples show the principle.<br />
# For advanced options read the Squid documentation.<br />
#<br />
# Examples:<br />
#<br />
# Either enter a list of IPs representing your computers that are permitted to use the proxy.<br />
# Each IP on a separate line.<br />
# acl crunchers src 198.51.100.20<br />
# acl crunchers src 198.51.100.31<br />
# acl crunchers src 198.51.100.37<br />
# acl crunchers src 198.51.100.42<br />
#<br />
# Or enter complete network ranges.<br />
# Be aware that this may permit devices like printers or TVs that you may not want to use the proxy.<br />
# acl localnet src 192.0.2.0/24<br />
# acl localnet src 198.51.100.0/24<br />
acl localnet src 192.168.178.0/24<br />
<br />
<br />
acl SSL_ports port 443<br />
acl Safe_ports port 80<br />
acl Safe_ports port 443<br />
acl Safe_ports port 1025-65535 # unregistered ports<br />
<br />
acl CONNECT method CONNECT<br />
<br />
follow_x_forwarded_for allow localhost<br />
follow_x_forwarded_for deny all<br />
<br />
<br />
#<br />
# Start of extra section 1<br />
# Requests that need special handling<br />
<br />
# worldcommunitygrid doesn't like it if data is taken from the local cache<br />
acl wcg_nocache dstdomain .worldcommunitygrid.org<br />
cache deny wcg_nocache<br />
<br />
<br />
# if CVMFS uses geoapi, ensure it's checked directly<br />
acl cvmfs_geoapi urlpath_regex -i ^/+cvmfs/+[0-9a-z._~-]+/+api/+[0-9a-z._~-]+/+geo/+[0-9a-z._~-]+/+[0-9a-z.,_~-]+<br />
cache deny cvmfs_geoapi<br />
<br />
<br />
# avoids polluting the disk cache with typical onetimers, e.g. ATLAS job data<br />
acl boinc_nocache urlpath_regex -i /download[0-9a-z._~-]*/+[0-9a-z._~-]+/+.+<br />
cache deny boinc_nocache<br />
<br />
<br />
# seriously: do NOT cache that!<br />
# Based on a frontier cache suggestion<br />
acl PragmaNoCache req_header Pragma no-cache<br />
cache deny PragmaNoCache<br />
<br />
# End of extra section 1<br />
#<br />
<br />
acl Purge method PURGE<br />
<br />
http_access deny !Safe_ports<br />
http_access deny CONNECT !SSL_ports<br />
http_access allow localhost manager<br />
http_access deny manager<br />
http_access deny to_localhost<br />
<br />
#<br />
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS<br />
# Depending on the definition of "crunchers" or "localnet" above at least 1 of the following lines must be uncommented.<br />
# Examples:<br />
# http_access allow crunchers<br />
http_access allow localnet<br />
<br />
http_access allow localhost<br />
# Last "http_access" line.<br />
# Order matters, hence all "http_access" lines following this one will be ignored.<br />
http_access deny all<br />
<br />
# http_port<br />
# don't bind it to an IP that is accessible from outside unless you know what you do.<br />
# Examples:<br />
# http_port localhost:3128<br />
#<br />
# This assumes 198.51.100.99 is the external IP of the Squid box<br />
# http_port 198.51.100.99:3128<br />
#<br />
# default setting that binds Squid to all IPs of the Squid box<br />
http_port 3128<br />
<br />
<br />
# A MUST on Windows.<br />
# If unsure try the the LAN IP of your internet router.<br />
# Avoid using external DNS here.<br />
# On Linux this option shouldn't be necessary<br />
# dns_nameservers 198.51.100.1<br />
<br />
max_filedescriptors 4096<br />
<br />
# Required OFF for intercepted traffic from LHCb VMs<br />
client_dst_passthru off<br />
<br />
# You don't believe this is enough?<br />
# For sure, it is!<br />
cache_mem 256 MB<br />
maximum_object_size_in_memory 24 KB<br />
memory_replacement_policy heap GDSF<br />
<br />
<br />
# Keep it large enough to store vdi files in the cache.<br />
# See extra section 1 how to avoid onetimers eating up your disk storage.<br />
# min-size=xxx keeps very small files away from your disk<br />
# 20000 limits the disk cache to 20 GB<br />
cache_replacement_policy heap LFUDA<br />
maximum_object_size 6144 MB<br />
cache_dir aufs /var/cache/squid 20000 16 64 min-size=7937<br />
<br />
# default=10<br />
logfile_rotate 10<br />
<br />
# logformat has to be changed according to your needs and the capabilities of your logfile analyser<br />
logformat my_awstats %>A %lp %ui %un [%tl] "%rm %>ru HTTP/%rv" %>Hs %st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh<br />
access_log stdio:/var/log/squid/access.log logformat=my_awstats<br />
#access_log none<br />
strip_query_terms off<br />
<br />
coredump_dir none<br />
ftp_user anonymous@<br />
<br />
# max_stale 1 week #default<br />
# extended to be prepared for a project reset<br />
max_stale 37 days<br />
<br />
# 1 line is required to avoid the ancient default settings<br />
# be conservative<br />
# don't violate the HTTP standards<br />
refresh_pattern . 0 0% 0<br />
<br />
store_avg_object_size 1800 KB<br />
<br />
shutdown_lifetime 0 seconds<br />
<br />
# booster 1!<br />
collapsed_forwarding on<br />
<br />
# booster 2!<br />
client_persistent_connections on<br />
server_persistent_connections on<br />
<br />
log_icp_queries off<br />
<br />
dns_defnames on<br />
dns_v4_first on<br />
<br />
forwarded_for transparent<br />
<br />
##### End of squid.conf</nowiki><br />
<br />
Anzupassen ist hier der Parameter '''acl localnet src 192.168.178.0/24'''. <br />
Alle Rechner des angegebenen Netzwerkes dürfen daraufhin auf den Cache zugreifen.<br />
Will man nur einzelne Rechner erlauben, kann dies über Einträge wie '''acl crunchers src 192.168.178.20''' erfolgen, dann wird der Squid seine Services nur dem Rechner mit der IP 192.168.178.20 ermöglichen.<br />
<br />
Den Squid nun mit der neuen Konfiguration starten:<br />
service squid start<br />
Ob der Squid genutzt wird, lässt sich einfach über sein Zugriffslog verfolgen:<br />
<br />
tail -f /var/log/squid/access.log<br />
<br />
Startet nach abgeschlossener Konfiguration eine neue native WU, kommen hier innerhalb der ersten Minuten jeweils hunderte bis tausende Einträge hinzu.<br />
<br />
= CVMFS = <br />
<br />
Das CernVM File System ist ein http basiertes read-only Netzwerkdateisystem. Es wird genutzt um Software innerhalb der High Performance Computing (HPC) Umgebung des CERN zu verteilen. Daten im CVMFS werden erst bei Bedarf geladen und können lokal gecached werden.<br />
<br />
== Installation ==<br />
<br />
Cern CVMFS Paketinformationen ziehen, installieren und den Download wieder entfernen:<br />
wget https://ecsft.cern.ch/dist/cvmfs/cvmfs-release/cvmfs-release-latest_all.deb<br />
sudo dpkg -i cvmfs-release-latest_all.deb<br />
rm -f cvmfs-release-latest_all.deb<br />
<br />
CVMFS installieren:<br />
sudo apt-get update<br />
sudo apt-get install cvmfs cvmfs-config-default<br />
<br />
CVMFS Basissetup:<br />
sudo cvmfs_config setup<br />
sudo wget https://lhcathome.cern.ch/lhcathome/download/default.local -O /etc/cvmfs/default.local<br />
sudo cvmfs_config reload<br />
<br />
Die folgenden Schritte sind notwendig um die nativ laufenden WUs pausieren und wieder aufwecken zu können. Hierzu wird eine control group (cgroup) erstellt, die dieses ermöglicht:<br />
sudo sed -i '$ a\kernel.unprivileged_userns_clone = 1' /etc/sysctl.conf<br />
sudo sysctl -p<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/create-boinc-cgroup -O /sbin/create-boinc-cgroup<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/boinc-client.service -O /etc/systemd/system/boinc-client.service<br />
sudo systemctl daemon-reload<br />
sudo systemctl restart boinc-client <br />
<br />
LHC native läuft hiermit bereits, jedoch muss in der Konfiguration<br />
== Konfiguration == <br />
Über die CVMFS Konfigurationsdatei default.local kann der Cache nutzbar gemacht werden. <br />
CVMFS_HTTP_PROXY ist auskommentiert und muss noch angepasst werden:<br />
<br />
# CVMFS_HTTP_PROXY="auto;DIRECT"<br />
=><br />
CVMFS_HTTP_PROXY="http://192.168.178.4:3128;DIRECT"<br />
<br />
Nach dem Abspeichern einmal die Konfiguration neu einlesen:<br />
cvmfs_config reload<br />
Das Kommando '''cvmfs_config stat''' zeigt jetzt ''s1cern-cvmfs.openhtc.io'' anstatt ''cvmfs-stratum-one.cern.ch'' als nächstes Cache level, zB. für ATLAS sieht das folgendermaßen aus:<br />
<small><br />
# /usr/bin/cvmfs_config stat atlas.cern.ch<br />
VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE<br />
2.8.0.0 3963658 1 24568 79806 2 1 3942964 4194305 0 130560 0 0 n/a 530 186 http://s1cern-cvmfs.openhtc.io/cvmfs/atlas.cern.ch http://192.168.178.4:3128 1<br />
</small><br />
<br />
= BOINC Client = <br />
Die Proxyeinstellungen können sowohl über die GUI als auch direkt in der cc_config.xml gesetzt werden. <br />
Eine der beiden Methoden ist ausreichend.<br />
<br />
== BOINC Manager ==<br />
<br />
Im BOINC Manager via ''Optionen'' -> ''Sonstige Einstellungen...'' den Tab ''HTTP Proxyserver'' auswählen.<br />
<br />
Haken setzen bei "Über HTTP Proxyserver verbinden", dann Adresse und Port befüllen:<br />
Adresse: 192.168.178.4<br />
Port: 3128<br />
<br />
== cc_config.xml ==<br />
<cc_config><br />
<options><br />
<proxy_info><br />
<http_server_name>192.168.178.4</http_server_name><br />
<http_server_port>3128</http_server_port><br />
</proxy_info><br />
</options><br />
</cc_config><br />
<br />
Anschließend die cc_config über boinccmd neu einlesen:<br />
boinccmd --read_cc_config</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC_native_Einrichtung&diff=6752LHC native Einrichtung2021-03-07T18:11:57Z<p>Koschi: </p>
<hr />
<div>= Einrichtung von nativen LHC Anwendungen =<br />
<br />
Diese Anleitung beschreibt die Installation von Squid und Cerns CVMFS auf Ubuntu Systemen. Analog funktioniert dies dann natürlich auch auf Debian, Mint und anderen verwandten Distributionen.<br />
Bei SuSE oder RedHat sind die entsprechenden Paketverwaltungstools (zypper/yast & yum/dnf) zu verwenden, auch kann der Squid Nutzer und dessen Gruppe eine andere sein, zB. "squid" anstelle von "proxy".<br />
<br />
Im Rahmen dieser Anleitung nutzen wir beispielhaft das in der Tabelle gelistete Subnetz und eine IP daraus für den Squid Rechner. Dieses ist das LAN-seitige Defaultsubnetz der meisten Fritzboxen. Andere Router nutzen aber zB. das Subnetz 192.168.0.0/24. <br />
{| class="wikitable"<br />
| LAN Subnetz || 192.168.178.0/24<br />
|-<br />
| IP des Squid Rechners || 192.168.178.4<br />
|}<br />
<br />
Wurde die IP des Rechners per DHCP vergeben, sollte diese im Router dem Rechner fest zugewiesen werden, bzw. eine feste IP händisch konfiguriert werden. Sollte das eigene Subnetz vom Beispiel abweichen, ist dieses in der squid.conf, der CVMFS default.local sowie dem BOINC Client anzupassen.<br />
<br />
= Squid =<br />
Squid ist ein cachender Proxyserver, er wird idR. genutzt um Netzinhalte zu cachen und damit den Zugriff auf diese zu beschleunigen. Damit einher geht eine Reduzierung der beanspruchten Netzwerkbandbreite.<br />
Es empfiehlt sich ausdrücklich Squid über die distributionseigene Paketverwaltung zu installieren, da diese den Cache automatisch und unterhalb eines eigenen Benutzers startet. Auch Konfigurationen für die automatische Rotation der Squid Log Dateien sind enthalten, diese wachsen also nicht ins unermessliche an.<br />
<br />
== Installation ==<br />
<br />
Cacheverzeichnis anlegen:<br />
mkdir -p /var/cache/squid<br />
<br />
Squid installieren:<br />
apt install squid<br />
<br />
Squid stoppen:<br />
service squid stop<br />
<br />
Cacheverzeichnis dem Squid Benutzer "proxy" übergeben:<br />
chown -R proxy:proxy /var/cache/squid<br />
<br />
Cache Basisstruktur im Cacheverzeichnis anlegen:<br />
squid -z <br />
<br />
Hier '''zwei mal Enter''' drücken, dieser Schritt geht schnell, gibt aber keine newline zurück, scheint daher zu hängen.<br />
<br />
== Konfiguration ==<br />
<br />
Die eigentliche Konfiguration der Squidcaches erfolg anhand der im [https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=5473 LHC Forum abgelegten Konfiguration].<br />
Es lohnt sich diesen Thread nochmals zu überfliegen, da Änderungen an der Beispielkonfiguration nicht mehr im Startbeitrag eingepflegt werden können. Stand 26.02.2020 sieht die /etc/squid/squid.conf folgendermaßen aus:<br />
<br />
<nowiki><br />
# Squid configuration for BOINC<br />
# Based on squid version 3.5<br />
# See also: http://www.squid-cache.org/<br />
<br />
# Every line starting with "#" represents a comment.<br />
<br />
# Define your local hosts/networks here.<br />
# If neither "crunchers" nor "localnet" is set none of your devices will be permitted to use the proxy.<br />
# The examples show the principle.<br />
# For advanced options read the Squid documentation.<br />
#<br />
# Examples:<br />
#<br />
# Either enter a list of IPs representing your computers that are permitted to use the proxy.<br />
# Each IP on a separate line.<br />
# acl crunchers src 198.51.100.20<br />
# acl crunchers src 198.51.100.31<br />
# acl crunchers src 198.51.100.37<br />
# acl crunchers src 198.51.100.42<br />
#<br />
# Or enter complete network ranges.<br />
# Be aware that this may permit devices like printers or TVs that you may not want to use the proxy.<br />
# acl localnet src 192.0.2.0/24<br />
# acl localnet src 198.51.100.0/24<br />
acl localnet src 192.168.178.0/24<br />
<br />
<br />
acl SSL_ports port 443<br />
acl Safe_ports port 80<br />
acl Safe_ports port 443<br />
acl Safe_ports port 1025-65535 # unregistered ports<br />
<br />
acl CONNECT method CONNECT<br />
<br />
follow_x_forwarded_for allow localhost<br />
follow_x_forwarded_for deny all<br />
<br />
<br />
#<br />
# Start of extra section 1<br />
# Requests that need special handling<br />
<br />
# worldcommunitygrid doesn't like it if data is taken from the local cache<br />
acl wcg_nocache dstdomain .worldcommunitygrid.org<br />
cache deny wcg_nocache<br />
<br />
<br />
# if CVMFS uses geoapi, ensure it's checked directly<br />
acl cvmfs_geoapi urlpath_regex -i ^/+cvmfs/+[0-9a-z._~-]+/+api/+[0-9a-z._~-]+/+geo/+[0-9a-z._~-]+/+[0-9a-z.,_~-]+<br />
cache deny cvmfs_geoapi<br />
<br />
<br />
# avoids polluting the disk cache with typical onetimers, e.g. ATLAS job data<br />
acl boinc_nocache urlpath_regex -i /download[0-9a-z._~-]*/+[0-9a-z._~-]+/+.+<br />
cache deny boinc_nocache<br />
<br />
<br />
# seriously: do NOT cache that!<br />
# Based on a frontier cache suggestion<br />
acl PragmaNoCache req_header Pragma no-cache<br />
cache deny PragmaNoCache<br />
<br />
# End of extra section 1<br />
#<br />
<br />
acl Purge method PURGE<br />
<br />
http_access deny !Safe_ports<br />
http_access deny CONNECT !SSL_ports<br />
http_access allow localhost manager<br />
http_access deny manager<br />
http_access deny to_localhost<br />
<br />
#<br />
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS<br />
# Depending on the definition of "crunchers" or "localnet" above at least 1 of the following lines must be uncommented.<br />
# Examples:<br />
# http_access allow crunchers<br />
# http_access allow localnet<br />
<br />
http_access allow localhost<br />
# Last "http_access" line.<br />
# Order matters, hence all "http_access" lines following this one will be ignored.<br />
http_access deny all<br />
<br />
# http_port<br />
# don't bind it to an IP that is accessible from outside unless you know what you do.<br />
# Examples:<br />
# http_port localhost:3128<br />
#<br />
# This assumes 198.51.100.99 is the external IP of the Squid box<br />
# http_port 198.51.100.99:3128<br />
#<br />
# default setting that binds Squid to all IPs of the Squid box<br />
http_port 3128<br />
<br />
<br />
# A MUST on Windows.<br />
# If unsure try the the LAN IP of your internet router.<br />
# Avoid using external DNS here.<br />
# On Linux this option shouldn't be necessary<br />
# dns_nameservers 198.51.100.1<br />
<br />
max_filedescriptors 4096<br />
<br />
# Required OFF for intercepted traffic from LHCb VMs<br />
client_dst_passthru off<br />
<br />
# You don't believe this is enough?<br />
# For sure, it is!<br />
cache_mem 256 MB<br />
maximum_object_size_in_memory 24 KB<br />
memory_replacement_policy heap GDSF<br />
<br />
<br />
# Keep it large enough to store vdi files in the cache.<br />
# See extra section 1 how to avoid onetimers eating up your disk storage.<br />
# min-size=xxx keeps very small files away from your disk<br />
# 20000 limits the disk cache to 20 GB<br />
cache_replacement_policy heap LFUDA<br />
maximum_object_size 6144 MB<br />
cache_dir aufs /var/cache/squid 20000 16 64 min-size=7937<br />
<br />
# default=10<br />
logfile_rotate 10<br />
<br />
# logformat has to be changed according to your needs and the capabilities of your logfile analyser<br />
logformat my_awstats %>A %lp %ui %un [%tl] "%rm %>ru HTTP/%rv" %>Hs %st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh<br />
access_log stdio:/var/log/squid/access.log logformat=my_awstats<br />
#access_log none<br />
strip_query_terms off<br />
<br />
coredump_dir none<br />
ftp_user anonymous@<br />
<br />
# max_stale 1 week #default<br />
# extended to be prepared for a project reset<br />
max_stale 37 days<br />
<br />
# 1 line is required to avoid the ancient default settings<br />
# be conservative<br />
# don't violate the HTTP standards<br />
refresh_pattern . 0 0% 0<br />
<br />
store_avg_object_size 1800 KB<br />
<br />
shutdown_lifetime 0 seconds<br />
<br />
# booster 1!<br />
collapsed_forwarding on<br />
<br />
# booster 2!<br />
client_persistent_connections on<br />
server_persistent_connections on<br />
<br />
log_icp_queries off<br />
<br />
dns_defnames on<br />
dns_v4_first on<br />
<br />
forwarded_for transparent<br />
<br />
##### End of squid.conf</nowiki><br />
<br />
Anzupassen ist hier der Parameter '''acl localnet src 192.168.178.0/24'''. <br />
Alle Rechner des angegebenen Netzwerkes dürfen daraufhin auf den Cache zugreifen.<br />
Will man nur einzelne Rechner erlauben, kann dies über Einträge wie '''acl crunchers src 192.168.178.20''' erfolgen, dann wird der Squid seine Services nur dem Rechner mit der IP 192.168.178.20 ermöglichen.<br />
<br />
Den Squid nun mit der neuen Konfiguration starten:<br />
service squid start<br />
Ob der Squid genutzt wird, lässt sich einfach über sein Zugriffslog verfolgen:<br />
<br />
tail -f /var/log/squid/access.log<br />
<br />
Startet nach abgeschlossener Konfiguration eine neue native WU, kommen hier innerhalb der ersten Minuten jeweils hunderte bis tausende Einträge hinzu.<br />
<br />
= CVMFS = <br />
<br />
Das CernVM File System ist ein http basiertes read-only Netzwerkdateisystem. Es wird genutzt um Software innerhalb der High Performance Computing (HPC) Umgebung des CERN zu verteilen. Daten im CVMFS werden erst bei Bedarf geladen und können lokal gecached werden.<br />
<br />
== Installation ==<br />
<br />
Cern CVMFS Paketinformationen ziehen, installieren und den Download wieder entfernen:<br />
wget https://ecsft.cern.ch/dist/cvmfs/cvmfs-release/cvmfs-release-latest_all.deb<br />
sudo dpkg -i cvmfs-release-latest_all.deb<br />
rm -f cvmfs-release-latest_all.deb<br />
<br />
CVMFS installieren:<br />
sudo apt-get update<br />
sudo apt-get install cvmfs cvmfs-config-default<br />
<br />
CVMFS Basissetup:<br />
sudo cvmfs_config setup<br />
sudo wget https://lhcathome.cern.ch/lhcathome/download/default.local -O /etc/cvmfs/default.local<br />
sudo cvmfs_config reload<br />
<br />
Die folgenden Schritte sind notwendig um die nativ laufenden WUs pausieren und wieder aufwecken zu können. Hierzu wird eine control group (cgroup) erstellt, die dieses ermöglicht:<br />
sudo sed -i '$ a\kernel.unprivileged_userns_clone = 1' /etc/sysctl.conf<br />
sudo sysctl -p<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/create-boinc-cgroup -O /sbin/create-boinc-cgroup<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/boinc-client.service -O /etc/systemd/system/boinc-client.service<br />
sudo systemctl daemon-reload<br />
sudo systemctl restart boinc-client <br />
<br />
LHC native läuft hiermit bereits, jedoch muss in der Konfiguration<br />
== Konfiguration == <br />
Über die CVMFS Konfigurationsdatei default.local kann der Cache nutzbar gemacht werden. <br />
CVMFS_HTTP_PROXY ist auskommentiert und muss noch angepasst werden:<br />
<br />
# CVMFS_HTTP_PROXY="auto;DIRECT"<br />
=><br />
CVMFS_HTTP_PROXY="http://192.168.178.4:3128;DIRECT"<br />
<br />
Nach dem Abspeichern einmal die Konfiguration neu einlesen:<br />
cvmfs_config reload<br />
Das Kommando '''cvmfs_config stat''' zeigt jetzt ''s1cern-cvmfs.openhtc.io'' anstatt ''cvmfs-stratum-one.cern.ch'' als nächstes Cache level, zB. für ATLAS sieht das folgendermaßen aus:<br />
<small><br />
# /usr/bin/cvmfs_config stat atlas.cern.ch<br />
VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE<br />
2.8.0.0 3963658 1 24568 79806 2 1 3942964 4194305 0 130560 0 0 n/a 530 186 http://s1cern-cvmfs.openhtc.io/cvmfs/atlas.cern.ch http://192.168.178.4:3128 1<br />
</small><br />
<br />
= BOINC Client = <br />
Die Proxyeinstellungen können sowohl über die GUI als auch direkt in der cc_config.xml gesetzt werden. <br />
Eine der beiden Methoden ist ausreichend.<br />
<br />
== BOINC Manager ==<br />
<br />
Im BOINC Manager via ''Optionen'' -> ''Sonstige Einstellungen...'' den Tab ''HTTP Proxyserver'' auswählen.<br />
<br />
Haken setzen bei "Über HTTP Proxyserver verbinden", dann Adresse und Port befüllen:<br />
Adresse: 192.168.178.4<br />
Port: 3128<br />
<br />
== cc_config.xml ==<br />
<cc_config><br />
<options><br />
<proxy_info><br />
<http_server_name>192.168.178.4</http_server_name><br />
<http_server_port>3128</http_server_port><br />
</proxy_info><br />
</options><br />
</cc_config><br />
<br />
Anschließend die cc_config über boinccmd neu einlesen:<br />
boinccmd --read_cc_config</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=Portal:BOINC/Installation/Linux&diff=6716Portal:BOINC/Installation/Linux2021-02-28T21:53:04Z<p>Koschi: /* Installation für alle User */</p>
<hr />
<div><big>'''BOINC Installation auf Linux'''</big><br />
<br />
Grundsätzlich muss unterschieden werden zwischen einer manuellen Installation und einer aus dem Repository der jeweiligen Distribution. Während die manuelle Installation wie unten beschrieben auf allen Distributionen durchgeführt werden kann, sind bei der Installation aus den Repos der Distribution die entsprechenden Paketverwaltungstools zu nutzen.<br />
Grundsätzlich ist die Installation über die Paketverwaltung vorzuziehen. Derart installiert wird BOINC fortan automatisch gestartet, mit Sicherheitsupdates versorgt und läuft auch unterhalb eines eigenen Benutzers. Anwendungen der Projekte können also nicht auf die Daten des Users zugreifen.<br />
<br />
= openSUSE =<br />
Unter openSUSE (getestet mit Tumbleweed, Februar 2021) lässt sich BOINC mit zypper installieren.<br />
<br />
sudo zypper install boinc-manager boinc-client<br />
<br />
Beide Pakete lassen sich auch unabhängig voneinander installieren, ein zusammenfassendes BOINC Metapaket gibt es nicht.<br />
Die BOINC-Binärdateien landen nun in '''/usr/bin/''', die Konfigurationsdateien sowie veränderliche Dateien in '''/var/lib/boinc'''. Letzteres enthält damit auch sämtliche Daten der Projekte.<br />
<br />
Anschließend noch den eigenen User der Gruppe BOINC hinzufügen, dann kann dieser auf die Passwortdatei des BOINC Clients zugreifen.<br />
<br />
sudo usermod -a boinc eigeneruser<br />
<br />
Innerhalb der Desktopsitzung wird die Gruppenzugehörigkeit erst nach einem Logout/Login oder Reboot aktiv.<br />
<br />
Nach erfolgter Installation lässt sich der Client über das Kommando '''''service''''' kontrollieren.<br />
<br />
sudo service boinc-client start<br />
sudo service boinc-client stop<br />
sudo service boinc-client restart<br />
<br />
Auch dessen Status lässt sich abfragen.<br />
sudo service boinc-client status<br />
<br />
Nun noch den Autostart von BOINC aktivieren, dann wird es mit dem System automatisch gestartet.<br />
sudo /sbin/chkconfig boinc-client on<br />
<br />
Damit ist der openSUSE spezifische Teil der Installation abgeschlossen.<br />
<br />
= Debian =<br />
<br />
Unter Debian sind lediglich die Pakete ''boinc-client'' und ''boinc-manager'' zu installieren, welche sich bei Debian im main repository befinden.<br />
<br />
Das funktioniert auf der Konsole mit dem Kommando <br />
<br />
sudo apt install boinc-client boinc-manager<br />
<br />
Natürlich können diese Pakete auch über den jeweils bevorzugten grafischen Paketmanager installiert werden. Das Programm apt ist jedoch auf jedem Debian mit Sicherheit verfügbar. <br />
Während der Installation wird automatisch der Benutzer ''boinc'' angelegt, mit dessen (eingeschränkten) Rechten das Programm zukünftig läuft. Start- und Stopskripte werden in den entsprechenden Runleveln abgelegt.<br />
Händische Starts, Neustarts und Stops des BOINC Clients erledigen die folgenden Kommandos:<br />
<br />
sudo service boinc-client start<br />
sudo service boinc-client restart<br />
sudo service boinc-client stop<br />
<br />
Die Konfigurationsdateien landen in '''/etc/boinc-client/''', die BOINC-Binärdateien in '''/usr/bin/''' sowie veränderliche Dateien in '''/var/lib/boinc-client/'''. Das letztgenannte Verzeichnis enthält damit sämtliche Daten der Projekte sowie die BOINC Logfiles.<br />
<br />
= Ubuntu, Mint und andere Derivate =<br />
<br />
Unter Ubuntu und dessen Derivate sind lediglich die Pakete ''boinc-client'' und ''boinc-manager'' zu installieren, welche sich bei Ubuntu im main repository befinden.<br />
<br />
Das funktioniert auf der Konsole mit dem Kommando <br />
<br />
sudo apt install boinc-client boinc-manager<br />
<br />
Natürlich können diese Pakete auch über den jeweils bevorzugten grafischen Paketmanager installiert werden.<br />
<br />
[[Datei:Softwarecenter.png|rahmenlos]] [[Datei:Boinc.png|rahmenlos]] [[Datei:Boincinstaller.png|rahmenlos]]<br />
<br />
Während der Installation wird automatisch der Benutzer ''boinc'' angelegt, mit dessen (eingeschränkten) Rechten das Programm zukünftig läuft. Start- und Stopskripte werden in den entsprechenden Runleveln abgelegt.<br />
Händische Starts, Neustarts und Stops des BOINC Clients erledigt das folgende Kommando:<br />
<br />
service boinc-client start<br />
service boinc-client restart<br />
service boinc-client stop<br />
<br />
Die Konfigurationsdateien landen in '''/etc/boinc-client/''', die BOINC-Binärdateien in '''/usr/bin/''' sowie veränderliche Dateien in '''/var/lib/boinc-client/'''. Das letztgenannte Verzeichnis enthält damit sämtliche Daten der Projekte sowie die BOINC Logfiles.<br />
<br />
= Fedora =<br />
== Installation für einen User ==<br />
<br />
Bitte wie oben für die manuelle Installation beschrieben vorgehen.<br />
<br />
Um BOINC automatisch mit der Anmeldung starten zu können, öffnet man im Menü '''System''' → '''Einstellungen''' → '''Persönlich''' → '''Sitzungen''' und fügt dort /home/username/BOINC/run_manager als neues Startprogramm hinzu.<br />
<br />
== Installation für alle User ==<br />
<br />
Unter Fedora muss zunächst mittels '''dnf''' BOINC installiert werden.<br />
<br />
sudo dnf install boinc-manager<br />
<br />
Als nächstes fügt man den eigenen User der Gruppe boinc hinzu. Der entsprechende Dialog ist im Menü unter '''System''' → '''Administration''' → '''Benutzer und Gruppen''' zu finden. Nun muss die Datei '''/var/lib/boinc/gui_rpc_auth.cfg''' für diese Gruppe lesbar gemacht werden.<br />
<br />
su root<br />
chmod g+r /var/lib/boinc/gui_rpc_auth.cfg<br />
<br />
Im eigenen Home-Verzeichnis legt man nun einen Link an. Sollte gui_rpc_auth.cfg nicht vorhanden sein muss der boinc-Service gestartet werden. Danach ist die Datei da.<br />
<br />
ln /var/lib/boinc/gui_rpc_auth.cfg<br />
<br />
Anschließend startet man den BOINC-Service neu.<br />
<br />
/sbin/service boinc-client restart<br />
<br />
Den BOINC-Manager startet man durch Aufruf von '''boincmgr''' im Home-Verzeichnis. Um BOINC als Service laufen zu lassen, ruft man '''system-config-service''' auf und aktiviert '''boinc_client'''. Alternativ kann man als root den folgenden Befehl ausführen.<br />
<br />
/sbin/chkconfig --level 35 boinc-client on<br />
<br />
Ob die Einstellungen richtig übernommen wurden kann man prüfen mit:<br />
<br />
/sbin/chkconfig --list boinc-client<br />
<br />
Falls es hier zu einer Fehlermeldung kommt:<br />
<br />
ln -s /var/lib/boinc/gui_rpc_auth.cfg<br />
<br />
= Manuelle Installation =<br />
Der hier gezeigte Weg funktioniert mit allen Linux-Versionen. Auch wird am Beispiel vom QMC@home ein Projekt über die CLI hinzugefügt.<br />
Zum Anmelden des Boinc-Clienten beim QMC Projekt benötigt man folgende Dinge: <br />
# Die Adresse des QMC Projekts: https://qah.uni-muenster.de <br />
# Einen QMC Account mit einem Account-Key (Hexadezimalzahl mit 32 Stellen)<br />
<br />
Ins Home-Verzeichnis wechseln<br />
cd<br />
<br />
Download des Boinc Clienten (Installationsdatei - Achtung, die Versionsnummer kann sich ändern)<br />
wget https://boinc.berkeley.edu/dl/boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
<br />
Ausführbar machen der Installationsdatei<br />
chmod +x ./boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
<br />
Installation starten (Unterverzeichnis "BOINC" wird angelegt und der Client hinein kopiert)<br />
./boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
Ausgabe: use /home/username/BOINC/run_manager to start BOINC<br />
<br />
Hier müssen jetzt die Daten vom QMC Projekt und der persönliche Account-key angegeben werden.<br />
cd BOINC<br />
./boinc --attach_project https://qah.uni-muenster.de ecaePersönlicher-Account-Key6b0a<br />
nachdem er sich beim Projekt angemeldet hat (einiger Output auf dem Bildschirm) CTRL+C drücken, um den Clienten zu beenden.<br />
<br />
Der Client soll im Hintergrund laufen und seine Meldungen in die Datei "log.txt" schreiben<br />
./boinc 2>&1 >log.txt &<br />
<br />
Dann noch den Clienten anweisen, dass er ständig laufen soll und auch immer aufs Netzwerk zugreifen kann.<br />
./boinc_cmd --set_run_mode always<br />
./boinc_cmd --set_network_mode always<br />
<br />
Mit<br />
./boinc_cmd --get_project_status <br />
kann man sich den aktuellen Status des Clienten anzeigen lassen<br />
<br />
Zum Beenden des Clienten<br />
./boinc_cmd --quit <br />
<br />
<br />
[[Kategorie:BOINC|Installation (Linux)]]<br />
[[Kategorie:Installationsanleitung|BOINC (Linux)]]</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=Portal:BOINC/Installation/Linux&diff=6708Portal:BOINC/Installation/Linux2021-02-28T20:36:53Z<p>Koschi: /* openSUSE */ BOINC autostart</p>
<hr />
<div><big>'''BOINC Installation auf Linux'''</big><br />
<br />
Grundsätzlich muss unterschieden werden zwischen einer manuellen Installation und einer aus dem Repository der jeweiligen Distribution. Während die manuelle Installation wie unten beschrieben auf allen Distributionen durchgeführt werden kann, sind bei der Installation aus den Repos der Distribution die entsprechenden Paketverwaltungstools zu nutzen.<br />
Grundsätzlich ist die Installation über die Paketverwaltung vorzuziehen. Derart installiert wird BOINC fortan automatisch gestartet, mit Sicherheitsupdates versorgt und läuft auch unterhalb eines eigenen Benutzers. Anwendungen der Projekte können also nicht auf die Daten des Users zugreifen.<br />
<br />
= openSUSE =<br />
Unter openSUSE (getestet mit Tumbleweed, Februar 2021) lässt sich BOINC mit zypper installieren.<br />
<br />
sudo zypper install boinc-manager boinc-client<br />
<br />
Beide Pakete lassen sich auch unabhängig voneinander installieren, ein zusammenfassendes BOINC Metapaket gibt es nicht.<br />
Die BOINC-Binärdateien landen nun in '''/usr/bin/''', die Konfigurationsdateien sowie veränderliche Dateien in '''/var/lib/boinc'''. Letzteres enthält damit auch sämtliche Daten der Projekte.<br />
<br />
Anschließend noch den eigenen User der Gruppe BOINC hinzufügen, dann kann dieser auf die Passwortdatei des BOINC Clients zugreifen.<br />
<br />
sudo usermod -a boinc eigeneruser<br />
<br />
Innerhalb der Desktopsitzung wird die Gruppenzugehörigkeit erst nach einem Logout/Login oder Reboot aktiv.<br />
<br />
Nach erfolgter Installation lässt sich der Client über das Kommando '''''service''''' kontrollieren.<br />
<br />
sudo service boinc-client start<br />
sudo service boinc-client stop<br />
sudo service boinc-client restart<br />
<br />
Auch dessen Status lässt sich abfragen.<br />
sudo service boinc-client status<br />
<br />
Nun noch den Autostart von BOINC aktivieren, dann wird es mit dem System automatisch gestartet.<br />
sudo /sbin/chkconfig boinc-client on<br />
<br />
Damit ist der openSUSE spezifische Teil der Installation abgeschlossen.<br />
<br />
= Debian =<br />
<br />
Unter Debian sind lediglich die Pakete ''boinc-client'' und ''boinc-manager'' zu installieren, welche sich bei Debian im main repository befinden.<br />
<br />
Das funktioniert auf der Konsole mit dem Kommando <br />
<br />
sudo apt install boinc-client boinc-manager<br />
<br />
Natürlich können diese Pakete auch über den jeweils bevorzugten grafischen Paketmanager installiert werden. Das Programm apt ist jedoch auf jedem Debian mit Sicherheit verfügbar. <br />
Während der Installation wird automatisch der Benutzer ''boinc'' angelegt, mit dessen (eingeschränkten) Rechten das Programm zukünftig läuft. Start- und Stopskripte werden in den entsprechenden Runleveln abgelegt.<br />
Händische Starts, Neustarts und Stops des BOINC Clients erledigen die folgenden Kommandos:<br />
<br />
sudo service boinc-client start<br />
sudo service boinc-client restart<br />
sudo service boinc-client stop<br />
<br />
Die Konfigurationsdateien landen in '''/etc/boinc-client/''', die BOINC-Binärdateien in '''/usr/bin/''' sowie veränderliche Dateien in '''/var/lib/boinc-client/'''. Das letztgenannte Verzeichnis enthält damit sämtliche Daten der Projekte sowie die BOINC Logfiles.<br />
<br />
= Ubuntu, Mint und andere Derivate =<br />
<br />
Unter Ubuntu und dessen Derivate sind lediglich die Pakete ''boinc-client'' und ''boinc-manager'' zu installieren, welche sich bei Ubuntu im main repository befinden.<br />
<br />
Das funktioniert auf der Konsole mit dem Kommando <br />
<br />
sudo apt install boinc-client boinc-manager<br />
<br />
Natürlich können diese Pakete auch über den jeweils bevorzugten grafischen Paketmanager installiert werden.<br />
<br />
[[Datei:Softwarecenter.png|rahmenlos]] [[Datei:Boinc.png|rahmenlos]] [[Datei:Boincinstaller.png|rahmenlos]]<br />
<br />
Während der Installation wird automatisch der Benutzer ''boinc'' angelegt, mit dessen (eingeschränkten) Rechten das Programm zukünftig läuft. Start- und Stopskripte werden in den entsprechenden Runleveln abgelegt.<br />
Händische Starts, Neustarts und Stops des BOINC Clients erledigt das folgende Kommando:<br />
<br />
service boinc-client start<br />
service boinc-client restart<br />
service boinc-client stop<br />
<br />
Die Konfigurationsdateien landen in '''/etc/boinc-client/''', die BOINC-Binärdateien in '''/usr/bin/''' sowie veränderliche Dateien in '''/var/lib/boinc-client/'''. Das letztgenannte Verzeichnis enthält damit sämtliche Daten der Projekte sowie die BOINC Logfiles.<br />
<br />
= Fedora =<br />
== Installation für einen User ==<br />
<br />
Bitte wie oben für die manuelle Installation beschrieben vorgehen.<br />
<br />
Um BOINC automatisch mit der Anmeldung starten zu können, öffnet man im Menü '''System''' → '''Einstellungen''' → '''Persönlich''' → '''Sitzungen''' und fügt dort /home/username/BOINC/run_manager als neues Startprogramm hinzu.<br />
<br />
== Installation für alle User ==<br />
<br />
Unter Fedora muss zunächst mittels '''dnf''' BOINC installiert werden.<br />
<br />
sudo dnf install boinc-manager<br />
<br />
Als nächstes fügt man den eigenen User der Gruppe boinc hinzu. Der entsprechende Dialog ist im Menü unter '''System''' → '''Administration''' → '''Benutzer und Gruppen''' zu finden. Nun muss die Datei '''/var/lib/boinc/gui_rpc_auth.cfg''' für diese Gruppe lesbar gemacht werden.<br />
<br />
su root<br />
chmod g+r /var/lib/boinc/gui_rpc_auth_cfg<br />
<br />
Im eigenen Home-Verzeichnis legt man nun einen Link an. Sollte gui_rpc_auth.cfg nicht vorhanden sein muss der boinc-Service gestartet werden. Danach ist die Datei da.<br />
<br />
ln /var/lib/boinc/gui_rpc_auth.cfg<br />
<br />
Anschließend startet man den BOINC-Service neu.<br />
<br />
/sbin/service boinc-client restart<br />
<br />
Den BOINC-Manager startet man durch Aufruf von '''boincmgr''' im Home-Verzeichnis. Um BOINC als Service laufen zu lassen, ruft man '''system-config-service''' auf und aktiviert '''boinc_client'''. Alternativ kann man als root den folgenden Befehl ausführen.<br />
<br />
/sbin/chkconfig --level 35 boinc-client on<br />
<br />
Ob die Einstellungen richtig übernommen wurden kann man prüfen mit:<br />
<br />
/sbin/chkconfig --list boinc-client<br />
<br />
Falls es hier zu einer Fehlermeldung kommt:<br />
<br />
ln -s /var/lib/boinc/gui_rpc_auth.cfg<br />
<br />
<br />
= Manuelle Installation =<br />
Der hier gezeigte Weg funktioniert mit allen Linux-Versionen. Auch wird am Beispiel vom QMC@home ein Projekt über die CLI hinzugefügt.<br />
Zum Anmelden des Boinc-Clienten beim QMC Projekt benötigt man folgende Dinge: <br />
# Die Adresse des QMC Projekts: https://qah.uni-muenster.de <br />
# Einen QMC Account mit einem Account-Key (Hexadezimalzahl mit 32 Stellen)<br />
<br />
Ins Home-Verzeichnis wechseln<br />
cd<br />
<br />
Download des Boinc Clienten (Installationsdatei - Achtung, die Versionsnummer kann sich ändern)<br />
wget https://boinc.berkeley.edu/dl/boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
<br />
Ausführbar machen der Installationsdatei<br />
chmod +x ./boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
<br />
Installation starten (Unterverzeichnis "BOINC" wird angelegt und der Client hinein kopiert)<br />
./boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
Ausgabe: use /home/username/BOINC/run_manager to start BOINC<br />
<br />
Hier müssen jetzt die Daten vom QMC Projekt und der persönliche Account-key angegeben werden.<br />
cd BOINC<br />
./boinc --attach_project https://qah.uni-muenster.de ecaePersönlicher-Account-Key6b0a<br />
nachdem er sich beim Projekt angemeldet hat (einiger Output auf dem Bildschirm) CTRL+C drücken, um den Clienten zu beenden.<br />
<br />
Der Client soll im Hintergrund laufen und seine Meldungen in die Datei "log.txt" schreiben<br />
./boinc 2>&1 >log.txt &<br />
<br />
Dann noch den Clienten anweisen, dass er ständig laufen soll und auch immer aufs Netzwerk zugreifen kann.<br />
./boinc_cmd --set_run_mode always<br />
./boinc_cmd --set_network_mode always<br />
<br />
Mit<br />
./boinc_cmd --get_project_status <br />
kann man sich den aktuellen Status des Clienten anzeigen lassen<br />
<br />
Zum Beenden des Clienten<br />
./boinc_cmd --quit <br />
<br />
<br />
[[Kategorie:BOINC|Installation (Linux)]]<br />
[[Kategorie:Installationsanleitung|BOINC (Linux)]]</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=Portal:BOINC/Installation/Linux&diff=6707Portal:BOINC/Installation/Linux2021-02-28T20:25:36Z<p>Koschi: /* openSUSE */</p>
<hr />
<div><big>'''BOINC Installation auf Linux'''</big><br />
<br />
Grundsätzlich muss unterschieden werden zwischen einer manuellen Installation und einer aus dem Repository der jeweiligen Distribution. Während die manuelle Installation wie unten beschrieben auf allen Distributionen durchgeführt werden kann, sind bei der Installation aus den Repos der Distribution die entsprechenden Paketverwaltungstools zu nutzen.<br />
Grundsätzlich ist die Installation über die Paketverwaltung vorzuziehen. Derart installiert wird BOINC fortan automatisch gestartet, mit Sicherheitsupdates versorgt und läuft auch unterhalb eines eigenen Benutzers. Anwendungen der Projekte können also nicht auf die Daten des Users zugreifen.<br />
<br />
= openSUSE =<br />
Unter openSUSE (getestet mit Tumbleweed, Februar 2021) lässt sich BOINC mit zypper installieren.<br />
<br />
sudo zypper install boinc-manager boinc-client<br />
<br />
Beide Pakete lassen sich auch unabhängig voneinander installieren, ein zusammenfassendes BOINC Metapaket gibt es nicht.<br />
<br />
Anschließend noch den eigenen User der Gruppe BOINC hinzufügen, dann kann dieser auf die Passwortdatei des BOINC Clients zugreifen.<br />
<br />
sudo usermod -a boinc eigeneruser<br />
<br />
Innerhalb der Desktopsitzung wird die Gruppenzugehörigkeit erst nach einem Logout/Login oder Neustart aktiv.<br />
<br />
Nach erfolgter Installation lässt sich der Client über das Kommando '''''service''''' kontrollieren.<br />
<br />
sudo service boinc-client start<br />
sudo service boinc-client stop<br />
sudo service boinc-client restart<br />
<br />
Auch dessen Status lässt sich abfragen.<br />
sudo service boinc-client status<br />
<br />
Die BOINC-Binärdateien landen in '''/usr/bin/''', die Konfigurationsdateien sowie veränderliche Dateien in '''/var/lib/boinc'''. Letzteres enthält damit auch sämtliche Daten der Projekte.<br />
<br />
= Debian =<br />
<br />
Unter Debian sind lediglich die Pakete ''boinc-client'' und ''boinc-manager'' zu installieren, welche sich bei Debian im main repository befinden.<br />
<br />
Das funktioniert auf der Konsole mit dem Kommando <br />
<br />
sudo apt install boinc-client boinc-manager<br />
<br />
Natürlich können diese Pakete auch über den jeweils bevorzugten grafischen Paketmanager installiert werden. Das Programm apt ist jedoch auf jedem Debian mit Sicherheit verfügbar. <br />
Während der Installation wird automatisch der Benutzer ''boinc'' angelegt, mit dessen (eingeschränkten) Rechten das Programm zukünftig läuft. Start- und Stopskripte werden in den entsprechenden Runleveln abgelegt.<br />
Händische Starts, Neustarts und Stops des BOINC Clients erledigen die folgenden Kommandos:<br />
<br />
sudo service boinc-client start<br />
sudo service boinc-client restart<br />
sudo service boinc-client stop<br />
<br />
Die Konfigurationsdateien landen in '''/etc/boinc-client/''', die BOINC-Binärdateien in '''/usr/bin/''' sowie veränderliche Dateien in '''/var/lib/boinc-client/'''. Das letztgenannte Verzeichnis enthält damit sämtliche Daten der Projekte sowie die BOINC Logfiles.<br />
<br />
= Ubuntu, Mint und andere Derivate =<br />
<br />
Unter Ubuntu und dessen Derivate sind lediglich die Pakete ''boinc-client'' und ''boinc-manager'' zu installieren, welche sich bei Ubuntu im main repository befinden.<br />
<br />
Das funktioniert auf der Konsole mit dem Kommando <br />
<br />
sudo apt install boinc-client boinc-manager<br />
<br />
Natürlich können diese Pakete auch über den jeweils bevorzugten grafischen Paketmanager installiert werden.<br />
<br />
[[Datei:Softwarecenter.png|rahmenlos]] [[Datei:Boinc.png|rahmenlos]] [[Datei:Boincinstaller.png|rahmenlos]]<br />
<br />
Während der Installation wird automatisch der Benutzer ''boinc'' angelegt, mit dessen (eingeschränkten) Rechten das Programm zukünftig läuft. Start- und Stopskripte werden in den entsprechenden Runleveln abgelegt.<br />
Händische Starts, Neustarts und Stops des BOINC Clients erledigt das folgende Kommando:<br />
<br />
service boinc-client start<br />
service boinc-client restart<br />
service boinc-client stop<br />
<br />
Die Konfigurationsdateien landen in '''/etc/boinc-client/''', die BOINC-Binärdateien in '''/usr/bin/''' sowie veränderliche Dateien in '''/var/lib/boinc-client/'''. Das letztgenannte Verzeichnis enthält damit sämtliche Daten der Projekte sowie die BOINC Logfiles.<br />
<br />
= Fedora =<br />
== Installation für einen User ==<br />
<br />
Bitte wie oben für die manuelle Installation beschrieben vorgehen.<br />
<br />
Um BOINC automatisch mit der Anmeldung starten zu können, öffnet man im Menü '''System''' → '''Einstellungen''' → '''Persönlich''' → '''Sitzungen''' und fügt dort /home/username/BOINC/run_manager als neues Startprogramm hinzu.<br />
<br />
== Installation für alle User ==<br />
<br />
Unter Fedora muss zunächst mittels '''dnf''' BOINC installiert werden.<br />
<br />
sudo dnf install boinc-manager<br />
<br />
Als nächstes fügt man den eigenen User der Gruppe boinc hinzu. Der entsprechende Dialog ist im Menü unter '''System''' → '''Administration''' → '''Benutzer und Gruppen''' zu finden. Nun muss die Datei '''/var/lib/boinc/gui_rpc_auth.cfg''' für diese Gruppe lesbar gemacht werden.<br />
<br />
su root<br />
chmod g+r /var/lib/boinc/gui_rpc_auth_cfg<br />
<br />
Im eigenen Home-Verzeichnis legt man nun einen Link an. Sollte gui_rpc_auth.cfg nicht vorhanden sein muss der boinc-Service gestartet werden. Danach ist die Datei da.<br />
<br />
ln /var/lib/boinc/gui_rpc_auth.cfg<br />
<br />
Anschließend startet man den BOINC-Service neu.<br />
<br />
/sbin/service boinc-client restart<br />
<br />
Den BOINC-Manager startet man durch Aufruf von '''boincmgr''' im Home-Verzeichnis. Um BOINC als Service laufen zu lassen, ruft man '''system-config-service''' auf und aktiviert '''boinc_client'''. Alternativ kann man als root den folgenden Befehl ausführen.<br />
<br />
/sbin/chkconfig --level 35 boinc-client on<br />
<br />
Ob die Einstellungen richtig übernommen wurden kann man prüfen mit:<br />
<br />
/sbin/chkconfig --list boinc-client<br />
<br />
Falls es hier zu einer Fehlermeldung kommt:<br />
<br />
ln -s /var/lib/boinc/gui_rpc_auth.cfg<br />
<br />
<br />
= Manuelle Installation =<br />
Der hier gezeigte Weg funktioniert mit allen Linux-Versionen. Auch wird am Beispiel vom QMC@home ein Projekt über die CLI hinzugefügt.<br />
Zum Anmelden des Boinc-Clienten beim QMC Projekt benötigt man folgende Dinge: <br />
# Die Adresse des QMC Projekts: https://qah.uni-muenster.de <br />
# Einen QMC Account mit einem Account-Key (Hexadezimalzahl mit 32 Stellen)<br />
<br />
Ins Home-Verzeichnis wechseln<br />
cd<br />
<br />
Download des Boinc Clienten (Installationsdatei - Achtung, die Versionsnummer kann sich ändern)<br />
wget https://boinc.berkeley.edu/dl/boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
<br />
Ausführbar machen der Installationsdatei<br />
chmod +x ./boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
<br />
Installation starten (Unterverzeichnis "BOINC" wird angelegt und der Client hinein kopiert)<br />
./boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
Ausgabe: use /home/username/BOINC/run_manager to start BOINC<br />
<br />
Hier müssen jetzt die Daten vom QMC Projekt und der persönliche Account-key angegeben werden.<br />
cd BOINC<br />
./boinc --attach_project https://qah.uni-muenster.de ecaePersönlicher-Account-Key6b0a<br />
nachdem er sich beim Projekt angemeldet hat (einiger Output auf dem Bildschirm) CTRL+C drücken, um den Clienten zu beenden.<br />
<br />
Der Client soll im Hintergrund laufen und seine Meldungen in die Datei "log.txt" schreiben<br />
./boinc 2>&1 >log.txt &<br />
<br />
Dann noch den Clienten anweisen, dass er ständig laufen soll und auch immer aufs Netzwerk zugreifen kann.<br />
./boinc_cmd --set_run_mode always<br />
./boinc_cmd --set_network_mode always<br />
<br />
Mit<br />
./boinc_cmd --get_project_status <br />
kann man sich den aktuellen Status des Clienten anzeigen lassen<br />
<br />
Zum Beenden des Clienten<br />
./boinc_cmd --quit <br />
<br />
<br />
[[Kategorie:BOINC|Installation (Linux)]]<br />
[[Kategorie:Installationsanleitung|BOINC (Linux)]]</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=Portal:BOINC/Installation/Linux&diff=6706Portal:BOINC/Installation/Linux2021-02-28T20:19:11Z<p>Koschi: /* openSUSE */</p>
<hr />
<div><big>'''BOINC Installation auf Linux'''</big><br />
<br />
Grundsätzlich muss unterschieden werden zwischen einer manuellen Installation und einer aus dem Repository der jeweiligen Distribution. Während die manuelle Installation wie unten beschrieben auf allen Distributionen durchgeführt werden kann, sind bei der Installation aus den Repos der Distribution die entsprechenden Paketverwaltungstools zu nutzen.<br />
Grundsätzlich ist die Installation über die Paketverwaltung vorzuziehen. Derart installiert wird BOINC fortan automatisch gestartet, mit Sicherheitsupdates versorgt und läuft auch unterhalb eines eigenen Benutzers. Anwendungen der Projekte können also nicht auf die Daten des Users zugreifen.<br />
<br />
= openSUSE =<br />
Unter openSUSE (getestet mit Tumbleweed, Februar 2021) lässt sich BOINC mit zypper installieren.<br />
<br />
sudo zypper install boinc-manager boinc-client<br />
<br />
Beide Pakete lassen sich auch unabhängig voneinander installieren, ein zusammenfassendes BOINC Metapaket gibt es nicht.<br />
<br />
Anschließend noch den eigenen User der Gruppe BOINC hinzufügen, dann kann dieser auf die Passwortdatei des BOINC Clients zugreifen.<br />
<br />
sudo usermod -G boinc eigeneruser<br />
<br />
Innerhalb der Desktopsitzung wird die Gruppenzugehörigkeit erst nach einem Logout/Login oder Neustart aktiv.<br />
<br />
Nach erfolgter Installation lässt sich der Client über das Kommando '''''service''''' kontrollieren.<br />
<br />
sudo service boinc-client start<br />
sudo service boinc-client stop<br />
sudo service boinc-client restart<br />
<br />
Auch dessen Status lässt sich abfragen.<br />
sudo service boinc-client status<br />
<br />
Die BOINC-Binärdateien landen in '''/usr/bin/''', die Konfigurationsdateien sowie veränderliche Dateien in '''/var/lib/boinc'''. Letzteres enthält damit auch sämtliche Daten der Projekte.<br />
<br />
= Debian =<br />
<br />
Unter Debian sind lediglich die Pakete ''boinc-client'' und ''boinc-manager'' zu installieren, welche sich bei Debian im main repository befinden.<br />
<br />
Das funktioniert auf der Konsole mit dem Kommando <br />
<br />
sudo apt install boinc-client boinc-manager<br />
<br />
Natürlich können diese Pakete auch über den jeweils bevorzugten grafischen Paketmanager installiert werden. Das Programm apt ist jedoch auf jedem Debian mit Sicherheit verfügbar. <br />
Während der Installation wird automatisch der Benutzer ''boinc'' angelegt, mit dessen (eingeschränkten) Rechten das Programm zukünftig läuft. Start- und Stopskripte werden in den entsprechenden Runleveln abgelegt.<br />
Händische Starts, Neustarts und Stops des BOINC Clients erledigen die folgenden Kommandos:<br />
<br />
sudo service boinc-client start<br />
sudo service boinc-client restart<br />
sudo service boinc-client stop<br />
<br />
Die Konfigurationsdateien landen in '''/etc/boinc-client/''', die BOINC-Binärdateien in '''/usr/bin/''' sowie veränderliche Dateien in '''/var/lib/boinc-client/'''. Das letztgenannte Verzeichnis enthält damit sämtliche Daten der Projekte sowie die BOINC Logfiles.<br />
<br />
= Ubuntu, Mint und andere Derivate =<br />
<br />
Unter Ubuntu und dessen Derivate sind lediglich die Pakete ''boinc-client'' und ''boinc-manager'' zu installieren, welche sich bei Ubuntu im main repository befinden.<br />
<br />
Das funktioniert auf der Konsole mit dem Kommando <br />
<br />
sudo apt install boinc-client boinc-manager<br />
<br />
Natürlich können diese Pakete auch über den jeweils bevorzugten grafischen Paketmanager installiert werden.<br />
<br />
[[Datei:Softwarecenter.png|rahmenlos]] [[Datei:Boinc.png|rahmenlos]] [[Datei:Boincinstaller.png|rahmenlos]]<br />
<br />
Während der Installation wird automatisch der Benutzer ''boinc'' angelegt, mit dessen (eingeschränkten) Rechten das Programm zukünftig läuft. Start- und Stopskripte werden in den entsprechenden Runleveln abgelegt.<br />
Händische Starts, Neustarts und Stops des BOINC Clients erledigt das folgende Kommando:<br />
<br />
service boinc-client start<br />
service boinc-client restart<br />
service boinc-client stop<br />
<br />
Die Konfigurationsdateien landen in '''/etc/boinc-client/''', die BOINC-Binärdateien in '''/usr/bin/''' sowie veränderliche Dateien in '''/var/lib/boinc-client/'''. Das letztgenannte Verzeichnis enthält damit sämtliche Daten der Projekte sowie die BOINC Logfiles.<br />
<br />
= Fedora =<br />
== Installation für einen User ==<br />
<br />
Bitte wie oben für die manuelle Installation beschrieben vorgehen.<br />
<br />
Um BOINC automatisch mit der Anmeldung starten zu können, öffnet man im Menü '''System''' → '''Einstellungen''' → '''Persönlich''' → '''Sitzungen''' und fügt dort /home/username/BOINC/run_manager als neues Startprogramm hinzu.<br />
<br />
== Installation für alle User ==<br />
<br />
Unter Fedora muss zunächst mittels '''dnf''' BOINC installiert werden.<br />
<br />
sudo dnf install boinc-manager<br />
<br />
Als nächstes fügt man den eigenen User der Gruppe boinc hinzu. Der entsprechende Dialog ist im Menü unter '''System''' → '''Administration''' → '''Benutzer und Gruppen''' zu finden. Nun muss die Datei '''/var/lib/boinc/gui_rpc_auth.cfg''' für diese Gruppe lesbar gemacht werden.<br />
<br />
su root<br />
chmod g+r /var/lib/boinc/gui_rpc_auth_cfg<br />
<br />
Im eigenen Home-Verzeichnis legt man nun einen Link an. Sollte gui_rpc_auth.cfg nicht vorhanden sein muss der boinc-Service gestartet werden. Danach ist die Datei da.<br />
<br />
ln /var/lib/boinc/gui_rpc_auth.cfg<br />
<br />
Anschließend startet man den BOINC-Service neu.<br />
<br />
/sbin/service boinc-client restart<br />
<br />
Den BOINC-Manager startet man durch Aufruf von '''boincmgr''' im Home-Verzeichnis. Um BOINC als Service laufen zu lassen, ruft man '''system-config-service''' auf und aktiviert '''boinc_client'''. Alternativ kann man als root den folgenden Befehl ausführen.<br />
<br />
/sbin/chkconfig --level 35 boinc-client on<br />
<br />
Ob die Einstellungen richtig übernommen wurden kann man prüfen mit:<br />
<br />
/sbin/chkconfig --list boinc-client<br />
<br />
Falls es hier zu einer Fehlermeldung kommt:<br />
<br />
ln -s /var/lib/boinc/gui_rpc_auth.cfg<br />
<br />
<br />
= Manuelle Installation =<br />
Der hier gezeigte Weg funktioniert mit allen Linux-Versionen. Auch wird am Beispiel vom QMC@home ein Projekt über die CLI hinzugefügt.<br />
Zum Anmelden des Boinc-Clienten beim QMC Projekt benötigt man folgende Dinge: <br />
# Die Adresse des QMC Projekts: https://qah.uni-muenster.de <br />
# Einen QMC Account mit einem Account-Key (Hexadezimalzahl mit 32 Stellen)<br />
<br />
Ins Home-Verzeichnis wechseln<br />
cd<br />
<br />
Download des Boinc Clienten (Installationsdatei - Achtung, die Versionsnummer kann sich ändern)<br />
wget https://boinc.berkeley.edu/dl/boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
<br />
Ausführbar machen der Installationsdatei<br />
chmod +x ./boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
<br />
Installation starten (Unterverzeichnis "BOINC" wird angelegt und der Client hinein kopiert)<br />
./boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
Ausgabe: use /home/username/BOINC/run_manager to start BOINC<br />
<br />
Hier müssen jetzt die Daten vom QMC Projekt und der persönliche Account-key angegeben werden.<br />
cd BOINC<br />
./boinc --attach_project https://qah.uni-muenster.de ecaePersönlicher-Account-Key6b0a<br />
nachdem er sich beim Projekt angemeldet hat (einiger Output auf dem Bildschirm) CTRL+C drücken, um den Clienten zu beenden.<br />
<br />
Der Client soll im Hintergrund laufen und seine Meldungen in die Datei "log.txt" schreiben<br />
./boinc 2>&1 >log.txt &<br />
<br />
Dann noch den Clienten anweisen, dass er ständig laufen soll und auch immer aufs Netzwerk zugreifen kann.<br />
./boinc_cmd --set_run_mode always<br />
./boinc_cmd --set_network_mode always<br />
<br />
Mit<br />
./boinc_cmd --get_project_status <br />
kann man sich den aktuellen Status des Clienten anzeigen lassen<br />
<br />
Zum Beenden des Clienten<br />
./boinc_cmd --quit <br />
<br />
<br />
[[Kategorie:BOINC|Installation (Linux)]]<br />
[[Kategorie:Installationsanleitung|BOINC (Linux)]]</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=Portal:BOINC/Installation/Linux&diff=6705Portal:BOINC/Installation/Linux2021-02-28T19:49:13Z<p>Koschi: /* openSUSE */</p>
<hr />
<div><big>'''BOINC Installation auf Linux'''</big><br />
<br />
Grundsätzlich muss unterschieden werden zwischen einer manuellen Installation und einer aus dem Repository der jeweiligen Distribution. Während die manuelle Installation wie unten beschrieben auf allen Distributionen durchgeführt werden kann, sind bei der Installation aus den Repos der Distribution die entsprechenden Paketverwaltungstools zu nutzen.<br />
Grundsätzlich ist die Installation über die Paketverwaltung vorzuziehen. Derart installiert wird BOINC fortan automatisch gestartet, mit Sicherheitsupdates versorgt und läuft auch unterhalb eines eigenen Benutzers. Anwendungen der Projekte können also nicht auf die Daten des Users zugreifen.<br />
<br />
= openSUSE =<br />
Unter openSUSE (getestet mit Tumbleweed, Februar 2021) lässt sich BOINC mit zypper installieren.<br />
<br />
sudo zypper install boinc-manager boinc-client<br />
<br />
Beide Pakete lassen sich auch unabhängig voneinander installieren, ein zusammenfassendes BOINC Metapaket gibt es nicht.<br />
<br />
Anschließend noch den eigenen User der Gruppe BOINC hinzufügen, dann kann dieser auf die Passwortdatei des BOINC Clients zugreifen.<br />
<br />
sudo usermod -G boinc eigeneruser<br />
<br />
Innerhalb der Desktopsitzung wird die Änderung erst nach einem logout/login oder Neustart aktiv.<br />
<br />
Nach erfolgter Installation lässt sich der Client über das Kommando '''''service''''' kontrollieren.<br />
<br />
sudo service boinc-client start<br />
sudo service boinc-client stop<br />
sudo service boinc-client restart<br />
<br />
Auch dessen Status lässt sich abfragen.<br />
sudo service boinc-client status<br />
<br />
Die BOINC-Binärdateien landen in '''/usr/bin/''', die Konfigurationsdateien sowie veränderliche Dateien in '''/var/lib/boinc'''. Letzteres enthält damit auch sämtliche Daten der Projekte.<br />
<br />
= Debian =<br />
<br />
Unter Debian sind lediglich die Pakete ''boinc-client'' und ''boinc-manager'' zu installieren, welche sich bei Debian im main repository befinden.<br />
<br />
Das funktioniert auf der Konsole mit dem Kommando <br />
<br />
sudo apt install boinc-client boinc-manager<br />
<br />
Natürlich können diese Pakete auch über den jeweils bevorzugten grafischen Paketmanager installiert werden. Das Programm apt ist jedoch auf jedem Debian mit Sicherheit verfügbar. <br />
Während der Installation wird automatisch der Benutzer ''boinc'' angelegt, mit dessen (eingeschränkten) Rechten das Programm zukünftig läuft. Start- und Stopskripte werden in den entsprechenden Runleveln abgelegt.<br />
Händische Starts, Neustarts und Stops des BOINC Clients erledigen die folgenden Kommandos:<br />
<br />
sudo service boinc-client start<br />
sudo service boinc-client restart<br />
sudo service boinc-client stop<br />
<br />
Die Konfigurationsdateien landen in '''/etc/boinc-client/''', die BOINC-Binärdateien in '''/usr/bin/''' sowie veränderliche Dateien in '''/var/lib/boinc-client/'''. Das letztgenannte Verzeichnis enthält damit sämtliche Daten der Projekte sowie die BOINC Logfiles.<br />
<br />
= Ubuntu, Mint und andere Derivate =<br />
<br />
Unter Ubuntu und dessen Derivate sind lediglich die Pakete ''boinc-client'' und ''boinc-manager'' zu installieren, welche sich bei Ubuntu im main repository befinden.<br />
<br />
Das funktioniert auf der Konsole mit dem Kommando <br />
<br />
sudo apt install boinc-client boinc-manager<br />
<br />
Natürlich können diese Pakete auch über den jeweils bevorzugten grafischen Paketmanager installiert werden.<br />
<br />
[[Datei:Softwarecenter.png|rahmenlos]] [[Datei:Boinc.png|rahmenlos]] [[Datei:Boincinstaller.png|rahmenlos]]<br />
<br />
Während der Installation wird automatisch der Benutzer ''boinc'' angelegt, mit dessen (eingeschränkten) Rechten das Programm zukünftig läuft. Start- und Stopskripte werden in den entsprechenden Runleveln abgelegt.<br />
Händische Starts, Neustarts und Stops des BOINC Clients erledigt das folgende Kommando:<br />
<br />
service boinc-client start<br />
service boinc-client restart<br />
service boinc-client stop<br />
<br />
Die Konfigurationsdateien landen in '''/etc/boinc-client/''', die BOINC-Binärdateien in '''/usr/bin/''' sowie veränderliche Dateien in '''/var/lib/boinc-client/'''. Das letztgenannte Verzeichnis enthält damit sämtliche Daten der Projekte sowie die BOINC Logfiles.<br />
<br />
= Fedora =<br />
== Installation für einen User ==<br />
<br />
Bitte wie oben für die manuelle Installation beschrieben vorgehen.<br />
<br />
Um BOINC automatisch mit der Anmeldung starten zu können, öffnet man im Menü '''System''' → '''Einstellungen''' → '''Persönlich''' → '''Sitzungen''' und fügt dort /home/username/BOINC/run_manager als neues Startprogramm hinzu.<br />
<br />
== Installation für alle User ==<br />
<br />
Unter Fedora muss zunächst mittels '''dnf''' BOINC installiert werden.<br />
<br />
sudo dnf install boinc-manager<br />
<br />
Als nächstes fügt man den eigenen User der Gruppe boinc hinzu. Der entsprechende Dialog ist im Menü unter '''System''' → '''Administration''' → '''Benutzer und Gruppen''' zu finden. Nun muss die Datei '''/var/lib/boinc/gui_rpc_auth.cfg''' für diese Gruppe lesbar gemacht werden.<br />
<br />
su root<br />
chmod g+r /var/lib/boinc/gui_rpc_auth_cfg<br />
<br />
Im eigenen Home-Verzeichnis legt man nun einen Link an. Sollte gui_rpc_auth.cfg nicht vorhanden sein muss der boinc-Service gestartet werden. Danach ist die Datei da.<br />
<br />
ln /var/lib/boinc/gui_rpc_auth.cfg<br />
<br />
Anschließend startet man den BOINC-Service neu.<br />
<br />
/sbin/service boinc-client restart<br />
<br />
Den BOINC-Manager startet man durch Aufruf von '''boincmgr''' im Home-Verzeichnis. Um BOINC als Service laufen zu lassen, ruft man '''system-config-service''' auf und aktiviert '''boinc_client'''. Alternativ kann man als root den folgenden Befehl ausführen.<br />
<br />
/sbin/chkconfig --level 35 boinc-client on<br />
<br />
Ob die Einstellungen richtig übernommen wurden kann man prüfen mit:<br />
<br />
/sbin/chkconfig --list boinc-client<br />
<br />
Falls es hier zu einer Fehlermeldung kommt:<br />
<br />
ln -s /var/lib/boinc/gui_rpc_auth.cfg<br />
<br />
<br />
= Manuelle Installation =<br />
Der hier gezeigte Weg funktioniert mit allen Linux-Versionen. Auch wird am Beispiel vom QMC@home ein Projekt über die CLI hinzugefügt.<br />
Zum Anmelden des Boinc-Clienten beim QMC Projekt benötigt man folgende Dinge: <br />
# Die Adresse des QMC Projekts: https://qah.uni-muenster.de <br />
# Einen QMC Account mit einem Account-Key (Hexadezimalzahl mit 32 Stellen)<br />
<br />
Ins Home-Verzeichnis wechseln<br />
cd<br />
<br />
Download des Boinc Clienten (Installationsdatei - Achtung, die Versionsnummer kann sich ändern)<br />
wget https://boinc.berkeley.edu/dl/boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
<br />
Ausführbar machen der Installationsdatei<br />
chmod +x ./boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
<br />
Installation starten (Unterverzeichnis "BOINC" wird angelegt und der Client hinein kopiert)<br />
./boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
Ausgabe: use /home/username/BOINC/run_manager to start BOINC<br />
<br />
Hier müssen jetzt die Daten vom QMC Projekt und der persönliche Account-key angegeben werden.<br />
cd BOINC<br />
./boinc --attach_project https://qah.uni-muenster.de ecaePersönlicher-Account-Key6b0a<br />
nachdem er sich beim Projekt angemeldet hat (einiger Output auf dem Bildschirm) CTRL+C drücken, um den Clienten zu beenden.<br />
<br />
Der Client soll im Hintergrund laufen und seine Meldungen in die Datei "log.txt" schreiben<br />
./boinc 2>&1 >log.txt &<br />
<br />
Dann noch den Clienten anweisen, dass er ständig laufen soll und auch immer aufs Netzwerk zugreifen kann.<br />
./boinc_cmd --set_run_mode always<br />
./boinc_cmd --set_network_mode always<br />
<br />
Mit<br />
./boinc_cmd --get_project_status <br />
kann man sich den aktuellen Status des Clienten anzeigen lassen<br />
<br />
Zum Beenden des Clienten<br />
./boinc_cmd --quit <br />
<br />
<br />
[[Kategorie:BOINC|Installation (Linux)]]<br />
[[Kategorie:Installationsanleitung|BOINC (Linux)]]</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=Portal:BOINC/Installation/Linux&diff=6704Portal:BOINC/Installation/Linux2021-02-28T19:39:54Z<p>Koschi: /* Debian */</p>
<hr />
<div><big>'''BOINC Installation auf Linux'''</big><br />
<br />
Grundsätzlich muss unterschieden werden zwischen einer manuellen Installation und einer aus dem Repository der jeweiligen Distribution. Während die manuelle Installation wie unten beschrieben auf allen Distributionen durchgeführt werden kann, sind bei der Installation aus den Repos der Distribution die entsprechenden Paketverwaltungstools zu nutzen.<br />
Grundsätzlich ist die Installation über die Paketverwaltung vorzuziehen. Derart installiert wird BOINC fortan automatisch gestartet, mit Sicherheitsupdates versorgt und läuft auch unterhalb eines eigenen Benutzers. Anwendungen der Projekte können also nicht auf die Daten des Users zugreifen.<br />
<br />
= openSUSE =<br />
Unter openSUSE (getestet mit Tumbleweed, Februar 2021) lässt sich BOINC mit zypper installieren.<br />
<br />
sudo zypper install boinc-manager boinc-client<br />
<br />
Beide Pakete lassen sich auch unabhängig voneinander installieren, ein zusammenfassendes BOINC Metapaket gibt es nicht.<br />
<br />
Anschließend noch den eigenen User der Gruppe BOINC hinzufügen, dann kann dieser auf die Passwortdatei des BOINC Clients zugreifen.<br />
<br />
sudo usermod -G boinc eigeneruser<br />
<br />
Innerhalb der Desktopsitzung wird die Änderung erst nach einem logout/login oder Neustart aktiv.<br />
<br />
Nach erfolgter Installation lässt sich der Client über das Kommando '''''service''''' kontrollieren.<br />
<br />
sudo service boinc-client start<br />
sudo service boinc-client stop<br />
sudo service boinc-client restart<br />
<br />
Auch dessen Status lässt sich abfragen.<br />
sudo service boinc-client status<br />
<br />
= Debian =<br />
<br />
Unter Debian sind lediglich die Pakete ''boinc-client'' und ''boinc-manager'' zu installieren, welche sich bei Debian im main repository befinden.<br />
<br />
Das funktioniert auf der Konsole mit dem Kommando <br />
<br />
sudo apt install boinc-client boinc-manager<br />
<br />
Natürlich können diese Pakete auch über den jeweils bevorzugten grafischen Paketmanager installiert werden. Das Programm apt ist jedoch auf jedem Debian mit Sicherheit verfügbar. <br />
Während der Installation wird automatisch der Benutzer ''boinc'' angelegt, mit dessen (eingeschränkten) Rechten das Programm zukünftig läuft. Start- und Stopskripte werden in den entsprechenden Runleveln abgelegt.<br />
Händische Starts, Neustarts und Stops des BOINC Clients erledigen die folgenden Kommandos:<br />
<br />
sudo service boinc-client start<br />
sudo service boinc-client restart<br />
sudo service boinc-client stop<br />
<br />
Die Konfigurationsdateien landen in '''/etc/boinc-client/''', die BOINC-Binärdateien in '''/usr/bin/''' sowie veränderliche Dateien in '''/var/lib/boinc-client/'''. Das letztgenannte Verzeichnis enthält damit sämtliche Daten der Projekte sowie die BOINC Logfiles.<br />
<br />
= Ubuntu, Mint und andere Derivate =<br />
<br />
Unter Ubuntu und dessen Derivate sind lediglich die Pakete ''boinc-client'' und ''boinc-manager'' zu installieren, welche sich bei Ubuntu im main repository befinden.<br />
<br />
Das funktioniert auf der Konsole mit dem Kommando <br />
<br />
sudo apt install boinc-client boinc-manager<br />
<br />
Natürlich können diese Pakete auch über den jeweils bevorzugten grafischen Paketmanager installiert werden.<br />
<br />
[[Datei:Softwarecenter.png|rahmenlos]] [[Datei:Boinc.png|rahmenlos]] [[Datei:Boincinstaller.png|rahmenlos]]<br />
<br />
Während der Installation wird automatisch der Benutzer ''boinc'' angelegt, mit dessen (eingeschränkten) Rechten das Programm zukünftig läuft. Start- und Stopskripte werden in den entsprechenden Runleveln abgelegt.<br />
Händische Starts, Neustarts und Stops des BOINC Clients erledigt das folgende Kommando:<br />
<br />
service boinc-client start<br />
service boinc-client restart<br />
service boinc-client stop<br />
<br />
Die Konfigurationsdateien landen in '''/etc/boinc-client/''', die BOINC-Binärdateien in '''/usr/bin/''' sowie veränderliche Dateien in '''/var/lib/boinc-client/'''. Das letztgenannte Verzeichnis enthält damit sämtliche Daten der Projekte sowie die BOINC Logfiles.<br />
<br />
= Fedora =<br />
== Installation für einen User ==<br />
<br />
Bitte wie oben für die manuelle Installation beschrieben vorgehen.<br />
<br />
Um BOINC automatisch mit der Anmeldung starten zu können, öffnet man im Menü '''System''' → '''Einstellungen''' → '''Persönlich''' → '''Sitzungen''' und fügt dort /home/username/BOINC/run_manager als neues Startprogramm hinzu.<br />
<br />
== Installation für alle User ==<br />
<br />
Unter Fedora muss zunächst mittels '''dnf''' BOINC installiert werden.<br />
<br />
sudo dnf install boinc-manager<br />
<br />
Als nächstes fügt man den eigenen User der Gruppe boinc hinzu. Der entsprechende Dialog ist im Menü unter '''System''' → '''Administration''' → '''Benutzer und Gruppen''' zu finden. Nun muss die Datei '''/var/lib/boinc/gui_rpc_auth.cfg''' für diese Gruppe lesbar gemacht werden.<br />
<br />
su root<br />
chmod g+r /var/lib/boinc/gui_rpc_auth_cfg<br />
<br />
Im eigenen Home-Verzeichnis legt man nun einen Link an. Sollte gui_rpc_auth.cfg nicht vorhanden sein muss der boinc-Service gestartet werden. Danach ist die Datei da.<br />
<br />
ln /var/lib/boinc/gui_rpc_auth.cfg<br />
<br />
Anschließend startet man den BOINC-Service neu.<br />
<br />
/sbin/service boinc-client restart<br />
<br />
Den BOINC-Manager startet man durch Aufruf von '''boincmgr''' im Home-Verzeichnis. Um BOINC als Service laufen zu lassen, ruft man '''system-config-service''' auf und aktiviert '''boinc_client'''. Alternativ kann man als root den folgenden Befehl ausführen.<br />
<br />
/sbin/chkconfig --level 35 boinc-client on<br />
<br />
Ob die Einstellungen richtig übernommen wurden kann man prüfen mit:<br />
<br />
/sbin/chkconfig --list boinc-client<br />
<br />
Falls es hier zu einer Fehlermeldung kommt:<br />
<br />
ln -s /var/lib/boinc/gui_rpc_auth.cfg<br />
<br />
<br />
= Manuelle Installation =<br />
Der hier gezeigte Weg funktioniert mit allen Linux-Versionen. Auch wird am Beispiel vom QMC@home ein Projekt über die CLI hinzugefügt.<br />
Zum Anmelden des Boinc-Clienten beim QMC Projekt benötigt man folgende Dinge: <br />
# Die Adresse des QMC Projekts: https://qah.uni-muenster.de <br />
# Einen QMC Account mit einem Account-Key (Hexadezimalzahl mit 32 Stellen)<br />
<br />
Ins Home-Verzeichnis wechseln<br />
cd<br />
<br />
Download des Boinc Clienten (Installationsdatei - Achtung, die Versionsnummer kann sich ändern)<br />
wget https://boinc.berkeley.edu/dl/boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
<br />
Ausführbar machen der Installationsdatei<br />
chmod +x ./boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
<br />
Installation starten (Unterverzeichnis "BOINC" wird angelegt und der Client hinein kopiert)<br />
./boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
Ausgabe: use /home/username/BOINC/run_manager to start BOINC<br />
<br />
Hier müssen jetzt die Daten vom QMC Projekt und der persönliche Account-key angegeben werden.<br />
cd BOINC<br />
./boinc --attach_project https://qah.uni-muenster.de ecaePersönlicher-Account-Key6b0a<br />
nachdem er sich beim Projekt angemeldet hat (einiger Output auf dem Bildschirm) CTRL+C drücken, um den Clienten zu beenden.<br />
<br />
Der Client soll im Hintergrund laufen und seine Meldungen in die Datei "log.txt" schreiben<br />
./boinc 2>&1 >log.txt &<br />
<br />
Dann noch den Clienten anweisen, dass er ständig laufen soll und auch immer aufs Netzwerk zugreifen kann.<br />
./boinc_cmd --set_run_mode always<br />
./boinc_cmd --set_network_mode always<br />
<br />
Mit<br />
./boinc_cmd --get_project_status <br />
kann man sich den aktuellen Status des Clienten anzeigen lassen<br />
<br />
Zum Beenden des Clienten<br />
./boinc_cmd --quit <br />
<br />
<br />
[[Kategorie:BOINC|Installation (Linux)]]<br />
[[Kategorie:Installationsanleitung|BOINC (Linux)]]</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=Portal:BOINC/Installation/Linux&diff=6703Portal:BOINC/Installation/Linux2021-02-28T19:39:24Z<p>Koschi: /* openSUSE */</p>
<hr />
<div><big>'''BOINC Installation auf Linux'''</big><br />
<br />
Grundsätzlich muss unterschieden werden zwischen einer manuellen Installation und einer aus dem Repository der jeweiligen Distribution. Während die manuelle Installation wie unten beschrieben auf allen Distributionen durchgeführt werden kann, sind bei der Installation aus den Repos der Distribution die entsprechenden Paketverwaltungstools zu nutzen.<br />
Grundsätzlich ist die Installation über die Paketverwaltung vorzuziehen. Derart installiert wird BOINC fortan automatisch gestartet, mit Sicherheitsupdates versorgt und läuft auch unterhalb eines eigenen Benutzers. Anwendungen der Projekte können also nicht auf die Daten des Users zugreifen.<br />
<br />
= openSUSE =<br />
Unter openSUSE (getestet mit Tumbleweed, Februar 2021) lässt sich BOINC mit zypper installieren.<br />
<br />
sudo zypper install boinc-manager boinc-client<br />
<br />
Beide Pakete lassen sich auch unabhängig voneinander installieren, ein zusammenfassendes BOINC Metapaket gibt es nicht.<br />
<br />
Anschließend noch den eigenen User der Gruppe BOINC hinzufügen, dann kann dieser auf die Passwortdatei des BOINC Clients zugreifen.<br />
<br />
sudo usermod -G boinc eigeneruser<br />
<br />
Innerhalb der Desktopsitzung wird die Änderung erst nach einem logout/login oder Neustart aktiv.<br />
<br />
Nach erfolgter Installation lässt sich der Client über das Kommando '''''service''''' kontrollieren.<br />
<br />
sudo service boinc-client start<br />
sudo service boinc-client stop<br />
sudo service boinc-client restart<br />
<br />
Auch dessen Status lässt sich abfragen.<br />
sudo service boinc-client status<br />
<br />
= Debian =<br />
<br />
Unter Debian sind lediglich die Pakete ''boinc-client'' und ''boinc-manager'' zu installieren, welche sich bei Debian im main repository befinden.<br />
<br />
Das funktioniert auf der Konsole mit dem Kommando <br />
<br />
sudo apt install boinc-client boinc-manager<br />
<br />
Natürlich können diese Pakete auch über den jeweils bevorzugten grafischen Paketmanager installiert werden. Das Programm apt ist jedoch auf jedem Debian mit Sicherheit verfügbar. <br />
Während der Installation wird automatisch der Benutzer ''boinc'' angelegt, mit dessen (eingeschränkten) Rechten das Programm zukünftig läuft. Start- und Stopskripte werden in den entsprechenden Runleveln abgelegt.<br />
Händische Starts, Neustarts und Stops des BOINC Clients erledigen die folgenden Kommandos:<br />
<br />
service boinc-client start<br />
service boinc-client restart<br />
service boinc-client stop<br />
<br />
Die Konfigurationsdateien landen in '''/etc/boinc-client/''', die BOINC-Binärdateien in '''/usr/bin/''' sowie veränderliche Dateien in '''/var/lib/boinc-client/'''. Das letztgenannte Verzeichnis enthält damit sämtliche Daten der Projekte sowie die BOINC Logfiles.<br />
<br />
= Ubuntu, Mint und andere Derivate =<br />
<br />
Unter Ubuntu und dessen Derivate sind lediglich die Pakete ''boinc-client'' und ''boinc-manager'' zu installieren, welche sich bei Ubuntu im main repository befinden.<br />
<br />
Das funktioniert auf der Konsole mit dem Kommando <br />
<br />
sudo apt install boinc-client boinc-manager<br />
<br />
Natürlich können diese Pakete auch über den jeweils bevorzugten grafischen Paketmanager installiert werden.<br />
<br />
[[Datei:Softwarecenter.png|rahmenlos]] [[Datei:Boinc.png|rahmenlos]] [[Datei:Boincinstaller.png|rahmenlos]]<br />
<br />
Während der Installation wird automatisch der Benutzer ''boinc'' angelegt, mit dessen (eingeschränkten) Rechten das Programm zukünftig läuft. Start- und Stopskripte werden in den entsprechenden Runleveln abgelegt.<br />
Händische Starts, Neustarts und Stops des BOINC Clients erledigt das folgende Kommando:<br />
<br />
service boinc-client start<br />
service boinc-client restart<br />
service boinc-client stop<br />
<br />
Die Konfigurationsdateien landen in '''/etc/boinc-client/''', die BOINC-Binärdateien in '''/usr/bin/''' sowie veränderliche Dateien in '''/var/lib/boinc-client/'''. Das letztgenannte Verzeichnis enthält damit sämtliche Daten der Projekte sowie die BOINC Logfiles.<br />
<br />
= Fedora =<br />
== Installation für einen User ==<br />
<br />
Bitte wie oben für die manuelle Installation beschrieben vorgehen.<br />
<br />
Um BOINC automatisch mit der Anmeldung starten zu können, öffnet man im Menü '''System''' → '''Einstellungen''' → '''Persönlich''' → '''Sitzungen''' und fügt dort /home/username/BOINC/run_manager als neues Startprogramm hinzu.<br />
<br />
== Installation für alle User ==<br />
<br />
Unter Fedora muss zunächst mittels '''dnf''' BOINC installiert werden.<br />
<br />
sudo dnf install boinc-manager<br />
<br />
Als nächstes fügt man den eigenen User der Gruppe boinc hinzu. Der entsprechende Dialog ist im Menü unter '''System''' → '''Administration''' → '''Benutzer und Gruppen''' zu finden. Nun muss die Datei '''/var/lib/boinc/gui_rpc_auth.cfg''' für diese Gruppe lesbar gemacht werden.<br />
<br />
su root<br />
chmod g+r /var/lib/boinc/gui_rpc_auth_cfg<br />
<br />
Im eigenen Home-Verzeichnis legt man nun einen Link an. Sollte gui_rpc_auth.cfg nicht vorhanden sein muss der boinc-Service gestartet werden. Danach ist die Datei da.<br />
<br />
ln /var/lib/boinc/gui_rpc_auth.cfg<br />
<br />
Anschließend startet man den BOINC-Service neu.<br />
<br />
/sbin/service boinc-client restart<br />
<br />
Den BOINC-Manager startet man durch Aufruf von '''boincmgr''' im Home-Verzeichnis. Um BOINC als Service laufen zu lassen, ruft man '''system-config-service''' auf und aktiviert '''boinc_client'''. Alternativ kann man als root den folgenden Befehl ausführen.<br />
<br />
/sbin/chkconfig --level 35 boinc-client on<br />
<br />
Ob die Einstellungen richtig übernommen wurden kann man prüfen mit:<br />
<br />
/sbin/chkconfig --list boinc-client<br />
<br />
Falls es hier zu einer Fehlermeldung kommt:<br />
<br />
ln -s /var/lib/boinc/gui_rpc_auth.cfg<br />
<br />
<br />
= Manuelle Installation =<br />
Der hier gezeigte Weg funktioniert mit allen Linux-Versionen. Auch wird am Beispiel vom QMC@home ein Projekt über die CLI hinzugefügt.<br />
Zum Anmelden des Boinc-Clienten beim QMC Projekt benötigt man folgende Dinge: <br />
# Die Adresse des QMC Projekts: https://qah.uni-muenster.de <br />
# Einen QMC Account mit einem Account-Key (Hexadezimalzahl mit 32 Stellen)<br />
<br />
Ins Home-Verzeichnis wechseln<br />
cd<br />
<br />
Download des Boinc Clienten (Installationsdatei - Achtung, die Versionsnummer kann sich ändern)<br />
wget https://boinc.berkeley.edu/dl/boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
<br />
Ausführbar machen der Installationsdatei<br />
chmod +x ./boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
<br />
Installation starten (Unterverzeichnis "BOINC" wird angelegt und der Client hinein kopiert)<br />
./boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
Ausgabe: use /home/username/BOINC/run_manager to start BOINC<br />
<br />
Hier müssen jetzt die Daten vom QMC Projekt und der persönliche Account-key angegeben werden.<br />
cd BOINC<br />
./boinc --attach_project https://qah.uni-muenster.de ecaePersönlicher-Account-Key6b0a<br />
nachdem er sich beim Projekt angemeldet hat (einiger Output auf dem Bildschirm) CTRL+C drücken, um den Clienten zu beenden.<br />
<br />
Der Client soll im Hintergrund laufen und seine Meldungen in die Datei "log.txt" schreiben<br />
./boinc 2>&1 >log.txt &<br />
<br />
Dann noch den Clienten anweisen, dass er ständig laufen soll und auch immer aufs Netzwerk zugreifen kann.<br />
./boinc_cmd --set_run_mode always<br />
./boinc_cmd --set_network_mode always<br />
<br />
Mit<br />
./boinc_cmd --get_project_status <br />
kann man sich den aktuellen Status des Clienten anzeigen lassen<br />
<br />
Zum Beenden des Clienten<br />
./boinc_cmd --quit <br />
<br />
<br />
[[Kategorie:BOINC|Installation (Linux)]]<br />
[[Kategorie:Installationsanleitung|BOINC (Linux)]]</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=Portal:BOINC/Installation/Linux&diff=6702Portal:BOINC/Installation/Linux2021-02-28T18:27:31Z<p>Koschi: </p>
<hr />
<div><big>'''BOINC Installation auf Linux'''</big><br />
<br />
Grundsätzlich muss unterschieden werden zwischen einer manuellen Installation und einer aus dem Repository der jeweiligen Distribution. Während die manuelle Installation wie unten beschrieben auf allen Distributionen durchgeführt werden kann, sind bei der Installation aus den Repos der Distribution die entsprechenden Paketverwaltungstools zu nutzen.<br />
Grundsätzlich ist die Installation über die Paketverwaltung vorzuziehen. Derart installiert wird BOINC fortan automatisch gestartet, mit Sicherheitsupdates versorgt und läuft auch unterhalb eines eigenen Benutzers. Anwendungen der Projekte können also nicht auf die Daten des Users zugreifen.<br />
<br />
= openSUSE =<br />
<br />
Hier kommt zypper Krams hin...<br />
<br />
<br />
= Debian =<br />
<br />
Unter Debian sind lediglich die Pakete ''boinc-client'' und ''boinc-manager'' zu installieren, welche sich bei Debian im main repository befinden.<br />
<br />
Das funktioniert auf der Konsole mit dem Kommando <br />
<br />
sudo apt install boinc-client boinc-manager<br />
<br />
Natürlich können diese Pakete auch über den jeweils bevorzugten grafischen Paketmanager installiert werden. Das Programm apt ist jedoch auf jedem Debian mit Sicherheit verfügbar. <br />
Während der Installation wird automatisch der Benutzer ''boinc'' angelegt, mit dessen (eingeschränkten) Rechten das Programm zukünftig läuft. Start- und Stopskripte werden in den entsprechenden Runleveln abgelegt.<br />
Händische Starts, Neustarts und Stops des BOINC Clients erledigen die folgenden Kommandos:<br />
<br />
service boinc-client start<br />
service boinc-client restart<br />
service boinc-client stop<br />
<br />
Die Konfigurationsdateien landen in '''/etc/boinc-client/''', die BOINC-Binärdateien in '''/usr/bin/''' sowie veränderliche Dateien in '''/var/lib/boinc-client/'''. Das letztgenannte Verzeichnis enthält damit sämtliche Daten der Projekte sowie die BOINC Logfiles.<br />
<br />
= Ubuntu, Mint und andere Derivate =<br />
<br />
Unter Ubuntu und dessen Derivate sind lediglich die Pakete ''boinc-client'' und ''boinc-manager'' zu installieren, welche sich bei Ubuntu im main repository befinden.<br />
<br />
Das funktioniert auf der Konsole mit dem Kommando <br />
<br />
sudo apt install boinc-client boinc-manager<br />
<br />
Natürlich können diese Pakete auch über den jeweils bevorzugten grafischen Paketmanager installiert werden.<br />
<br />
[[Datei:Softwarecenter.png|rahmenlos]] [[Datei:Boinc.png|rahmenlos]] [[Datei:Boincinstaller.png|rahmenlos]]<br />
<br />
Während der Installation wird automatisch der Benutzer ''boinc'' angelegt, mit dessen (eingeschränkten) Rechten das Programm zukünftig läuft. Start- und Stopskripte werden in den entsprechenden Runleveln abgelegt.<br />
Händische Starts, Neustarts und Stops des BOINC Clients erledigt das folgende Kommando:<br />
<br />
service boinc-client start<br />
service boinc-client restart<br />
service boinc-client stop<br />
<br />
Die Konfigurationsdateien landen in '''/etc/boinc-client/''', die BOINC-Binärdateien in '''/usr/bin/''' sowie veränderliche Dateien in '''/var/lib/boinc-client/'''. Das letztgenannte Verzeichnis enthält damit sämtliche Daten der Projekte sowie die BOINC Logfiles.<br />
<br />
= Fedora =<br />
== Installation für einen User ==<br />
<br />
Bitte wie oben für die manuelle Installation beschrieben vorgehen.<br />
<br />
Um BOINC automatisch mit der Anmeldung starten zu können, öffnet man im Menü '''System''' → '''Einstellungen''' → '''Persönlich''' → '''Sitzungen''' und fügt dort /home/username/BOINC/run_manager als neues Startprogramm hinzu.<br />
<br />
== Installation für alle User ==<br />
<br />
Unter Fedora muss zunächst mittels '''dnf''' BOINC installiert werden.<br />
<br />
sudo dnf install boinc-manager<br />
<br />
Als nächstes fügt man den eigenen User der Gruppe boinc hinzu. Der entsprechende Dialog ist im Menü unter '''System''' → '''Administration''' → '''Benutzer und Gruppen''' zu finden. Nun muss die Datei '''/var/lib/boinc/gui_rpc_auth.cfg''' für diese Gruppe lesbar gemacht werden.<br />
<br />
su root<br />
chmod g+r /var/lib/boinc/gui_rpc_auth_cfg<br />
<br />
Im eigenen Home-Verzeichnis legt man nun einen Link an. Sollte gui_rpc_auth.cfg nicht vorhanden sein muss der boinc-Service gestartet werden. Danach ist die Datei da.<br />
<br />
ln /var/lib/boinc/gui_rpc_auth.cfg<br />
<br />
Anschließend startet man den BOINC-Service neu.<br />
<br />
/sbin/service boinc-client restart<br />
<br />
Den BOINC-Manager startet man durch Aufruf von '''boincmgr''' im Home-Verzeichnis. Um BOINC als Service laufen zu lassen, ruft man '''system-config-service''' auf und aktiviert '''boinc_client'''. Alternativ kann man als root den folgenden Befehl ausführen.<br />
<br />
/sbin/chkconfig --level 35 boinc-client on<br />
<br />
Ob die Einstellungen richtig übernommen wurden kann man prüfen mit:<br />
<br />
/sbin/chkconfig --list boinc-client<br />
<br />
Falls es hier zu einer Fehlermeldung kommt:<br />
<br />
ln -s /var/lib/boinc/gui_rpc_auth.cfg<br />
<br />
<br />
= Manuelle Installation =<br />
Der hier gezeigte Weg funktioniert mit allen Linux-Versionen. Auch wird am Beispiel vom QMC@home ein Projekt über die CLI hinzugefügt.<br />
Zum Anmelden des Boinc-Clienten beim QMC Projekt benötigt man folgende Dinge: <br />
# Die Adresse des QMC Projekts: https://qah.uni-muenster.de <br />
# Einen QMC Account mit einem Account-Key (Hexadezimalzahl mit 32 Stellen)<br />
<br />
Ins Home-Verzeichnis wechseln<br />
cd<br />
<br />
Download des Boinc Clienten (Installationsdatei - Achtung, die Versionsnummer kann sich ändern)<br />
wget https://boinc.berkeley.edu/dl/boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
<br />
Ausführbar machen der Installationsdatei<br />
chmod +x ./boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
<br />
Installation starten (Unterverzeichnis "BOINC" wird angelegt und der Client hinein kopiert)<br />
./boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
Ausgabe: use /home/username/BOINC/run_manager to start BOINC<br />
<br />
Hier müssen jetzt die Daten vom QMC Projekt und der persönliche Account-key angegeben werden.<br />
cd BOINC<br />
./boinc --attach_project https://qah.uni-muenster.de ecaePersönlicher-Account-Key6b0a<br />
nachdem er sich beim Projekt angemeldet hat (einiger Output auf dem Bildschirm) CTRL+C drücken, um den Clienten zu beenden.<br />
<br />
Der Client soll im Hintergrund laufen und seine Meldungen in die Datei "log.txt" schreiben<br />
./boinc 2>&1 >log.txt &<br />
<br />
Dann noch den Clienten anweisen, dass er ständig laufen soll und auch immer aufs Netzwerk zugreifen kann.<br />
./boinc_cmd --set_run_mode always<br />
./boinc_cmd --set_network_mode always<br />
<br />
Mit<br />
./boinc_cmd --get_project_status <br />
kann man sich den aktuellen Status des Clienten anzeigen lassen<br />
<br />
Zum Beenden des Clienten<br />
./boinc_cmd --quit <br />
<br />
<br />
[[Kategorie:BOINC|Installation (Linux)]]<br />
[[Kategorie:Installationsanleitung|BOINC (Linux)]]</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=Portal:BOINC/Installation/Linux&diff=6701Portal:BOINC/Installation/Linux2021-02-28T18:27:13Z<p>Koschi: Gentoo entfernt, manuelle Installation zum Ende hin verschoben</p>
<hr />
<div><big>'''BOINC Installation auf Linux'''</big><br />
<br />
Grundsätzlich muss unterschieden werden zwischen einer manuellen Installation und einer aus dem Repository der jeweiligen Distribution. Während die manuelle Installation wie unten beschrieben auf allen Distributionen durchgeführt werden kann, sind bei der Installation aus den Repos der Distribution die entsprechenden Paketverwaltungstools zu nutzen.<br />
Grundsätzlich ist die Installation über die Paketverwaltung vorzuziehen. Derart installiert wird BOINC fortan automatisch gestartet, mit Sicherheitsupdates versorgt und läuft auch unterhalb eines eigenen Benutzers. Anwendungen der Projekte können also nicht auf die Daten des Users zugreifen.<br />
<br />
= openSUSE =<br />
<br />
Hier kommt zypper Krams hin...<br />
<br />
<br />
= Debian =<br />
<br />
Unter Debian sind lediglich die Pakete ''boinc-client'' und ''boinc-manager'' zu installieren, welche sich bei Debian im main repository befinden.<br />
<br />
Das funktioniert auf der Konsole mit dem Kommando <br />
<br />
sudo apt install boinc-client boinc-manager<br />
<br />
Natürlich können diese Pakete auch über den jeweils bevorzugten grafischen Paketmanager installiert werden. Das Programm apt ist jedoch auf jedem Debian mit Sicherheit verfügbar. <br />
Während der Installation wird automatisch der Benutzer ''boinc'' angelegt, mit dessen (eingeschränkten) Rechten das Programm zukünftig läuft. Start- und Stopskripte werden in den entsprechenden Runleveln abgelegt.<br />
Händische Starts, Neustarts und Stops des BOINC Clients erledigen die folgenden Kommandos:<br />
<br />
service boinc-client start<br />
service boinc-client restart<br />
service boinc-client stop<br />
<br />
Die Konfigurationsdateien landen in '''/etc/boinc-client/''', die BOINC-Binärdateien in '''/usr/bin/''' sowie veränderliche Dateien in '''/var/lib/boinc-client/'''. Das letztgenannte Verzeichnis enthält damit sämtliche Daten der Projekte sowie die BOINC Logfiles.<br />
<br />
= Ubuntu, Mint und andere Derivate =<br />
<br />
Unter Ubuntu und dessen Derivate sind lediglich die Pakete ''boinc-client'' und ''boinc-manager'' zu installieren, welche sich bei Ubuntu im main repository befinden.<br />
<br />
Das funktioniert auf der Konsole mit dem Kommando <br />
<br />
sudo apt install boinc-client boinc-manager<br />
<br />
Natürlich können diese Pakete auch über den jeweils bevorzugten grafischen Paketmanager installiert werden.<br />
<br />
[[Datei:Softwarecenter.png|rahmenlos]] [[Datei:Boinc.png|rahmenlos]] [[Datei:Boincinstaller.png|rahmenlos]]<br />
<br />
Während der Installation wird automatisch der Benutzer ''boinc'' angelegt, mit dessen (eingeschränkten) Rechten das Programm zukünftig läuft. Start- und Stopskripte werden in den entsprechenden Runleveln abgelegt.<br />
Händische Starts, Neustarts und Stops des BOINC Clients erledigt das folgende Kommando:<br />
<br />
service boinc-client start<br />
service boinc-client restart<br />
service boinc-client stop<br />
<br />
Die Konfigurationsdateien landen in '''/etc/boinc-client/''', die BOINC-Binärdateien in '''/usr/bin/''' sowie veränderliche Dateien in '''/var/lib/boinc-client/'''. Das letztgenannte Verzeichnis enthält damit sämtliche Daten der Projekte sowie die BOINC Logfiles.<br />
<br />
= Fedora =<br />
== Installation für einen User ==<br />
<br />
Bitte wie oben für die manuelle Installation beschrieben vorgehen.<br />
<br />
Um BOINC automatisch mit der Anmeldung starten zu können, öffnet man im Menü '''System''' → '''Einstellungen''' → '''Persönlich''' → '''Sitzungen''' und fügt dort /home/username/BOINC/run_manager als neues Startprogramm hinzu.<br />
<br />
== Installation für alle User ==<br />
<br />
Unter Fedora muss zunächst mittels '''dnf''' BOINC installiert werden.<br />
<br />
sudo dnf install boinc-manager<br />
<br />
Als nächstes fügt man den eigenen User der Gruppe boinc hinzu. Der entsprechende Dialog ist im Menü unter '''System''' → '''Administration''' → '''Benutzer und Gruppen''' zu finden. Nun muss die Datei '''/var/lib/boinc/gui_rpc_auth.cfg''' für diese Gruppe lesbar gemacht werden.<br />
<br />
su root<br />
chmod g+r /var/lib/boinc/gui_rpc_auth_cfg<br />
<br />
Im eigenen Home-Verzeichnis legt man nun einen Link an. Sollte gui_rpc_auth.cfg nicht vorhanden sein muss der boinc-Service gestartet werden. Danach ist die Datei da.<br />
<br />
ln /var/lib/boinc/gui_rpc_auth.cfg<br />
<br />
Anschließend startet man den BOINC-Service neu.<br />
<br />
/sbin/service boinc-client restart<br />
<br />
Den BOINC-Manager startet man durch Aufruf von '''boincmgr''' im Home-Verzeichnis. Um BOINC als Service laufen zu lassen, ruft man '''system-config-service''' auf und aktiviert '''boinc_client'''. Alternativ kann man als root den folgenden Befehl ausführen.<br />
<br />
/sbin/chkconfig --level 35 boinc-client on<br />
<br />
Ob die Einstellungen richtig übernommen wurden kann man prüfen mit:<br />
<br />
/sbin/chkconfig --list boinc-client<br />
<br />
Falls es hier zu einer Fehlermeldung kommt:<br />
<br />
ln -s /var/lib/boinc/gui_rpc_auth.cfg<br />
<br />
<br />
== Manuelle Installation ==<br />
Der hier gezeigte Weg funktioniert mit allen Linux-Versionen. Auch wird am Beispiel vom QMC@home ein Projekt über die CLI hinzugefügt.<br />
Zum Anmelden des Boinc-Clienten beim QMC Projekt benötigt man folgende Dinge: <br />
# Die Adresse des QMC Projekts: https://qah.uni-muenster.de <br />
# Einen QMC Account mit einem Account-Key (Hexadezimalzahl mit 32 Stellen)<br />
<br />
Ins Home-Verzeichnis wechseln<br />
cd<br />
<br />
Download des Boinc Clienten (Installationsdatei - Achtung, die Versionsnummer kann sich ändern)<br />
wget https://boinc.berkeley.edu/dl/boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
<br />
Ausführbar machen der Installationsdatei<br />
chmod +x ./boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
<br />
Installation starten (Unterverzeichnis "BOINC" wird angelegt und der Client hinein kopiert)<br />
./boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
Ausgabe: use /home/username/BOINC/run_manager to start BOINC<br />
<br />
Hier müssen jetzt die Daten vom QMC Projekt und der persönliche Account-key angegeben werden.<br />
cd BOINC<br />
./boinc --attach_project https://qah.uni-muenster.de ecaePersönlicher-Account-Key6b0a<br />
nachdem er sich beim Projekt angemeldet hat (einiger Output auf dem Bildschirm) CTRL+C drücken, um den Clienten zu beenden.<br />
<br />
Der Client soll im Hintergrund laufen und seine Meldungen in die Datei "log.txt" schreiben<br />
./boinc 2>&1 >log.txt &<br />
<br />
Dann noch den Clienten anweisen, dass er ständig laufen soll und auch immer aufs Netzwerk zugreifen kann.<br />
./boinc_cmd --set_run_mode always<br />
./boinc_cmd --set_network_mode always<br />
<br />
Mit<br />
./boinc_cmd --get_project_status <br />
kann man sich den aktuellen Status des Clienten anzeigen lassen<br />
<br />
Zum Beenden des Clienten<br />
./boinc_cmd --quit <br />
<br />
<br />
[[Kategorie:BOINC|Installation (Linux)]]<br />
[[Kategorie:Installationsanleitung|BOINC (Linux)]]</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=SiDock@home&diff=6664SiDock@home2021-02-28T09:28:19Z<p>Koschi: </p>
<hr />
<div><!-- [[Distributed Computing Wiki:Formatvorlage Projekt]] --><br />
<br />
{| {{Steckbrief}}<br />
|-<br />
| {{Steckbrief Kategorie|Biologie & Medizin}}<br />
|-<br />
| {{Steckbrief Betreiber|Karelian Research Center of the Russian Academy of Sciences in Petrozavods}}<br />
|-<br />
| {{Steckbrief Nationalität|Slowenien / Russland|si}}<br />
|-<br />
| {{Steckbrief Start|Oktober 2020}}<br />
|-<br />
| {{Steckbrief Status|Stabil}}<br />
|-<br />
| {{Steckbrief Checkpoints|-}}<br />
|-<br />
| {{Steckbrief Webseite|URL=https://www.sidock.si/sidock/|Name=SiDock@home}}<br />
|-<br />
| {{Steckbrief Anmeldung|URL=https://www.sidock.si/sidock/}}<br />
|-<br />
| {{Steckbrief Clients Systeme}}<br />
|-<br />
| {{Steckbrief Clients Architektur|x86|-|-|-|-|-}}<br />
|-<br />
| {{Steckbrief Clients Architektur|x86-64|x|x|x|-|-}}<br />
|-<br />
| {{Steckbrief P3D-Statistik|URL=https://www.sidock.si/sidock/team_display.php?teamid=9}}<br />
|-<br />
| {{Steckbrief P3D-Statistik Live|Name=SiDock@home}}<br />
|}<br />
<br />
'''SiDock@home''' ist ein Projekt der ... und beschäftigt sich <br />
mit der Untersuchung des SARS-CoV-2-Virus.<br />
<br />
== Projektbeschreibung ==<br />
SiDock@home ist ein Projekt zur Medikamentensuche gegen Covid-19. Es setzt auf dem (nicht BOINC-) Projekt Covid.si auf, um die Berechnungen auch in die BOINC-Welt zu bringen.<br />
<br />
Es wird ein Docker-Verfahren verwendet, um Moleküle zu finden, welche bestimmte Stellen der Covid-Viren blockieren so daß sie sich nicht mehr weiterverbreiten können. Bisherige Ergebnisse können hier in 3D betrachtet werden.<br />
<br />
== Erfolge des Projekts ==<br />
<br />
<br />
<br />
{{Stub Erfolge}}<br />
<br />
== Planet 3DNow! ==<br />
<br />
Planet 3DNow! nimmt seit dem 23.10.2020 mit einem eigenen Team an SiDock@home teil. <br />
<br />
== Teilnahme ==<br />
<br />
Sollte der BOINC-Client noch nicht installiert sein, kann er von [https://boinc.berkeley.edu/download.php boinc.berkeley.org] <br />
heruntergeladen und installiert werden. Für Fragen zur Installation des BOINC-Clienten<br />
steht der Teil [[Portal:BOINC/Installation/Windows|Windows-Installation von BOINC]] mit Text und Bildern zur Verfügung.<br />
<br />
Um SiDock@home nun als Projekt anzumelden, muss der BOINC-Manager geöffnet werden. In der Menüleiste wird der Eintrag ''"Assistenten"'' und dann ''"Projekt anmelden"'' ausgewählt. Im sich dann öffnenden Fenster wird die ''"Anmelde-URL"'' aus dem obigen Steckbrief eingegeben.<br />
<br />
Wenn noch kein SiDock@home-Account vorhanden ist, wird dieser nun durch Auswahl des ersten Punktes ''"Nein, neues Teilnehmerkonto"'' erstellt. Dazu werden die Emailadresse und das gewünschte Passwort eingegeben und bestätigt. Unter [...] kann man sich nun mit diesen Daten anmelden und Änderungen an den Einstellungen vornehmen. Siehe hierzu auch den Artikel zur [[Portal:BOINC/Konfiguration|BOINC-Konfiguration]]. Hier kann man auch den Namen eintragen, unter dem man in den Statistiken geführt werden möchte. Dem Team von Planet 3DNow! kann man beitreten, indem man die [....] öffnet und auf ''"Join this team"'' klickt.<br />
<br />
Falls bereits ein ....-Account vorhanden ist, lässt dieses sich durch Auswahl des Punkts ''"Ja, existierendes Teilnehmerkonto"'' und anschließender Eingabe der Emailadresse und des Passworts auf dem Rechner einrichten.<br />
<br />
Anschließend verbindet sich der BOINC-Client mit dem Projekt und lädt die Anwendung für Rosetta sowie die ersten [[Work-Unit|Work-Units]] herunter.<br />
<br />
=== Besondere Einstellungen ===<br />
<br />
<br />
<br />
== Banner ==<br />
<br />
[[Bild:Banner_xxx.png]]<br />
<br />
<br />
<br />
== Weblinks ==<br />
<br />
* [https://www.sidock.si/sidock/ Internetpräsenz des Projekts] <br />
* [https://www.sidock.si/sidock/team_display.php?teamid=9 Planet 3DNow! Teamstatistik]<br />
<br />
<br />
== Quellen ==<br />
<br />
<br />
<br />
{{NaviBlock<br />
|Vorlage:Navigationsleiste BOINC<br />
|Navigationsleiste Nicht-BOINC<br />
}}<br />
<br />
[[Kategorie: Kategorie eintragen]]<br />
[[Kategorie:BOINC-Projekt]]<br />
[[Kategorie:Planet 3DNow! Team]]</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC_native_Einrichtung&diff=6653LHC native Einrichtung2021-02-28T00:16:28Z<p>Koschi: /* Konfiguration */</p>
<hr />
<div>= Einrichtung von nativen LHC Anwendungen =<br />
<br />
Diese Anleitung beschreibt die Installation von Squid und Cerns CVMFS auf Ubuntu Systemen. Analog funktioniert dies dann natürlich auch auf Debian, Mint und anderen verwandten Distributionen.<br />
Bei SuSE oder RedHat sind die entsprechenden Paketverwaltungstools (zypper/yast & yum/dnf) zu verwenden, auch kann der Squid Nutzer und dessen Gruppe eine andere sein, zB. "squid" anstelle von "proxy".<br />
<br />
Im Rahmen dieser Anleitung nutzen wir beispielhaft das in der Tabelle gelistete Subnetz und eine IP daraus für den Squid Rechner. Dieses ist das LAN-seitige Defaultsubnetz der meisten Fritzboxen. Andere Router nutzen aber zB. das Subnetz 192.168.0.0/24. <br />
{| class="wikitable"<br />
| LAN Subnetz || 192.168.178.0/24<br />
|-<br />
| IP des Squid Rechners || 192.168.178.4<br />
|}<br />
<br />
Wurde die IP des Rechners per DHCP vergeben, sollte diese im Router dem Rechner fest zugewiesen werden, bzw. eine feste IP händisch konfiguriert werden. Sollte das eigene Subnetz vom Beispiel abweichen, ist dieses in der squid.conf, der CVMFS default.local sowie dem BOINC Client anzupassen.<br />
<br />
= Squid =<br />
Squid ist ein cachender Proxyserver, er wird idR. genutzt um Netzinhalte zu cachen und damit den Zugriff auf diese zu beschleunigen. Damit einher geht eine Reduzierung der beanspruchten Netzwerkbandbreite.<br />
Es empfiehlt sich ausdrücklich Squid über die distributionseigene Paketverwaltung zu installieren, da diese den Cache automatisch und unterhalb eines eigenen Benutzers startet. Auch Konfigurationen für die automatische Rotation der Squid Log Dateien sind enthalten, diese wachsen also nicht ins unermessliche an.<br />
<br />
== Installation ==<br />
<br />
Cacheverzeichnis anlegen:<br />
mkdir -p /var/cache/squid<br />
<br />
Squid installieren:<br />
apt install squid<br />
<br />
Squid stoppen:<br />
service squid stop<br />
<br />
Cacheverzeichnis dem Squid Benutzer "proxy" übergeben:<br />
chown -R proxy:proxy /var/cache/squid<br />
<br />
Cache Basisstruktur im Cacheverzeichnis anlegen:<br />
squid -z <br />
<br />
Hier '''zwei mal Enter''' drücken, dieser Schritt geht schnell, gibt aber keine newline zurück, scheint daher zu hängen.<br />
<br />
== Konfiguration ==<br />
<br />
Die eigentliche Konfiguration der Squidcaches erfolg anhand der im [https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=5473 LHC Forum abgelegten Konfiguration].<br />
Es lohnt sich diesen Thread nochmals zu überfliegen, da Änderungen an der Beispielkonfiguration nicht mehr im Startbeitrag eingepflegt werden können. Stand 26.02.2020 sieht die squid.conf folgendermaßen aus:<br />
<br />
<nowiki><br />
# Squid configuration for BOINC<br />
# Based on squid version 3.5<br />
# See also: http://www.squid-cache.org/<br />
<br />
# Every line starting with "#" represents a comment.<br />
<br />
# Define your local hosts/networks here.<br />
# If neither "crunchers" nor "localnet" is set none of your devices will be permitted to use the proxy.<br />
# The examples show the principle.<br />
# For advanced options read the Squid documentation.<br />
#<br />
# Examples:<br />
#<br />
# Either enter a list of IPs representing your computers that are permitted to use the proxy.<br />
# Each IP on a separate line.<br />
# acl crunchers src 198.51.100.20<br />
# acl crunchers src 198.51.100.31<br />
# acl crunchers src 198.51.100.37<br />
# acl crunchers src 198.51.100.42<br />
#<br />
# Or enter complete network ranges.<br />
# Be aware that this may permit devices like printers or TVs that you may not want to use the proxy.<br />
# acl localnet src 192.0.2.0/24<br />
# acl localnet src 198.51.100.0/24<br />
acl localnet src 192.168.178.0/24<br />
<br />
<br />
acl SSL_ports port 443<br />
acl Safe_ports port 80<br />
acl Safe_ports port 443<br />
acl Safe_ports port 1025-65535 # unregistered ports<br />
<br />
acl CONNECT method CONNECT<br />
<br />
follow_x_forwarded_for allow localhost<br />
follow_x_forwarded_for deny all<br />
<br />
<br />
#<br />
# Start of extra section 1<br />
# Requests that need special handling<br />
<br />
# worldcommunitygrid doesn't like it if data is taken from the local cache<br />
acl wcg_nocache dstdomain .worldcommunitygrid.org<br />
cache deny wcg_nocache<br />
<br />
<br />
# if CVMFS uses geoapi, ensure it's checked directly<br />
acl cvmfs_geoapi urlpath_regex -i ^/+cvmfs/+[0-9a-z._~-]+/+api/+[0-9a-z._~-]+/+geo/+[0-9a-z._~-]+/+[0-9a-z.,_~-]+<br />
cache deny cvmfs_geoapi<br />
<br />
<br />
# avoids polluting the disk cache with typical onetimers, e.g. ATLAS job data<br />
acl boinc_nocache urlpath_regex -i /download[0-9a-z._~-]*/+[0-9a-z._~-]+/+.+<br />
cache deny boinc_nocache<br />
<br />
<br />
# seriously: do NOT cache that!<br />
# Based on a frontier cache suggestion<br />
acl PragmaNoCache req_header Pragma no-cache<br />
cache deny PragmaNoCache<br />
<br />
# End of extra section 1<br />
#<br />
<br />
acl Purge method PURGE<br />
<br />
http_access deny !Safe_ports<br />
http_access deny CONNECT !SSL_ports<br />
http_access allow localhost manager<br />
http_access deny manager<br />
http_access deny to_localhost<br />
<br />
#<br />
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS<br />
# Depending on the definition of "crunchers" or "localnet" above at least 1 of the following lines must be uncommented.<br />
# Examples:<br />
# http_access allow crunchers<br />
# http_access allow localnet<br />
<br />
http_access allow localhost<br />
# Last "http_access" line.<br />
# Order matters, hence all "http_access" lines following this one will be ignored.<br />
http_access deny all<br />
<br />
# http_port<br />
# don't bind it to an IP that is accessible from outside unless you know what you do.<br />
# Examples:<br />
# http_port localhost:3128<br />
#<br />
# This assumes 198.51.100.99 is the external IP of the Squid box<br />
# http_port 198.51.100.99:3128<br />
#<br />
# default setting that binds Squid to all IPs of the Squid box<br />
http_port 3128<br />
<br />
<br />
# A MUST on Windows.<br />
# If unsure try the the LAN IP of your internet router.<br />
# Avoid using external DNS here.<br />
# On Linux this option shouldn't be necessary<br />
# dns_nameservers 198.51.100.1<br />
<br />
max_filedescriptors 4096<br />
<br />
# Required OFF for intercepted traffic from LHCb VMs<br />
client_dst_passthru off<br />
<br />
# You don't believe this is enough?<br />
# For sure, it is!<br />
cache_mem 256 MB<br />
maximum_object_size_in_memory 24 KB<br />
memory_replacement_policy heap GDSF<br />
<br />
<br />
# Keep it large enough to store vdi files in the cache.<br />
# See extra section 1 how to avoid onetimers eating up your disk storage.<br />
# min-size=xxx keeps very small files away from your disk<br />
# 20000 limits the disk cache to 20 GB<br />
cache_replacement_policy heap LFUDA<br />
maximum_object_size 6144 MB<br />
cache_dir aufs /var/cache/squid 20000 16 64 min-size=7937<br />
<br />
# default=10<br />
logfile_rotate 10<br />
<br />
# logformat has to be changed according to your needs and the capabilities of your logfile analyser<br />
logformat my_awstats %>A %lp %ui %un [%tl] "%rm %>ru HTTP/%rv" %>Hs %st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh<br />
access_log stdio:/var/log/squid/access.log logformat=my_awstats<br />
#access_log none<br />
strip_query_terms off<br />
<br />
coredump_dir none<br />
ftp_user anonymous@<br />
<br />
# max_stale 1 week #default<br />
# extended to be prepared for a project reset<br />
max_stale 37 days<br />
<br />
# 1 line is required to avoid the ancient default settings<br />
# be conservative<br />
# don't violate the HTTP standards<br />
refresh_pattern . 0 0% 0<br />
<br />
store_avg_object_size 1800 KB<br />
<br />
shutdown_lifetime 0 seconds<br />
<br />
# booster 1!<br />
collapsed_forwarding on<br />
<br />
# booster 2!<br />
client_persistent_connections on<br />
server_persistent_connections on<br />
<br />
log_icp_queries off<br />
<br />
dns_defnames on<br />
dns_v4_first on<br />
<br />
forwarded_for transparent<br />
<br />
##### End of squid.conf</nowiki><br />
<br />
Anzupassen ist hier der Parameter '''acl localnet src 192.168.178.0/24'''. <br />
Alle Rechner des angegebenen Netzwerkes dürfen daraufhin auf den Cache zugreifen.<br />
Will man nur einzelne Rechner erlauben, kann dies über Einträge wie '''acl crunchers src 192.168.178.20''' erfolgen, dann wird der Squid seine Services nur dem Rechner mit der IP 192.168.178.20 ermöglichen.<br />
<br />
Den Squid nun mit der neuen Konfiguration starten:<br />
service squid start<br />
Ob der Squid genutzt wird, lässt sich einfach über sein Zugriffslog verfolgen:<br />
<br />
tail -f /var/log/squid/access.log<br />
<br />
Startet nach abgeschlossener Konfiguration eine neue native WU, kommen hier innerhalb der ersten Minuten jeweils hunderte bis tausende Einträge hinzu.<br />
<br />
= CVMFS = <br />
<br />
Das CernVM File System ist ein http basiertes read-only Netzwerkdateisystem. Es wird genutzt um Software innerhalb der High Performance Computing (HPC) Umgebung des CERN zu verteilen. Daten im CVMFS werden erst bei Bedarf geladen und können lokal gecached werden.<br />
<br />
== Installation ==<br />
<br />
Cern CVMFS Paketinformationen ziehen, installieren und den Download wieder entfernen:<br />
wget https://ecsft.cern.ch/dist/cvmfs/cvmfs-release/cvmfs-release-latest_all.deb<br />
sudo dpkg -i cvmfs-release-latest_all.deb<br />
rm -f cvmfs-release-latest_all.deb<br />
<br />
CVMFS installieren:<br />
sudo apt-get update<br />
sudo apt-get install cvmfs cvmfs-config-default<br />
<br />
CVMFS Basissetup:<br />
sudo cvmfs_config setup<br />
sudo wget https://lhcathome.cern.ch/lhcathome/download/default.local -O /etc/cvmfs/default.local<br />
sudo cvmfs_config reload<br />
<br />
Die folgenden Schritte sind notwendig um die nativ laufenden WUs pausieren und wieder aufwecken zu können. Hierzu wird eine control group (cgroup) erstellt, die dieses ermöglicht:<br />
sudo sed -i '$ a\kernel.unprivileged_userns_clone = 1' /etc/sysctl.conf<br />
sudo sysctl -p<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/create-boinc-cgroup -O /sbin/create-boinc-cgroup<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/boinc-client.service -O /etc/systemd/system/boinc-client.service<br />
sudo systemctl daemon-reload<br />
sudo systemctl restart boinc-client <br />
<br />
LHC native läuft hiermit bereits, jedoch muss in der Konfiguration<br />
== Konfiguration == <br />
Über die CVMFS Konfigurationsdatei default.local kann der Cache nutzbar gemacht werden. <br />
CVMFS_HTTP_PROXY ist auskommentiert und muss noch angepasst werden:<br />
<br />
# CVMFS_HTTP_PROXY="auto;DIRECT"<br />
=><br />
CVMFS_HTTP_PROXY="http://192.168.178.4:3128;DIRECT"<br />
<br />
Nach dem Abspeichern einmal die Konfiguration neu einlesen:<br />
cvmfs_config reload<br />
Das Kommando '''cvmfs_config stat''' zeigt jetzt ''s1cern-cvmfs.openhtc.io'' anstatt ''cvmfs-stratum-one.cern.ch'' als nächstes Cache level, zB. für ATLAS sieht das folgendermaßen aus:<br />
<small><br />
# /usr/bin/cvmfs_config stat atlas.cern.ch<br />
VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE<br />
2.8.0.0 3963658 1 24568 79806 2 1 3942964 4194305 0 130560 0 0 n/a 530 186 http://s1cern-cvmfs.openhtc.io/cvmfs/atlas.cern.ch http://192.168.178.4:3128 1<br />
</small><br />
<br />
= BOINC Client = <br />
Die Proxyeinstellungen können sowohl über die GUI als auch direkt in der cc_config.xml gesetzt werden. <br />
Eine der beiden Methoden ist ausreichend.<br />
<br />
== BOINC Manager ==<br />
<br />
Im BOINC Manager via ''Optionen'' -> ''Sonstige Einstellungen...'' den Tab ''HTTP Proxyserver'' auswählen.<br />
<br />
Haken setzen bei "Über HTTP Proxyserver verbinden", dann Adresse und Port befüllen:<br />
Adresse: 192.168.178.4<br />
Port: 3128<br />
<br />
== cc_config.xml ==<br />
<cc_config><br />
<options><br />
<proxy_info><br />
<http_server_name>192.168.178.4</http_server_name><br />
<http_server_port>3128</http_server_port><br />
</proxy_info><br />
</options><br />
</cc_config><br />
<br />
Anschließend die cc_config über boinccmd neu einlesen:<br />
boinccmd --read_cc_config</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC@home&diff=6652LHC@home2021-02-28T00:04:47Z<p>Koschi: </p>
<hr />
<div><!-- [[Distributed Computing Wiki:Formatvorlage Projekt]] --><br />
{| {{Steckbrief}}<br />
|-<br />
| {{Steckbrief Kategorie|Physik}}<br />
|-<br />
| {{Steckbrief Betreiber|CERN}}<br />
|-<br />
| {{Steckbrief Nationalität|Schweiz|ch}}<br />
|-<br />
| {{Steckbrief Start|September 2004}}<br />
|-<br />
| {{Steckbrief Status|Stabil}}<br />
|-<br />
| {{Steckbrief Checkpoints|Ja}}<br />
|-<br />
| {{Steckbrief Webseite|URL=http://lhcathome.cern.ch/lhcathome/|Name=lhcathome.cern.ch/lhcathome/}}<br />
|-<br />
| {{Steckbrief Anmeldung|URL=http://lhcathome.cern.ch/lhcathome/}}<br />
|-<br />
| {{Steckbrief Clients Systeme}}<br />
|-<br />
| {{Steckbrief Clients Architektur|x86|x|-|-|-|-}}<br />
|-<br />
| {{Steckbrief Clients Architektur|x86-64|x|x|x|x|-}}<br />
|-<br />
| {{Steckbrief Clients Architektur|aarch64|-|x|-|-|-}}<br />
|-<br />
| {{Steckbrief P3D-Statistik|URL=http://lhcathome.cern.ch/lhcathome/team_display.php?teamid=1051}}<br />
|-<br />
| {{Steckbrief P3D-Statistik Live|Name=LHC@home}}<br />
|}<br />
<br />
'''LHC@home''' führt Simulationen durch, um den Teilchenbeschleuniger [http://de.wikipedia.org/wiki/Large_Hadron_Collider Large Hadron Collider] am CERN im schweizerischen Genf zu optimieren.<br />
<br />
== Projektbeschreibung ==<br />
<br />
TODO<br />
<br />
== Erfolge des Projekts ==<br />
<br />
TODO: Hier sollte auf bisher erzielte Erfolge und veröffentlichte Arbeiten des Projekts eingegangen werden.<br />
<br />
== Planet 3DNow! ==<br />
<br />
Planet 3DNow! nimmt wahrscheinlich seit dem 21.08.2005 mit einem eigenen Team an LHC@home teil.<br />
<br />
TODO: Hier sollte auf unser Team bei diesem Projekt eingegangen werden.<br />
<br />
== Teilnahme ==<br />
<br />
Stand Februar 2021 gibt es bei LHC 3 Arten von Work Units (WUs) in 5 Projekten.<br />
<br />
=== Sixtrack ===<br />
Sixtrack läuft auf allen unterstützten Plattformen. Die Anwendung wird direkt von BOINC gestartet und verarbeitet ein zuvor geladenes Arbeitspaket. Es wird für die Bearbeitung kein Internetzugriff benötigt, die WUs lassen sich pausieren.<br />
Sixtrack hat die breiteste Hardware- (x86, x86_64 & AARCH64) und Betriebssystemunterstützung (Linux, Windows, FreeBSD & Android).<br />
<br />
=== vBox ===<br />
Der einfachste Weg die Anwendungen ATLAS, Theory und CMS zu rechnen, ist über VirtualBox. BOINC erkennt ein installiertes VirtualBox und zieht pro Projekt ein eigenes OS Image, startet dieses dann mit der WU in einem eigenen BOINC Slot.<br />
Innerhalb dieses virtualisierten OS sind die von den Projekten verwendeten HPC (CVMFS, Container Manager wie Singularity, etc...) und Wissenschaftsanwendungen (ATLAS, Theory, CMS) installiert. Natürlich entsteht durch die Virtualisierung einiges an zusätzlichem CPU und RAM Verbrauch. WUs dieser Unterprojekte lassen sich pausieren, jedoch benötigen sie Netzwerkzugriff um ihre Berechnungen durchzuführen.<br />
Diese Projekte laufen nur auf x86_64.<br />
<br />
=== native ===<br />
Die Anwendungen ATLAS und Theory lassen sich auch direkt auf dem eigenen Linux ausführen, unter Windows ist dieses nicht möglich. Hierzu muss das CernVM File System (CVMFS), sowie der Proxy Squid installiert werden. Deren Installation und Konfiguration ist im Artikel [[LHC_native_Einrichtung]] beschrieben.<br />
Die native Ausführung dieser Anwendungen spart CPU und Arbeitsspeicher, da nur ein Betriebssystem läuft. Es muss keine zusätzliche Virtualisierungssoftware installiert werden. Die WUs lassen sich pausieren, brauchen permanenten jedoch Netzwerkzugriff. <br />
<br />
== Banner ==<br />
<br />
[[Bild:Banner LHC1.png]]<br />
<br />
[[Bild:Banner LHC2.png]]<br />
<br />
== Weblinks ==<br />
<br />
* [http://lhcathome.cern.ch/lhcathome/ lhcathome.cern.ch/lhcathome/] - Internetpräsenz des Projekts<br />
* [http://lhcathome.cern.ch/lhcathome/team_display.php?teamid=1051 Planet 3DNow! Teamstatistik]<br />
<br />
<br />
{{NaviBlock<br />
|Vorlage:Navigationsleiste BOINC<br />
|Navigationsleiste Nicht-BOINC<br />
}}<br />
<br />
[[Kategorie:Physik]]<br />
[[Kategorie:BOINC-Projekt]]<br />
[[Kategorie:Planet 3DNow! Team]]</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC@home&diff=6651LHC@home2021-02-28T00:02:59Z<p>Koschi: </p>
<hr />
<div><!-- [[Distributed Computing Wiki:Formatvorlage Projekt]] --><br />
{| {{Steckbrief}}<br />
|-<br />
| {{Steckbrief Kategorie|Physik}}<br />
|-<br />
| {{Steckbrief Betreiber|CERN}}<br />
|-<br />
| {{Steckbrief Nationalität|Schweiz|ch}}<br />
|-<br />
| {{Steckbrief Start|September 2004}}<br />
|-<br />
| {{Steckbrief Status|Stabil}}<br />
|-<br />
| {{Steckbrief Checkpoints|Ja}}<br />
|-<br />
| {{Steckbrief Webseite|URL=http://lhcathome.cern.ch/lhcathome/|Name=lhcathome.cern.ch/lhcathome/}}<br />
|-<br />
| {{Steckbrief Anmeldung|URL=http://lhcathome.cern.ch/lhcathome/}}<br />
|-<br />
| {{Steckbrief Clients Systeme}}<br />
|-<br />
| {{Steckbrief Clients Architektur|x86|x|-|-|-|-}}<br />
|-<br />
| {{Steckbrief Clients Architektur|x86-64|x|x|x|x|-}}<br />
|-<br />
| {{Steckbrief Clients Architektur|aarch64|-|x|-|-|-}}<br />
|-<br />
| {{Steckbrief P3D-Statistik|URL=http://lhcathome.cern.ch/lhcathome/team_display.php?teamid=1051}}<br />
|-<br />
| {{Steckbrief P3D-Statistik Live|Name=LHC@home}}<br />
|}<br />
<br />
'''LHC@home''' führt Simulationen durch, um den Teilchenbeschleuniger [http://de.wikipedia.org/wiki/Large_Hadron_Collider Large Hadron Collider] am CERN im schweizerischen Genf zu optimieren.<br />
<br />
== Projektbeschreibung ==<br />
<br />
TODO<br />
<br />
== Erfolge des Projekts ==<br />
<br />
TODO: Hier sollte auf bisher erzielte Erfolge und veröffentlichte Arbeiten des Projekts eingegangen werden.<br />
<br />
== Planet 3DNow! ==<br />
<br />
Planet 3DNow! nimmt wahrscheinlich seit dem 21.08.2005 mit einem eigenen Team an LHC@home teil.<br />
<br />
TODO: Hier sollte auf unser Team bei diesem Projekt eingegangen werden.<br />
<br />
== Teilnahme ==<br />
<br />
Stand Februar 2021 gibt es bei LHC 3 Arten von Work Units (WUs) in 5 Projekten.<br />
<br />
=== Sixtrack ===<br />
Sixtrack läuft auf allen unterstützten Plattformen. Die Anwendung wird direkt von BOINC gestartet und verarbeitet ein zuvor geladenes Arbeitspaket. Es wird für die Bearbeitung kein Internetzugriff benötigt, die WUs lassen sich pausieren.<br />
Sixtrack hat die breiteste Hardware- (x86, x86_64 & AARCH64) und Betriebssystemunterstützung (Linux, Windows, FreeBSD & Android).<br />
<br />
=== vBox ===<br />
Der einfachste Weg die Anwendungen ATLAS, Theory und CMS zu rechnen, ist über VirtualBox. BOINC erkennt ein installiertes VirtualBox und zieht pro Projekt ein eigenes OS Image, startet dieses dann mit der WU in einem eigenen BOINC Slot.<br />
Innerhalb dieses virtualisierten OS sind die von den Projekten verwendeten HPC (CVMFS, Container Manager wie Singularity, etc...) und Wissenschaftsanwendungen (ATLAS, Theory, CMS) installiert. Natürlich entsteht durch die Virtualisierung einiges an zusätzlichem CPU und RAM Verbrauch. WUs dieser Unterprojekte lassen sich pausieren, jedoch benötigen sie Netzwerkzugriff um ihre Berechnungen durchzuführen.<br />
Diese Projekte laufen nur auf x86_64.<br />
<br />
=== native ===<br />
Die Anwendungen ATLAS und Theory lassen sich auch direkt auf dem eigenen Linux ausführen. Hierzu muss das CernVM File System (CVMFS), sowie der Proxy Squid installiert werden. Deren Installation und Konfiguration ist im Artikel [[LHC_native_Einrichtung]] beschrieben.<br />
Die native Ausführung dieser Anwendungen spart CPU und Arbeitsspeicher, da nur ein Betriebssystem läuft. Es muss keine zusätzliche Virtualisierungssoftware installiert werden. Die WUs lassen sich pausieren, brauchen permanenten jedoch Netzwerkzugriff. <br />
<br />
== Banner ==<br />
<br />
[[Bild:Banner LHC1.png]]<br />
<br />
[[Bild:Banner LHC2.png]]<br />
<br />
== Weblinks ==<br />
<br />
* [http://lhcathome.cern.ch/lhcathome/ lhcathome.cern.ch/lhcathome/] - Internetpräsenz des Projekts<br />
* [http://lhcathome.cern.ch/lhcathome/team_display.php?teamid=1051 Planet 3DNow! Teamstatistik]<br />
<br />
<br />
{{NaviBlock<br />
|Vorlage:Navigationsleiste BOINC<br />
|Navigationsleiste Nicht-BOINC<br />
}}<br />
<br />
[[Kategorie:Physik]]<br />
[[Kategorie:BOINC-Projekt]]<br />
[[Kategorie:Planet 3DNow! Team]]</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=SiDock@home&diff=6650SiDock@home2021-02-27T23:12:44Z<p>Koschi: Anwendungen angepasst</p>
<hr />
<div><!-- [[Distributed Computing Wiki:Formatvorlage Projekt]] --><br />
<br />
{| {{Steckbrief}}<br />
|-<br />
| {{Steckbrief Kategorie|Biologie & Medizin}}<br />
|-<br />
| {{Steckbrief Betreiber|Karelian Research Center of the Russian Academy of Sciences in Petrozavods}}<br />
|-<br />
| {{Steckbrief Nationalität|Slowenien / Russland|si}}<br />
|-<br />
| {{Steckbrief Start|Oktober 2020}}<br />
|-<br />
| {{Steckbrief Status|Stabil}}<br />
|-<br />
| {{Steckbrief Checkpoints|-}}<br />
|-<br />
| {{Steckbrief Webseite|URL=https://www.sidock.si/sidock/|Name=SiDock@home}}<br />
|-<br />
| {{Steckbrief Anmeldung|URL=https://www.sidock.si/sidock/}}<br />
|-<br />
| {{Steckbrief Clients Systeme}}<br />
|-<br />
| {{Steckbrief Clients Architektur|x86|-|-|-|-|-}}<br />
|-<br />
| {{Steckbrief Clients Architektur|x86-64|x|x|x|-|-}}<br />
|-<br />
| {{Steckbrief Clients Architektur|PowerPC|-|-|-|-|-}}<br />
|-<br />
| {{Steckbrief P3D-Statistik|URL=https://www.sidock.si/sidock/team_display.php?teamid=9}}<br />
|-<br />
| {{Steckbrief P3D-Statistik Live|Name=SiDock@home}}<br />
|}<br />
<br />
'''SiDock@home''' ist ein Projekt der ... und beschäftigt sich <br />
mit der Untersuchung des SARS-CoV-2-Virus.<br />
<br />
== Projektbeschreibung ==<br />
SiDock@home ist ein Projekt zur Medikamentensuche gegen Covid-19. Es setzt auf dem (nicht BOINC-) Projekt Covid.si auf, um die Berechnungen auch in die BOINC-Welt zu bringen.<br />
<br />
Es wird ein Docker-Verfahren verwendet, um Moleküle zu finden, welche bestimmte Stellen der Covid-Viren blockieren so daß sie sich nicht mehr weiterverbreiten können. Bisherige Ergebnisse können hier in 3D betrachtet werden.<br />
<br />
== Erfolge des Projekts ==<br />
<br />
<br />
<br />
{{Stub Erfolge}}<br />
<br />
== Planet 3DNow! ==<br />
<br />
Planet 3DNow! nimmt seit dem 23.10.2020 mit einem eigenen Team an SiDock@home teil. <br />
<br />
== Teilnahme ==<br />
<br />
Sollte der BOINC-Client noch nicht installiert sein, kann er von [https://boinc.berkeley.edu/download.php boinc.berkeley.org] <br />
heruntergeladen und installiert werden. Für Fragen zur Installation des BOINC-Clienten<br />
steht der Teil [[Portal:BOINC/Installation/Windows|Windows-Installation von BOINC]] mit Text und Bildern zur Verfügung.<br />
<br />
Um SiDock@home nun als Projekt anzumelden, muss der BOINC-Manager geöffnet werden. In der Menüleiste wird der Eintrag ''"Assistenten"'' und dann ''"Projekt anmelden"'' ausgewählt. Im sich dann öffnenden Fenster wird die ''"Anmelde-URL"'' aus dem obigen Steckbrief eingegeben.<br />
<br />
Wenn noch kein SiDock@home-Account vorhanden ist, wird dieser nun durch Auswahl des ersten Punktes ''"Nein, neues Teilnehmerkonto"'' erstellt. Dazu werden die Emailadresse und das gewünschte Passwort eingegeben und bestätigt. Unter [...] kann man sich nun mit diesen Daten anmelden und Änderungen an den Einstellungen vornehmen. Siehe hierzu auch den Artikel zur [[Portal:BOINC/Konfiguration|BOINC-Konfiguration]]. Hier kann man auch den Namen eintragen, unter dem man in den Statistiken geführt werden möchte. Dem Team von Planet 3DNow! kann man beitreten, indem man die [....] öffnet und auf ''"Join this team"'' klickt.<br />
<br />
Falls bereits ein ....-Account vorhanden ist, lässt dieses sich durch Auswahl des Punkts ''"Ja, existierendes Teilnehmerkonto"'' und anschließender Eingabe der Emailadresse und des Passworts auf dem Rechner einrichten.<br />
<br />
Anschließend verbindet sich der BOINC-Client mit dem Projekt und lädt die Anwendung für Rosetta sowie die ersten [[Work-Unit|Work-Units]] herunter.<br />
<br />
=== Besondere Einstellungen ===<br />
<br />
<br />
<br />
== Banner ==<br />
<br />
[[Bild:Banner_xxx.png]]<br />
<br />
<br />
<br />
== Weblinks ==<br />
<br />
* [https://www.sidock.si/sidock/ Internetpräsenz des Projekts] <br />
* [https://www.sidock.si/sidock/team_display.php?teamid=9 Planet 3DNow! Teamstatistik]<br />
<br />
<br />
== Quellen ==<br />
<br />
<br />
<br />
{{NaviBlock<br />
|Vorlage:Navigationsleiste BOINC<br />
|Navigationsleiste Nicht-BOINC<br />
}}<br />
<br />
[[Kategorie: Kategorie eintragen]]<br />
[[Kategorie:BOINC-Projekt]]<br />
[[Kategorie:Planet 3DNow! Team]]</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=SiDock@home&diff=6649SiDock@home2021-02-27T23:09:44Z<p>Koschi: BOINC download URL</p>
<hr />
<div><!-- [[Distributed Computing Wiki:Formatvorlage Projekt]] --><br />
<br />
{| {{Steckbrief}}<br />
|-<br />
| {{Steckbrief Kategorie|Biologie & Medizin}}<br />
|-<br />
| {{Steckbrief Betreiber|Karelian Research Center of the Russian Academy of Sciences in Petrozavods}}<br />
|-<br />
| {{Steckbrief Nationalität|Slowenien / Russland|si}}<br />
|-<br />
| {{Steckbrief Start|Oktober 2020}}<br />
|-<br />
| {{Steckbrief Status|Stabil}}<br />
|-<br />
| {{Steckbrief Checkpoints|-}}<br />
|-<br />
| {{Steckbrief Webseite|URL=https://www.sidock.si/sidock/|Name=SiDock@home}}<br />
|-<br />
| {{Steckbrief Anmeldung|URL=https://www.sidock.si/sidock/}}<br />
|-<br />
| {{Steckbrief Clients Systeme}}<br />
|-<br />
| {{Steckbrief Clients Architektur|x86|x|x|x|-|-}}<br />
|-<br />
| {{Steckbrief Clients Architektur|x86-64|x|x|x|-|-}}<br />
|-<br />
| {{Steckbrief Clients Architektur|PowerPC|-|-|x|-|-}}<br />
|-<br />
| {{Steckbrief P3D-Statistik|URL=https://www.sidock.si/sidock/team_display.php?teamid=9}}<br />
|-<br />
| {{Steckbrief P3D-Statistik Live|Name=SiDock@home}}<br />
|}<br />
<br />
'''SiDock@home''' ist ein Projekt der ... und beschäftigt sich <br />
mit der Untersuchung des SARS-CoV-2-Virus.<br />
<br />
== Projektbeschreibung ==<br />
SiDock@home ist ein Projekt zur Medikamentensuche gegen Covid-19. Es setzt auf dem (nicht BOINC-) Projekt Covid.si auf, um die Berechnungen auch in die BOINC-Welt zu bringen.<br />
<br />
Es wird ein Docker-Verfahren verwendet, um Moleküle zu finden, welche bestimmte Stellen der Covid-Viren blockieren so daß sie sich nicht mehr weiterverbreiten können. Bisherige Ergebnisse können hier in 3D betrachtet werden.<br />
<br />
== Erfolge des Projekts ==<br />
<br />
<br />
<br />
{{Stub Erfolge}}<br />
<br />
== Planet 3DNow! ==<br />
<br />
Planet 3DNow! nimmt seit dem 23.10.2020 mit einem eigenen Team an SiDock@home teil. <br />
<br />
== Teilnahme ==<br />
<br />
Sollte der BOINC-Client noch nicht installiert sein, kann er von [https://boinc.berkeley.edu/download.php boinc.berkeley.org] <br />
heruntergeladen und installiert werden. Für Fragen zur Installation des BOINC-Clienten<br />
steht der Teil [[Portal:BOINC/Installation/Windows|Windows-Installation von BOINC]] mit Text und Bildern zur Verfügung.<br />
<br />
Um SiDock@home nun als Projekt anzumelden, muss der BOINC-Manager geöffnet werden. In der Menüleiste wird der Eintrag ''"Assistenten"'' und dann ''"Projekt anmelden"'' ausgewählt. Im sich dann öffnenden Fenster wird die ''"Anmelde-URL"'' aus dem obigen Steckbrief eingegeben.<br />
<br />
Wenn noch kein SiDock@home-Account vorhanden ist, wird dieser nun durch Auswahl des ersten Punktes ''"Nein, neues Teilnehmerkonto"'' erstellt. Dazu werden die Emailadresse und das gewünschte Passwort eingegeben und bestätigt. Unter [...] kann man sich nun mit diesen Daten anmelden und Änderungen an den Einstellungen vornehmen. Siehe hierzu auch den Artikel zur [[Portal:BOINC/Konfiguration|BOINC-Konfiguration]]. Hier kann man auch den Namen eintragen, unter dem man in den Statistiken geführt werden möchte. Dem Team von Planet 3DNow! kann man beitreten, indem man die [....] öffnet und auf ''"Join this team"'' klickt.<br />
<br />
Falls bereits ein ....-Account vorhanden ist, lässt dieses sich durch Auswahl des Punkts ''"Ja, existierendes Teilnehmerkonto"'' und anschließender Eingabe der Emailadresse und des Passworts auf dem Rechner einrichten.<br />
<br />
Anschließend verbindet sich der BOINC-Client mit dem Projekt und lädt die Anwendung für Rosetta sowie die ersten [[Work-Unit|Work-Units]] herunter.<br />
<br />
=== Besondere Einstellungen ===<br />
<br />
<br />
<br />
== Banner ==<br />
<br />
[[Bild:Banner_xxx.png]]<br />
<br />
<br />
<br />
== Weblinks ==<br />
<br />
* [https://www.sidock.si/sidock/ Internetpräsenz des Projekts] <br />
* [https://www.sidock.si/sidock/team_display.php?teamid=9 Planet 3DNow! Teamstatistik]<br />
<br />
<br />
== Quellen ==<br />
<br />
<br />
<br />
{{NaviBlock<br />
|Vorlage:Navigationsleiste BOINC<br />
|Navigationsleiste Nicht-BOINC<br />
}}<br />
<br />
[[Kategorie: Kategorie eintragen]]<br />
[[Kategorie:BOINC-Projekt]]<br />
[[Kategorie:Planet 3DNow! Team]]</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC_native_Einrichtung&diff=6648LHC native Einrichtung2021-02-27T23:05:44Z<p>Koschi: </p>
<hr />
<div>= Einrichtung von nativen LHC Anwendungen =<br />
<br />
Diese Anleitung beschreibt die Installation von Squid und Cerns CVMFS auf Ubuntu Systemen. Analog funktioniert dies dann natürlich auch auf Debian, Mint und anderen verwandten Distributionen.<br />
Bei SuSE oder RedHat sind die entsprechenden Paketverwaltungstools (zypper/yast & yum/dnf) zu verwenden, auch kann der Squid Nutzer und dessen Gruppe eine andere sein, zB. "squid" anstelle von "proxy".<br />
<br />
Im Rahmen dieser Anleitung nutzen wir beispielhaft das in der Tabelle gelistete Subnetz und eine IP daraus für den Squid Rechner. Dieses ist das LAN-seitige Defaultsubnetz der meisten Fritzboxen. Andere Router nutzen aber zB. das Subnetz 192.168.0.0/24. <br />
{| class="wikitable"<br />
| LAN Subnetz || 192.168.178.0/24<br />
|-<br />
| IP des Squid Rechners || 192.168.178.4<br />
|}<br />
<br />
Wurde die IP des Rechners per DHCP vergeben, sollte diese im Router dem Rechner fest zugewiesen werden, bzw. eine feste IP händisch konfiguriert werden. Sollte das eigene Subnetz vom Beispiel abweichen, ist dieses in der squid.conf, der CVMFS default.local sowie dem BOINC Client anzupassen.<br />
<br />
= Squid =<br />
Squid ist ein cachender Proxyserver, er wird idR. genutzt um Netzinhalte zu cachen und damit den Zugriff auf diese zu beschleunigen. Damit einher geht eine Reduzierung der beanspruchten Netzwerkbandbreite.<br />
Es empfiehlt sich ausdrücklich Squid über die distributionseigene Paketverwaltung zu installieren, da diese den Cache automatisch und unterhalb eines eigenen Benutzers startet. Auch Konfigurationen für die automatische Rotation der Squid Log Dateien sind enthalten, diese wachsen also nicht ins unermessliche an.<br />
<br />
== Installation ==<br />
<br />
Cacheverzeichnis anlegen:<br />
mkdir -p /var/cache/squid<br />
<br />
Squid installieren:<br />
apt install squid<br />
<br />
Squid stoppen:<br />
service squid stop<br />
<br />
Cacheverzeichnis dem Squid Benutzer "proxy" übergeben:<br />
chown -R proxy:proxy /var/cache/squid<br />
<br />
Cache Basisstruktur im Cacheverzeichnis anlegen:<br />
squid -z <br />
<br />
Hier '''zwei mal Enter''' drücken, dieser Schritt geht schnell, gibt aber keine newline zurück, scheint daher zu hängen.<br />
<br />
== Konfiguration ==<br />
<br />
Die eigentliche Konfiguration der Squidcaches erfolg anhand der im [https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=5473 LHC Forum abgelegten Konfiguration].<br />
Es lohnt sich diesen Thread nochmals zu überfliegen, da Änderungen an der Beispielkonfiguration nicht mehr im Startbeitrag eingepflegt werden können. Stand 26.02.2020 sieht die squid.conf folgendermaßen aus:<br />
<br />
<nowiki><br />
# Squid configuration for BOINC<br />
# Based on squid version 3.5<br />
# See also: http://www.squid-cache.org/<br />
<br />
# Every line starting with "#" represents a comment.<br />
<br />
# Define your local hosts/networks here.<br />
# If neither "crunchers" nor "localnet" is set none of your devices will be permitted to use the proxy.<br />
# The examples show the principle.<br />
# For advanced options read the Squid documentation.<br />
#<br />
# Examples:<br />
#<br />
# Either enter a list of IPs representing your computers that are permitted to use the proxy.<br />
# Each IP on a separate line.<br />
# acl crunchers src 198.51.100.20<br />
# acl crunchers src 198.51.100.31<br />
# acl crunchers src 198.51.100.37<br />
# acl crunchers src 198.51.100.42<br />
#<br />
# Or enter complete network ranges.<br />
# Be aware that this may permit devices like printers or TVs that you may not want to use the proxy.<br />
# acl localnet src 192.0.2.0/24<br />
# acl localnet src 198.51.100.0/24<br />
acl localnet src 192.168.178.0/24<br />
<br />
<br />
acl SSL_ports port 443<br />
acl Safe_ports port 80<br />
acl Safe_ports port 443<br />
acl Safe_ports port 1025-65535 # unregistered ports<br />
<br />
acl CONNECT method CONNECT<br />
<br />
follow_x_forwarded_for allow localhost<br />
follow_x_forwarded_for deny all<br />
<br />
<br />
#<br />
# Start of extra section 1<br />
# Requests that need special handling<br />
<br />
# worldcommunitygrid doesn't like it if data is taken from the local cache<br />
acl wcg_nocache dstdomain .worldcommunitygrid.org<br />
cache deny wcg_nocache<br />
<br />
<br />
# if CVMFS uses geoapi, ensure it's checked directly<br />
acl cvmfs_geoapi urlpath_regex -i ^/+cvmfs/+[0-9a-z._~-]+/+api/+[0-9a-z._~-]+/+geo/+[0-9a-z._~-]+/+[0-9a-z.,_~-]+<br />
cache deny cvmfs_geoapi<br />
<br />
<br />
# avoids polluting the disk cache with typical onetimers, e.g. ATLAS job data<br />
acl boinc_nocache urlpath_regex -i /download[0-9a-z._~-]*/+[0-9a-z._~-]+/+.+<br />
cache deny boinc_nocache<br />
<br />
<br />
# seriously: do NOT cache that!<br />
# Based on a frontier cache suggestion<br />
acl PragmaNoCache req_header Pragma no-cache<br />
cache deny PragmaNoCache<br />
<br />
# End of extra section 1<br />
#<br />
<br />
acl Purge method PURGE<br />
<br />
http_access deny !Safe_ports<br />
http_access deny CONNECT !SSL_ports<br />
http_access allow localhost manager<br />
http_access deny manager<br />
http_access deny to_localhost<br />
<br />
#<br />
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS<br />
# Depending on the definition of "crunchers" or "localnet" above at least 1 of the following lines must be uncommented.<br />
# Examples:<br />
# http_access allow crunchers<br />
# http_access allow localnet<br />
<br />
http_access allow localhost<br />
# Last "http_access" line.<br />
# Order matters, hence all "http_access" lines following this one will be ignored.<br />
http_access deny all<br />
<br />
# http_port<br />
# don't bind it to an IP that is accessible from outside unless you know what you do.<br />
# Examples:<br />
# http_port localhost:3128<br />
#<br />
# This assumes 198.51.100.99 is the external IP of the Squid box<br />
# http_port 198.51.100.99:3128<br />
#<br />
# default setting that binds Squid to all IPs of the Squid box<br />
http_port 3128<br />
<br />
<br />
# A MUST on Windows.<br />
# If unsure try the the LAN IP of your internet router.<br />
# Avoid using external DNS here.<br />
# On Linux this option shouldn't be necessary<br />
# dns_nameservers 198.51.100.1<br />
<br />
max_filedescriptors 4096<br />
<br />
# Required OFF for intercepted traffic from LHCb VMs<br />
client_dst_passthru off<br />
<br />
# You don't believe this is enough?<br />
# For sure, it is!<br />
cache_mem 256 MB<br />
maximum_object_size_in_memory 24 KB<br />
memory_replacement_policy heap GDSF<br />
<br />
<br />
# Keep it large enough to store vdi files in the cache.<br />
# See extra section 1 how to avoid onetimers eating up your disk storage.<br />
# min-size=xxx keeps very small files away from your disk<br />
# 20000 limits the disk cache to 20 GB<br />
cache_replacement_policy heap LFUDA<br />
maximum_object_size 6144 MB<br />
cache_dir aufs /var/cache/squid 20000 16 64 min-size=7937<br />
<br />
# default=10<br />
logfile_rotate 10<br />
<br />
# logformat has to be changed according to your needs and the capabilities of your logfile analyser<br />
logformat my_awstats %>A %lp %ui %un [%tl] "%rm %>ru HTTP/%rv" %>Hs %st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh<br />
access_log stdio:/var/log/squid/access.log logformat=my_awstats<br />
#access_log none<br />
strip_query_terms off<br />
<br />
coredump_dir none<br />
ftp_user anonymous@<br />
<br />
# max_stale 1 week #default<br />
# extended to be prepared for a project reset<br />
max_stale 37 days<br />
<br />
# 1 line is required to avoid the ancient default settings<br />
# be conservative<br />
# don't violate the HTTP standards<br />
refresh_pattern . 0 0% 0<br />
<br />
store_avg_object_size 1800 KB<br />
<br />
shutdown_lifetime 0 seconds<br />
<br />
# booster 1!<br />
collapsed_forwarding on<br />
<br />
# booster 2!<br />
client_persistent_connections on<br />
server_persistent_connections on<br />
<br />
log_icp_queries off<br />
<br />
dns_defnames on<br />
dns_v4_first on<br />
<br />
forwarded_for transparent<br />
<br />
##### End of squid.conf</nowiki><br />
<br />
Anzupassen ist hier der Parameter '''acl localnet src 192.168.178.0/24'''. <br />
Alle Rechner des angegebenen Netzwerkes dürfen daraufhin auf den Cache zugreifen.<br />
Will man nur einzelne Rechner erlauben, kann dies über Einträge wie '''acl crunchers src 192.168.178.20''' erfolgen, dann wird der Squid seine Services nur dem Rechner mit der IP 192.168.178.20 ermöglichen.<br />
<br />
Den Squid nun mit der neuen Konfiguration starten:<br />
service squid start<br />
Ob der Squid genutzt wird, lässt sich einfach über sein Zugriffslog verfolgen:<br />
<br />
tail -f /var/log/squid/access.log<br />
<br />
Startet nach abgeschlossener Konfiguration eine neue native WU, kommen hier innerhalb der ersten Minuten jeweils hunderte bis tausende Einträge hinzu.<br />
<br />
= CVMFS = <br />
<br />
Das CernVM File System ist ein http basiertes read-only Netzwerkdateisystem. Es wird genutzt um Software innerhalb der High Performance Computing (HPC) Umgebung des CERN zu verteilen. Daten im CVMFS werden erst bei Bedarf geladen und können lokal gecached werden.<br />
<br />
== Installation ==<br />
<br />
Cern CVMFS Paketinformationen ziehen, installieren und den Download wieder entfernen:<br />
wget https://ecsft.cern.ch/dist/cvmfs/cvmfs-release/cvmfs-release-latest_all.deb<br />
sudo dpkg -i cvmfs-release-latest_all.deb<br />
rm -f cvmfs-release-latest_all.deb<br />
<br />
CVMFS installieren:<br />
sudo apt-get update<br />
sudo apt-get install cvmfs cvmfs-config-default<br />
<br />
CVMFS Basissetup:<br />
sudo cvmfs_config setup<br />
sudo wget https://lhcathome.cern.ch/lhcathome/download/default.local -O /etc/cvmfs/default.local<br />
sudo cvmfs_config reload<br />
<br />
Die folgenden Schritte sind notwendig um die nativ laufenden WUs pausieren und wieder aufwecken zu können. Hierzu wird eine control group (cgroup) erstellt, die dieses ermöglicht:<br />
sudo sed -i '$ a\kernel.unprivileged_userns_clone = 1' /etc/sysctl.conf<br />
sudo sysctl -p<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/create-boinc-cgroup -O /sbin/create-boinc-cgroup<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/boinc-client.service -O /etc/systemd/system/boinc-client.service<br />
sudo systemctl daemon-reload<br />
sudo systemctl restart boinc-client <br />
<br />
LHC native läuft hiermit bereits, jedoch muss in der Konfiguration<br />
== Konfiguration == <br />
In der CVMFS Konfigurationsdatei default.local <br />
sudo nano /etc/cvmfs/default.local<br />
<br />
CVMFS_HTTP_PROXY ist auskommentiert und muss noch angepasst werden:<br />
# CVMFS_HTTP_PROXY="auto;DIRECT"<br />
=><br />
CVMFS_HTTP_PROXY="http://192.168.178.4:3128;DIRECT"<br />
<br />
Nach dem Abspeichern einmal die Konfiguration neu einlesen:<br />
cvmfs_config reload<br />
Das Kommando '''cvmfs_config stat''' zeigt jetzt ''s1cern-cvmfs.openhtc.io'' anstatt ''cvmfs-stratum-one.cern.ch'' als nächstes Cache level, zB. für ATLAS sieht das folgendermaßen aus:<br />
<small><br />
# /usr/bin/cvmfs_config stat atlas.cern.ch<br />
VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE<br />
2.8.0.0 3963658 1 24568 79806 2 1 3942964 4194305 0 130560 0 0 n/a 530 186 http://s1cern-cvmfs.openhtc.io/cvmfs/atlas.cern.ch http://192.168.178.4:3128 1<br />
</small><br />
<br />
= BOINC Client = <br />
Die Proxyeinstellungen können sowohl über die GUI als auch direkt in der cc_config.xml gesetzt werden. <br />
Eine der beiden Methoden ist ausreichend.<br />
<br />
== BOINC Manager ==<br />
<br />
Im BOINC Manager via ''Optionen'' -> ''Sonstige Einstellungen...'' den Tab ''HTTP Proxyserver'' auswählen.<br />
<br />
Haken setzen bei "Über HTTP Proxyserver verbinden", dann Adresse und Port befüllen:<br />
Adresse: 192.168.178.4<br />
Port: 3128<br />
<br />
== cc_config.xml ==<br />
<cc_config><br />
<options><br />
<proxy_info><br />
<http_server_name>192.168.178.4</http_server_name><br />
<http_server_port>3128</http_server_port><br />
</proxy_info><br />
</options><br />
</cc_config><br />
<br />
Anschließend die cc_config über boinccmd neu einlesen:<br />
boinccmd --read_cc_config</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC_native_Einrichtung&diff=6647LHC native Einrichtung2021-02-27T23:02:03Z<p>Koschi: /* CVMFS */</p>
<hr />
<div>= Einrichtung von nativen LHC Anwendungen =<br />
<br />
Diese Anleitung beschreibt die Installation von Squid und Cerns CVMFS auf Ubuntu Systemen. Analog funktioniert dies dann natürlich auch auf Debian, Mint und anderen verwandten Distributionen.<br />
Bei SuSE oder RedHat sind die entsprechenden Paketverwaltungstools (zypper/yast & yum/dnf) zu verwenden, auch kann der Squid Nutzer und dessen Gruppe eine andere sein, zB. "squid" anstelle von "proxy".<br />
<br />
Im Rahmen dieser Anleitung nutzen wir beispielhaft das in der Tabelle gelistete Subnetz und eine IP daraus für den Squid Rechner. Dieses ist das LAN-seitige Defaultsubnetz der meisten Fritzboxen. Andere Router nutzen aber zB. das Subnetz 192.168.0.0/24. <br />
{| class="wikitable"<br />
| LAN Subnetz || 192.168.178.0/24<br />
|-<br />
| IP des Squid Rechners || 192.168.178.4<br />
|}<br />
<br />
Wurde die IP des Rechners per DHCP vergeben, sollte diese im Router dem Rechner fest zugewiesen werden, bzw. eine feste IP händisch konfiguriert werden. Sollte das eigene Subnetz vom Beispiel abweichen, ist dieses in der squid.conf, der CVMFS default.local sowie dem BOINC Client anzupassen.<br />
<br />
= Squid =<br />
Squid ist ein cachender Proxyserver, er wird idR. genutzt um Netzinhalte zu cachen und damit den Zugriff auf diese zu beschleunigen. Damit einher geht eine Reduzierung der beanspruchten Netzwerkbandbreite.<br />
Es empfiehlt sich ausdrücklich Squid über die distributionseigene Paketverwaltung zu installieren, da diese den Cache automatisch und unterhalb eines eigenen Benutzers startet. Auch Konfigurationen für die automatische Rotation der Squid Log Dateien sind enthalten, diese wachsen also nicht ins unermessliche an.<br />
<br />
== Installation ==<br />
<br />
Cacheverzeichnis anlegen:<br />
mkdir -p /var/cache/squid<br />
<br />
Squid installieren:<br />
apt install squid<br />
<br />
Squid stoppen:<br />
service squid stop<br />
<br />
Cacheverzeichnis dem Squid Benutzer "proxy" übergeben:<br />
chown -R proxy:proxy /var/cache/squid<br />
<br />
Cache Basisstruktur im Cacheverzeichnis anlegen:<br />
squid -z <br />
<br />
Hier '''zwei mal Enter''' drücken, dieser Schritt geht schnell, gibt aber keine newline zurück, scheint daher zu hängen.<br />
<br />
== Konfiguration ==<br />
<br />
Die eigentliche Konfiguration der Squidcaches erfolg anhand der im [https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=5473 LHC Forum abgelegten Konfiguration].<br />
Es lohnt sich diesen Thread nochmals zu überfliegen, da Änderungen an der Beispielkonfiguration nicht mehr im Startbeitrag eingepflegt werden können. Stand 26.02.2020 sieht die squid.conf folgendermaßen aus:<br />
<br />
<nowiki><br />
# Squid configuration for BOINC<br />
# Based on squid version 3.5<br />
# See also: http://www.squid-cache.org/<br />
<br />
# Every line starting with "#" represents a comment.<br />
<br />
# Define your local hosts/networks here.<br />
# If neither "crunchers" nor "localnet" is set none of your devices will be permitted to use the proxy.<br />
# The examples show the principle.<br />
# For advanced options read the Squid documentation.<br />
#<br />
# Examples:<br />
#<br />
# Either enter a list of IPs representing your computers that are permitted to use the proxy.<br />
# Each IP on a separate line.<br />
# acl crunchers src 198.51.100.20<br />
# acl crunchers src 198.51.100.31<br />
# acl crunchers src 198.51.100.37<br />
# acl crunchers src 198.51.100.42<br />
#<br />
# Or enter complete network ranges.<br />
# Be aware that this may permit devices like printers or TVs that you may not want to use the proxy.<br />
# acl localnet src 192.0.2.0/24<br />
# acl localnet src 198.51.100.0/24<br />
acl localnet src 192.168.178.0/24<br />
<br />
<br />
acl SSL_ports port 443<br />
acl Safe_ports port 80<br />
acl Safe_ports port 443<br />
acl Safe_ports port 1025-65535 # unregistered ports<br />
<br />
acl CONNECT method CONNECT<br />
<br />
follow_x_forwarded_for allow localhost<br />
follow_x_forwarded_for deny all<br />
<br />
<br />
#<br />
# Start of extra section 1<br />
# Requests that need special handling<br />
<br />
# worldcommunitygrid doesn't like it if data is taken from the local cache<br />
acl wcg_nocache dstdomain .worldcommunitygrid.org<br />
cache deny wcg_nocache<br />
<br />
<br />
# if CVMFS uses geoapi, ensure it's checked directly<br />
acl cvmfs_geoapi urlpath_regex -i ^/+cvmfs/+[0-9a-z._~-]+/+api/+[0-9a-z._~-]+/+geo/+[0-9a-z._~-]+/+[0-9a-z.,_~-]+<br />
cache deny cvmfs_geoapi<br />
<br />
<br />
# avoids polluting the disk cache with typical onetimers, e.g. ATLAS job data<br />
acl boinc_nocache urlpath_regex -i /download[0-9a-z._~-]*/+[0-9a-z._~-]+/+.+<br />
cache deny boinc_nocache<br />
<br />
<br />
# seriously: do NOT cache that!<br />
# Based on a frontier cache suggestion<br />
acl PragmaNoCache req_header Pragma no-cache<br />
cache deny PragmaNoCache<br />
<br />
# End of extra section 1<br />
#<br />
<br />
acl Purge method PURGE<br />
<br />
http_access deny !Safe_ports<br />
http_access deny CONNECT !SSL_ports<br />
http_access allow localhost manager<br />
http_access deny manager<br />
http_access deny to_localhost<br />
<br />
#<br />
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS<br />
# Depending on the definition of "crunchers" or "localnet" above at least 1 of the following lines must be uncommented.<br />
# Examples:<br />
# http_access allow crunchers<br />
# http_access allow localnet<br />
<br />
http_access allow localhost<br />
# Last "http_access" line.<br />
# Order matters, hence all "http_access" lines following this one will be ignored.<br />
http_access deny all<br />
<br />
# http_port<br />
# don't bind it to an IP that is accessible from outside unless you know what you do.<br />
# Examples:<br />
# http_port localhost:3128<br />
#<br />
# This assumes 198.51.100.99 is the external IP of the Squid box<br />
# http_port 198.51.100.99:3128<br />
#<br />
# default setting that binds Squid to all IPs of the Squid box<br />
http_port 3128<br />
<br />
<br />
# A MUST on Windows.<br />
# If unsure try the the LAN IP of your internet router.<br />
# Avoid using external DNS here.<br />
# On Linux this option shouldn't be necessary<br />
# dns_nameservers 198.51.100.1<br />
<br />
max_filedescriptors 4096<br />
<br />
# Required OFF for intercepted traffic from LHCb VMs<br />
client_dst_passthru off<br />
<br />
# You don't believe this is enough?<br />
# For sure, it is!<br />
cache_mem 256 MB<br />
maximum_object_size_in_memory 24 KB<br />
memory_replacement_policy heap GDSF<br />
<br />
<br />
# Keep it large enough to store vdi files in the cache.<br />
# See extra section 1 how to avoid onetimers eating up your disk storage.<br />
# min-size=xxx keeps very small files away from your disk<br />
# 20000 limits the disk cache to 20 GB<br />
cache_replacement_policy heap LFUDA<br />
maximum_object_size 6144 MB<br />
cache_dir aufs /var/cache/squid 20000 16 64 min-size=7937<br />
<br />
# default=10<br />
logfile_rotate 10<br />
<br />
# logformat has to be changed according to your needs and the capabilities of your logfile analyser<br />
logformat my_awstats %>A %lp %ui %un [%tl] "%rm %>ru HTTP/%rv" %>Hs %st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh<br />
access_log stdio:/var/log/squid/access.log logformat=my_awstats<br />
#access_log none<br />
strip_query_terms off<br />
<br />
coredump_dir none<br />
ftp_user anonymous@<br />
<br />
# max_stale 1 week #default<br />
# extended to be prepared for a project reset<br />
max_stale 37 days<br />
<br />
# 1 line is required to avoid the ancient default settings<br />
# be conservative<br />
# don't violate the HTTP standards<br />
refresh_pattern . 0 0% 0<br />
<br />
store_avg_object_size 1800 KB<br />
<br />
shutdown_lifetime 0 seconds<br />
<br />
# booster 1!<br />
collapsed_forwarding on<br />
<br />
# booster 2!<br />
client_persistent_connections on<br />
server_persistent_connections on<br />
<br />
log_icp_queries off<br />
<br />
dns_defnames on<br />
dns_v4_first on<br />
<br />
forwarded_for transparent<br />
<br />
##### End of squid.conf</nowiki><br />
<br />
Anzupassen ist hier der Parameter '''acl localnet src 192.168.178.0/24'''. <br />
Alle Rechner des angegebenen Netzwerkes dürfen daraufhin auf den Cache zugreifen.<br />
Will man nur einzelne Rechner erlauben, kann dies über Einträge wie '''acl crunchers src 192.168.178.20''' erfolgen, dann wird der Squid seine Services nur dem Rechner mit der IP 192.168.178.20 ermöglichen.<br />
<br />
Den Squid nun mit der neuen Konfiguration starten:<br />
service squid start<br />
Ob der Squid genutzt wird, lässt sich einfach über sein Zugriffslog verfolgen:<br />
<br />
tail -f /var/log/squid/access.log<br />
<br />
Startet nach abgeschlossener Konfiguration eine neue native WU, kommen hier innerhalb der ersten Minuten jeweils hunderte bis tausende Einträge hinzu.<br />
<br />
= CVMFS = <br />
<br />
Das CernVM File System ein http basiertes read-only Netzwerkdateisystem. Es wird genutzt um Software innerhalb der High Performance Computing (HPC) Umgebung des CERN zu verteilen. Daten im CVMFS werden erst bei Bedarf geladen und können lokal gecached werden.<br />
<br />
== Installation ==<br />
<br />
Cern CVMFS Paketinformationen ziehen, installieren und den Download wieder entfernen:<br />
wget https://ecsft.cern.ch/dist/cvmfs/cvmfs-release/cvmfs-release-latest_all.deb<br />
sudo dpkg -i cvmfs-release-latest_all.deb<br />
rm -f cvmfs-release-latest_all.deb<br />
<br />
CVMFS installieren:<br />
sudo apt-get update<br />
sudo apt-get install cvmfs cvmfs-config-default<br />
<br />
CVMFS Basissetup:<br />
sudo cvmfs_config setup<br />
sudo wget https://lhcathome.cern.ch/lhcathome/download/default.local -O /etc/cvmfs/default.local<br />
sudo cvmfs_config reload<br />
<br />
Die folgenden Schritte sind notwendig um die nativ laufenden WUs pausieren und wieder aufwecken zu können. Hierzu wird eine control group (cgroup) erstellt, die dieses ermöglicht:<br />
sudo sed -i '$ a\kernel.unprivileged_userns_clone = 1' /etc/sysctl.conf<br />
sudo sysctl -p<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/create-boinc-cgroup -O /sbin/create-boinc-cgroup<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/boinc-client.service -O /etc/systemd/system/boinc-client.service<br />
sudo systemctl daemon-reload<br />
sudo systemctl restart boinc-client <br />
<br />
LHC native läuft hiermit bereits, jedoch muss in der Konfiguration<br />
== Konfiguration == <br />
In der CVMFS Konfigurationsdatei default.local <br />
sudo nano /etc/cvmfs/default.local<br />
<br />
CVMFS_HTTP_PROXY ist auskommentiert und muss noch angepasst werden:<br />
# CVMFS_HTTP_PROXY="auto;DIRECT"<br />
=><br />
CVMFS_HTTP_PROXY="http://192.168.178.4:3128;DIRECT"<br />
<br />
Nach dem Abspeichern einmal die Konfiguration neu einlesen:<br />
cvmfs_config reload<br />
Das Kommando '''cvmfs_config stat''' zeigt jetzt ''s1cern-cvmfs.openhtc.io'' anstatt ''cvmfs-stratum-one.cern.ch'' als nächstes Cache level, zB. für ATLAS sieht das folgendermaßen aus:<br />
<small><br />
# /usr/bin/cvmfs_config stat atlas.cern.ch<br />
VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE<br />
2.8.0.0 3963658 1 24568 79806 2 1 3942964 4194305 0 130560 0 0 n/a 530 186 http://s1cern-cvmfs.openhtc.io/cvmfs/atlas.cern.ch http://192.168.178.4:3128 1<br />
</small><br />
<br />
= BOINC Client = <br />
Die Proxyeinstellungen können sowohl über die GUI als auch direkt in der cc_config.xml gesetzt werden. <br />
Eine der beiden Methoden ist ausreichend.<br />
<br />
== BOINC Manager ==<br />
<br />
Im BOINC Manager via ''Optionen'' -> ''Sonstige Einstellungen...'' den Tab ''HTTP Proxyserver'' auswählen.<br />
<br />
Haken setzen bei "Über HTTP Proxyserver verbinden", dann Adresse und Port befüllen:<br />
Adresse: 192.168.178.4<br />
Port: 3128<br />
<br />
== cc_config.xml ==<br />
<cc_config><br />
<options><br />
<proxy_info><br />
<http_server_name>192.168.178.4</http_server_name><br />
<http_server_port>3128</http_server_port><br />
</proxy_info><br />
</options><br />
</cc_config><br />
<br />
Anschließend die cc_config über boinccmd neu einlesen:<br />
boinccmd --read_cc_config</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC_native_Einrichtung&diff=6642LHC native Einrichtung2021-02-27T20:54:39Z<p>Koschi: </p>
<hr />
<div>= Einrichtung von nativen LHC Anwendungen =<br />
<br />
Diese Anleitung beschreibt die Installation von Squid und Cerns CVMFS auf Ubuntu Systemen. Analog funktioniert dies dann natürlich auch auf Debian, Mint und anderen verwandten Distributionen.<br />
Bei SuSE oder RedHat sind die entsprechenden Paketverwaltungstools (zypper/yast & yum/dnf) zu verwenden, auch kann der Squid Nutzer und dessen Gruppe eine andere sein, zB. "squid" anstelle von "proxy".<br />
<br />
Im Rahmen dieser Anleitung nutzen wir beispielhaft das in der Tabelle gelistete Subnetz und eine IP daraus für den Squid Rechner. Dieses ist das LAN-seitige Defaultsubnetz der meisten Fritzboxen. Andere Router nutzen aber zB. das Subnetz 192.168.0.0/24. <br />
{| class="wikitable"<br />
| LAN Subnetz || 192.168.178.0/24<br />
|-<br />
| IP des Squid Rechners || 192.168.178.4<br />
|}<br />
<br />
Wurde die IP des Rechners per DHCP vergeben, sollte diese im Router dem Rechner fest zugewiesen werden, bzw. eine feste IP händisch konfiguriert werden. Sollte das eigene Subnetz vom Beispiel abweichen, ist dieses in der squid.conf, der CVMFS default.local sowie dem BOINC Client anzupassen.<br />
<br />
= Squid =<br />
Squid ist ein cachender Proxyserver, er wird idR. genutzt um Netzinhalte zu cachen und damit den Zugriff auf diese zu beschleunigen. Damit einher geht eine Reduzierung der beanspruchten Netzwerkbandbreite.<br />
Es empfiehlt sich ausdrücklich Squid über die distributionseigene Paketverwaltung zu installieren, da diese den Cache automatisch und unterhalb eines eigenen Benutzers startet. Auch Konfigurationen für die automatische Rotation der Squid Log Dateien sind enthalten, diese wachsen also nicht ins unermessliche an.<br />
<br />
== Installation ==<br />
<br />
Cacheverzeichnis anlegen:<br />
mkdir -p /var/cache/squid<br />
<br />
Squid installieren:<br />
apt install squid<br />
<br />
Squid stoppen:<br />
service squid stop<br />
<br />
Cacheverzeichnis dem Squid Benutzer "proxy" übergeben:<br />
chown -R proxy:proxy /var/cache/squid<br />
<br />
Cache Basisstruktur im Cacheverzeichnis anlegen:<br />
squid -z <br />
<br />
Hier '''zwei mal Enter''' drücken, dieser Schritt geht schnell, gibt aber keine newline zurück, scheint daher zu hängen.<br />
<br />
== Konfiguration ==<br />
<br />
Die eigentliche Konfiguration der Squidcaches erfolg anhand der im [https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=5473 LHC Forum abgelegten Konfiguration].<br />
Es lohnt sich diesen Thread nochmals zu überfliegen, da Änderungen an der Beispielkonfiguration nicht mehr im Startbeitrag eingepflegt werden können. Stand 26.02.2020 sieht die squid.conf folgendermaßen aus:<br />
<br />
<nowiki><br />
# Squid configuration for BOINC<br />
# Based on squid version 3.5<br />
# See also: http://www.squid-cache.org/<br />
<br />
# Every line starting with "#" represents a comment.<br />
<br />
# Define your local hosts/networks here.<br />
# If neither "crunchers" nor "localnet" is set none of your devices will be permitted to use the proxy.<br />
# The examples show the principle.<br />
# For advanced options read the Squid documentation.<br />
#<br />
# Examples:<br />
#<br />
# Either enter a list of IPs representing your computers that are permitted to use the proxy.<br />
# Each IP on a separate line.<br />
# acl crunchers src 198.51.100.20<br />
# acl crunchers src 198.51.100.31<br />
# acl crunchers src 198.51.100.37<br />
# acl crunchers src 198.51.100.42<br />
#<br />
# Or enter complete network ranges.<br />
# Be aware that this may permit devices like printers or TVs that you may not want to use the proxy.<br />
# acl localnet src 192.0.2.0/24<br />
# acl localnet src 198.51.100.0/24<br />
acl localnet src 192.168.178.0/24<br />
<br />
<br />
acl SSL_ports port 443<br />
acl Safe_ports port 80<br />
acl Safe_ports port 443<br />
acl Safe_ports port 1025-65535 # unregistered ports<br />
<br />
acl CONNECT method CONNECT<br />
<br />
follow_x_forwarded_for allow localhost<br />
follow_x_forwarded_for deny all<br />
<br />
<br />
#<br />
# Start of extra section 1<br />
# Requests that need special handling<br />
<br />
# worldcommunitygrid doesn't like it if data is taken from the local cache<br />
acl wcg_nocache dstdomain .worldcommunitygrid.org<br />
cache deny wcg_nocache<br />
<br />
<br />
# if CVMFS uses geoapi, ensure it's checked directly<br />
acl cvmfs_geoapi urlpath_regex -i ^/+cvmfs/+[0-9a-z._~-]+/+api/+[0-9a-z._~-]+/+geo/+[0-9a-z._~-]+/+[0-9a-z.,_~-]+<br />
cache deny cvmfs_geoapi<br />
<br />
<br />
# avoids polluting the disk cache with typical onetimers, e.g. ATLAS job data<br />
acl boinc_nocache urlpath_regex -i /download[0-9a-z._~-]*/+[0-9a-z._~-]+/+.+<br />
cache deny boinc_nocache<br />
<br />
<br />
# seriously: do NOT cache that!<br />
# Based on a frontier cache suggestion<br />
acl PragmaNoCache req_header Pragma no-cache<br />
cache deny PragmaNoCache<br />
<br />
# End of extra section 1<br />
#<br />
<br />
acl Purge method PURGE<br />
<br />
http_access deny !Safe_ports<br />
http_access deny CONNECT !SSL_ports<br />
http_access allow localhost manager<br />
http_access deny manager<br />
http_access deny to_localhost<br />
<br />
#<br />
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS<br />
# Depending on the definition of "crunchers" or "localnet" above at least 1 of the following lines must be uncommented.<br />
# Examples:<br />
# http_access allow crunchers<br />
# http_access allow localnet<br />
<br />
http_access allow localhost<br />
# Last "http_access" line.<br />
# Order matters, hence all "http_access" lines following this one will be ignored.<br />
http_access deny all<br />
<br />
# http_port<br />
# don't bind it to an IP that is accessible from outside unless you know what you do.<br />
# Examples:<br />
# http_port localhost:3128<br />
#<br />
# This assumes 198.51.100.99 is the external IP of the Squid box<br />
# http_port 198.51.100.99:3128<br />
#<br />
# default setting that binds Squid to all IPs of the Squid box<br />
http_port 3128<br />
<br />
<br />
# A MUST on Windows.<br />
# If unsure try the the LAN IP of your internet router.<br />
# Avoid using external DNS here.<br />
# On Linux this option shouldn't be necessary<br />
# dns_nameservers 198.51.100.1<br />
<br />
max_filedescriptors 4096<br />
<br />
# Required OFF for intercepted traffic from LHCb VMs<br />
client_dst_passthru off<br />
<br />
# You don't believe this is enough?<br />
# For sure, it is!<br />
cache_mem 256 MB<br />
maximum_object_size_in_memory 24 KB<br />
memory_replacement_policy heap GDSF<br />
<br />
<br />
# Keep it large enough to store vdi files in the cache.<br />
# See extra section 1 how to avoid onetimers eating up your disk storage.<br />
# min-size=xxx keeps very small files away from your disk<br />
# 20000 limits the disk cache to 20 GB<br />
cache_replacement_policy heap LFUDA<br />
maximum_object_size 6144 MB<br />
cache_dir aufs /var/cache/squid 20000 16 64 min-size=7937<br />
<br />
# default=10<br />
logfile_rotate 10<br />
<br />
# logformat has to be changed according to your needs and the capabilities of your logfile analyser<br />
logformat my_awstats %>A %lp %ui %un [%tl] "%rm %>ru HTTP/%rv" %>Hs %st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh<br />
access_log stdio:/var/log/squid/access.log logformat=my_awstats<br />
#access_log none<br />
strip_query_terms off<br />
<br />
coredump_dir none<br />
ftp_user anonymous@<br />
<br />
# max_stale 1 week #default<br />
# extended to be prepared for a project reset<br />
max_stale 37 days<br />
<br />
# 1 line is required to avoid the ancient default settings<br />
# be conservative<br />
# don't violate the HTTP standards<br />
refresh_pattern . 0 0% 0<br />
<br />
store_avg_object_size 1800 KB<br />
<br />
shutdown_lifetime 0 seconds<br />
<br />
# booster 1!<br />
collapsed_forwarding on<br />
<br />
# booster 2!<br />
client_persistent_connections on<br />
server_persistent_connections on<br />
<br />
log_icp_queries off<br />
<br />
dns_defnames on<br />
dns_v4_first on<br />
<br />
forwarded_for transparent<br />
<br />
##### End of squid.conf</nowiki><br />
<br />
Anzupassen ist hier der Parameter '''acl localnet src 192.168.178.0/24'''. <br />
Alle Rechner des angegebenen Netzwerkes dürfen daraufhin auf den Cache zugreifen.<br />
Will man nur einzelne Rechner erlauben, kann dies über Einträge wie '''acl crunchers src 192.168.178.20''' erfolgen, dann wird der Squid seine Services nur dem Rechner mit der IP 192.168.178.20 ermöglichen.<br />
<br />
Den Squid nun mit der neuen Konfiguration starten:<br />
service squid start<br />
Ob der Squid genutzt wird, lässt sich einfach über sein Zugriffslog verfolgen:<br />
<br />
tail -f /var/log/squid/access.log<br />
<br />
Startet nach abgeschlossener Konfiguration eine neue native WU, kommen hier innerhalb der ersten Minuten jeweils hunderte bis tausende Einträge hinzu.<br />
<br />
= CVMFS = <br />
== Installation ==<br />
<br />
Cern CVMFS Paketinformationen ziehen, installieren und den Download wieder entfernen:<br />
wget https://ecsft.cern.ch/dist/cvmfs/cvmfs-release/cvmfs-release-latest_all.deb<br />
sudo dpkg -i cvmfs-release-latest_all.deb<br />
rm -f cvmfs-release-latest_all.deb<br />
<br />
CVMFS installieren:<br />
sudo apt-get update<br />
sudo apt-get install cvmfs cvmfs-config-default<br />
<br />
CVMFS Basissetup:<br />
sudo cvmfs_config setup<br />
sudo wget https://lhcathome.cern.ch/lhcathome/download/default.local -O /etc/cvmfs/default.local<br />
sudo cvmfs_config reload<br />
<br />
Die folgenden Schritte sind notwendig um die nativ laufenden WUs pausieren und wieder aufwecken zu können. Hierzu wird eine control group (cgroup) erstellt, die dieses ermöglicht:<br />
sudo sed -i '$ a\kernel.unprivileged_userns_clone = 1' /etc/sysctl.conf<br />
sudo sysctl -p<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/create-boinc-cgroup -O /sbin/create-boinc-cgroup<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/boinc-client.service -O /etc/systemd/system/boinc-client.service<br />
sudo systemctl daemon-reload<br />
sudo systemctl restart boinc-client <br />
<br />
LHC native läuft hiermit bereits, jedoch muss in der Konfiguration<br />
== Konfiguration == <br />
In der CVMFS Konfigurationsdatei default.local <br />
sudo nano /etc/cvmfs/default.local<br />
<br />
CVMFS_HTTP_PROXY ist auskommentiert und muss noch angepasst werden:<br />
# CVMFS_HTTP_PROXY="auto;DIRECT"<br />
=><br />
CVMFS_HTTP_PROXY="http://192.168.178.4:3128;DIRECT"<br />
<br />
Nach dem Abspeichern einmal die Konfiguration neu einlesen:<br />
cvmfs_config reload<br />
Das Kommando '''cvmfs_config stat''' zeigt jetzt ''s1cern-cvmfs.openhtc.io'' anstatt ''cvmfs-stratum-one.cern.ch'' als nächstes Cache level, zB. für ATLAS sieht das folgendermaßen aus:<br />
<small><br />
# /usr/bin/cvmfs_config stat atlas.cern.ch<br />
VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE<br />
2.8.0.0 3963658 1 24568 79806 2 1 3942964 4194305 0 130560 0 0 n/a 530 186 http://s1cern-cvmfs.openhtc.io/cvmfs/atlas.cern.ch http://192.168.178.4:3128 1<br />
</small><br />
<br />
= BOINC Client = <br />
Die Proxyeinstellungen können sowohl über die GUI als auch direkt in der cc_config.xml gesetzt werden. <br />
Eine der beiden Methoden ist ausreichend.<br />
<br />
== BOINC Manager ==<br />
<br />
Im BOINC Manager via ''Optionen'' -> ''Sonstige Einstellungen...'' den Tab ''HTTP Proxyserver'' auswählen.<br />
<br />
Haken setzen bei "Über HTTP Proxyserver verbinden", dann Adresse und Port befüllen:<br />
Adresse: 192.168.178.4<br />
Port: 3128<br />
<br />
== cc_config.xml ==<br />
<cc_config><br />
<options><br />
<proxy_info><br />
<http_server_name>192.168.178.4</http_server_name><br />
<http_server_port>3128</http_server_port><br />
</proxy_info><br />
</options><br />
</cc_config><br />
<br />
Anschließend die cc_config über boinccmd neu einlesen:<br />
boinccmd --read_cc_config</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC_native_Einrichtung&diff=6633LHC native Einrichtung2021-02-26T23:52:31Z<p>Koschi: /* Squid */</p>
<hr />
<div>= Einrichtung von nativen LHC Anwendungen =<br />
<br />
Diese Anleitung beschreibt die Installation von Squid und Cerns CVMFS auf Ubuntu Systemen. Analog funktioniert dies dann natürlich auch auf Debian, Mint und anderen verwandten Distributionen.<br />
Bei SuSE oder RedHat sind die entsprechenden Paketverwaltungstools (zypper/yast & yum/dnf) zu verwenden, auch kann der Squid Nutzer und dessen Gruppe eine andere sein, zB. "squid" anstelle von "proxy".<br />
<br />
= Squid =<br />
Squid ist ein cachender Proxyserver, er wird idR. genutzt um Netzinhalte zu cachen und damit den Zugriff auf diese zu beschleunigen. Damit einher geht eine Reduzierung der beanspruchten Netzwerkbandbreite.<br />
Es empfiehlt sich ausdrücklich Squid über die distributionseigene Paketverwaltung zu installieren, da diese den Cache automatisch und unterhalb eines eigenen Benutzers startet. Auch Konfgurationen für die automatische Rotation der Squid Log Dateien sind enthalten, diese wachsen also nicht ins unermessliche an.<br />
<br />
== Installation ==<br />
<br />
Cacheverzeichnis anlegen:<br />
mkdir -p /var/cache/squid<br />
<br />
Squid installieren:<br />
apt install squid<br />
<br />
Squid stoppen:<br />
service squid stop<br />
<br />
Cacheverzeichnis dem Squid Benutzer "proxy" übergeben:<br />
chown -R proxy:proxy /var/cache/squid<br />
<br />
Cache Basisstruktur im Cacheverzeichnis anlegen:<br />
squid -z <br />
<br />
Hier '''zwei mal Enter''' drücken, dieser Schritt geht schnell, gibt aber keine newline zurück, scheint daher zu hängen.<br />
<br />
== Konfiguration ==<br />
<br />
Die eigentliche Konfiguration der Squidcaches erfolg anhand der im [https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=5473 LHC Forum abgelegten Konfiguration].<br />
Es lohnt sich diesen Thread nochmals zu überfliegen, da Änderungen an der Beispielkonfiguration nicht mehr im Startbeitrag eingepflegt werden können. Stand 26.02.2020 sieht die squid.conf folgendermaßen aus:<br />
<br />
<nowiki><br />
# Squid configuration for BOINC<br />
# Based on squid version 3.5<br />
# See also: http://www.squid-cache.org/<br />
<br />
# Every line starting with "#" represents a comment.<br />
<br />
# Define your local hosts/networks here.<br />
# If neither "crunchers" nor "localnet" is set none of your devices will be permitted to use the proxy.<br />
# The examples show the principle.<br />
# For advanced options read the Squid documentation.<br />
#<br />
# Examples:<br />
#<br />
# Either enter a list of IPs representing your computers that are permitted to use the proxy.<br />
# Each IP on a separate line.<br />
# acl crunchers src 198.51.100.20<br />
# acl crunchers src 198.51.100.31<br />
# acl crunchers src 198.51.100.37<br />
# acl crunchers src 198.51.100.42<br />
#<br />
# Or enter complete network ranges.<br />
# Be aware that this may permit devices like printers or TVs that you may not want to use the proxy.<br />
# acl localnet src 192.0.2.0/24<br />
# acl localnet src 198.51.100.0/24<br />
acl localnet src 192.168.178.0/24<br />
<br />
<br />
acl SSL_ports port 443<br />
acl Safe_ports port 80<br />
acl Safe_ports port 443<br />
acl Safe_ports port 1025-65535 # unregistered ports<br />
<br />
acl CONNECT method CONNECT<br />
<br />
follow_x_forwarded_for allow localhost<br />
follow_x_forwarded_for deny all<br />
<br />
<br />
#<br />
# Start of extra section 1<br />
# Requests that need special handling<br />
<br />
# worldcommunitygrid doesn't like it if data is taken from the local cache<br />
acl wcg_nocache dstdomain .worldcommunitygrid.org<br />
cache deny wcg_nocache<br />
<br />
<br />
# if CVMFS uses geoapi, ensure it's checked directly<br />
acl cvmfs_geoapi urlpath_regex -i ^/+cvmfs/+[0-9a-z._~-]+/+api/+[0-9a-z._~-]+/+geo/+[0-9a-z._~-]+/+[0-9a-z.,_~-]+<br />
cache deny cvmfs_geoapi<br />
<br />
<br />
# avoids polluting the disk cache with typical onetimers, e.g. ATLAS job data<br />
acl boinc_nocache urlpath_regex -i /download[0-9a-z._~-]*/+[0-9a-z._~-]+/+.+<br />
cache deny boinc_nocache<br />
<br />
<br />
# seriously: do NOT cache that!<br />
# Based on a frontier cache suggestion<br />
acl PragmaNoCache req_header Pragma no-cache<br />
cache deny PragmaNoCache<br />
<br />
# End of extra section 1<br />
#<br />
<br />
acl Purge method PURGE<br />
<br />
http_access deny !Safe_ports<br />
http_access deny CONNECT !SSL_ports<br />
http_access allow localhost manager<br />
http_access deny manager<br />
http_access deny to_localhost<br />
<br />
#<br />
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS<br />
# Depending on the definition of "crunchers" or "localnet" above at least 1 of the following lines must be uncommented.<br />
# Examples:<br />
# http_access allow crunchers<br />
# http_access allow localnet<br />
<br />
http_access allow localhost<br />
# Last "http_access" line.<br />
# Order matters, hence all "http_access" lines following this one will be ignored.<br />
http_access deny all<br />
<br />
# http_port<br />
# don't bind it to an IP that is accessible from outside unless you know what you do.<br />
# Examples:<br />
# http_port localhost:3128<br />
#<br />
# This assumes 198.51.100.99 is the external IP of the Squid box<br />
# http_port 198.51.100.99:3128<br />
#<br />
# default setting that binds Squid to all IPs of the Squid box<br />
http_port 3128<br />
<br />
<br />
# A MUST on Windows.<br />
# If unsure try the the LAN IP of your internet router.<br />
# Avoid using external DNS here.<br />
# On Linux this option shouldn't be necessary<br />
# dns_nameservers 198.51.100.1<br />
<br />
max_filedescriptors 4096<br />
<br />
# Required OFF for intercepted traffic from LHCb VMs<br />
client_dst_passthru off<br />
<br />
# You don't believe this is enough?<br />
# For sure, it is!<br />
cache_mem 256 MB<br />
maximum_object_size_in_memory 24 KB<br />
memory_replacement_policy heap GDSF<br />
<br />
<br />
# Keep it large enough to store vdi files in the cache.<br />
# See extra section 1 how to avoid onetimers eating up your disk storage.<br />
# min-size=xxx keeps very small files away from your disk<br />
# 20000 limits the disk cache to 20 GB<br />
cache_replacement_policy heap LFUDA<br />
maximum_object_size 6144 MB<br />
cache_dir aufs /var/cache/squid 20000 16 64 min-size=7937<br />
<br />
# default=10<br />
logfile_rotate 10<br />
<br />
# logformat has to be changed according to your needs and the capabilities of your logfile analyser<br />
logformat my_awstats %>A %lp %ui %un [%tl] "%rm %>ru HTTP/%rv" %>Hs %st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh<br />
access_log stdio:/var/log/squid/access.log logformat=my_awstats<br />
#access_log none<br />
strip_query_terms off<br />
<br />
coredump_dir none<br />
ftp_user anonymous@<br />
<br />
# max_stale 1 week #default<br />
# extended to be prepared for a project reset<br />
max_stale 37 days<br />
<br />
# 1 line is required to avoid the ancient default settings<br />
# be conservative<br />
# don't violate the HTTP standards<br />
refresh_pattern . 0 0% 0<br />
<br />
store_avg_object_size 1800 KB<br />
<br />
shutdown_lifetime 0 seconds<br />
<br />
# booster 1!<br />
collapsed_forwarding on<br />
<br />
# booster 2!<br />
client_persistent_connections on<br />
server_persistent_connections on<br />
<br />
log_icp_queries off<br />
<br />
dns_defnames on<br />
dns_v4_first on<br />
<br />
forwarded_for transparent<br />
<br />
##### End of squid.conf</nowiki><br />
<br />
Anzupassen ist hier der Parameter '''acl localnet src 192.168.178.0/24'''. Dieses ist das LAN-seitige Defaultsubnetz der meisten Fritzboxen. Andere Router nutzen aber zB. das Subnetz 192.168.0.0/24.<br />
Alle Rechner dieses Netzwerkes dürfen daraufhin auf den Cache zugreifen.<br />
Will man nur einzelne Rechner erlauben, kann dies über Einträge wie '''acl crunchers src 192.168.178.20''' erfolgen, dann wird der Squid seine Services nur dem Rechner mit der IP 192.168.178.20 ermöglichen.<br />
<br />
Den Squid nun mit der neuen Konfiguration starten:<br />
service squid start<br />
Ob der Squid genutzt wird, lässt sich einfach über sein Zugriffslog verfolgen:<br />
<br />
tail -f /var/log/squid/access.log<br />
<br />
Startet nach abgeschlossener Konfiguration eine neue native WU, kommen hier innerhalb der ersten Minuten jeweils hunderte bis tausende Einträge hinzu.<br />
<br />
= CVMFS = <br />
== Installation ==<br />
<br />
Cern CVMFS Paketinformationen ziehen, installieren und den Download wieder entfernen:<br />
wget https://ecsft.cern.ch/dist/cvmfs/cvmfs-release/cvmfs-release-latest_all.deb<br />
sudo dpkg -i cvmfs-release-latest_all.deb<br />
rm -f cvmfs-release-latest_all.deb<br />
<br />
CVMFS installieren:<br />
sudo apt-get update<br />
sudo apt-get install cvmfs cvmfs-config-default<br />
<br />
CVMFS Basissetup:<br />
sudo cvmfs_config setup<br />
sudo wget https://lhcathome.cern.ch/lhcathome/download/default.local -O /etc/cvmfs/default.local<br />
sudo cvmfs_config reload<br />
<br />
Die folgenden Schritte sind notwendig um die nativ laufenden WUs pausieren und wieder aufwecken zu können. Hierzu wird eine control group (cgroup) erstellt, die dieses ermöglicht:<br />
sudo sed -i '$ a\kernel.unprivileged_userns_clone = 1' /etc/sysctl.conf<br />
sudo sysctl -p<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/create-boinc-cgroup -O /sbin/create-boinc-cgroup<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/boinc-client.service -O /etc/systemd/system/boinc-client.service<br />
sudo systemctl daemon-reload<br />
sudo systemctl restart boinc-client <br />
<br />
LHC native läuft hiermit bereits, jedoch muss in der Konfiguration<br />
== Konfiguration == <br />
In der CVMFS Konfigurationsdatei default.local <br />
sudo nano /etc/cvmfs/default.local<br />
<br />
CVMFS_HTTP_PROXY ist auskommentiert und muss noch angepasst werden:<br />
# CVMFS_HTTP_PROXY="auto;DIRECT"<br />
=><br />
CVMFS_HTTP_PROXY="http://192.168.178.4:3128;DIRECT"<br />
<br />
Nach dem Abspeichern einmal die Konfiguration neu einlesen:<br />
cvmfs_config reload<br />
Das Kommando '''cvmfs_config stat''' zeigt jetzt ''s1cern-cvmfs.openhtc.io'' anstatt ''cvmfs-stratum-one.cern.ch'' als nächstes Cache level, zB. für ATLAS sieht das folgendermaßen aus:<br />
<small><br />
# /usr/bin/cvmfs_config stat atlas.cern.ch<br />
VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE<br />
2.8.0.0 3963658 1 24568 79806 2 1 3942964 4194305 0 130560 0 0 n/a 530 186 http://s1cern-cvmfs.openhtc.io/cvmfs/atlas.cern.ch http://192.168.178.4:3128 1<br />
</small><br />
<br />
= BOINC Client = <br />
Die Proxyeinstellungen können sowohl über die GUI als auch direkt in der cc_config.xml gesetzt werden. <br />
Eine der beiden Methoden ist ausreichend.<br />
<br />
== BOINC Manager ==<br />
<br />
Im BOINC Manager via ''Optionen'' -> ''Andere Optionen'' den Tab ''HTTP Proxy'' auswählen.<br />
<br />
Haken setzen bei "Connect via HTTP proxy server", dann Adresse und Port befüllen:<br />
Address: 192.168.178.4<br />
Port: 3128<br />
<br />
== cc_config.xml ==<br />
<cc_config><br />
<options><br />
<proxy_info><br />
<http_server_name>192.168</http_server_name><br />
<http_server_port>3128</http_server_port><br />
</proxy_info><br />
</options><br />
</cc_config><br />
<br />
Anschließend die cc_config über boinccmd neu einlesen:<br />
boinccmd --read_cc_config</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC_native_Einrichtung&diff=6632LHC native Einrichtung2021-02-26T23:38:21Z<p>Koschi: /* Konfiguration */</p>
<hr />
<div>= Einrichtung von nativen LHC Anwendungen =<br />
<br />
Diese Anleitung beschreibt die Installation von Squid und Cerns CVMFS auf Ubuntu Systemen. Analog funktioniert dies dann natürlich auch auf Debian, Mint und anderen verwandten Distributionen.<br />
Bei SuSE oder RedHat sind die entsprechenden Paketverwaltungstools (zypper/yast & yum/dnf) zu verwenden, auch kann der Squid Nutzer und dessen Gruppe eine andere sein, zB. "squid" anstelle von "proxy".<br />
<br />
= Squid =<br />
Squid ist ein cachender Proxyserver, er wird idR. genutzt um Netzinhalte zu cachen und damit den Zugriff auf diese zu beschleunigen. Damit einher geht eine Reduzierung der notwendigen Netzwerkbandbreite.<br />
Es empfiehlt sich ausdrücklich Squid über die distributionseigene Paketverwaltung zu installieren, da diese den Cache automatisch und unterhalb eines eigenen Benutzers startet. Auch Konfgurationen für die automatische Rotation der Squid log files sind enthalten, diese wachsen also nicht ins unermessliche an.<br />
<br />
== Installation ==<br />
<br />
Cacheverzeichnis anlegen:<br />
mkdir -p /var/cache/squid<br />
<br />
Squid installieren:<br />
apt install squid<br />
<br />
Squid stoppen:<br />
service squid stop<br />
<br />
Cacheverzeichnis dem Squid Benutzer "proxy" übergeben:<br />
chown -R proxy:proxy /var/cache/squid<br />
<br />
Cache Basisstruktur im Cacheverzeichnis anlegen:<br />
squid -z <br />
Hier '''zwei mal Enter''' drücken, dieser Schritt geht schnell, gibt aber keine newline zurück, scheint daher zu hängen.<br />
<br />
== Konfiguration ==<br />
<br />
Die eigentliche Konfiguration der Squidcaches erfolg anhand der im [https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=5473 LHC Forum abgelegten Konfiguration].<br />
Es lohnt sich diesen Thread nochmals zu überfliegen, da Änderungen an der Beispielkonfiguration nicht mehr im Startbeitrag eingepflegt werden können. Stand 26.02.2020 sieht die squid.conf folgendermaßen aus:<br />
<br />
<nowiki><br />
# Squid configuration for BOINC<br />
# Based on squid version 3.5<br />
# See also: http://www.squid-cache.org/<br />
<br />
# Every line starting with "#" represents a comment.<br />
<br />
# Define your local hosts/networks here.<br />
# If neither "crunchers" nor "localnet" is set none of your devices will be permitted to use the proxy.<br />
# The examples show the principle.<br />
# For advanced options read the Squid documentation.<br />
#<br />
# Examples:<br />
#<br />
# Either enter a list of IPs representing your computers that are permitted to use the proxy.<br />
# Each IP on a separate line.<br />
# acl crunchers src 198.51.100.20<br />
# acl crunchers src 198.51.100.31<br />
# acl crunchers src 198.51.100.37<br />
# acl crunchers src 198.51.100.42<br />
#<br />
# Or enter complete network ranges.<br />
# Be aware that this may permit devices like printers or TVs that you may not want to use the proxy.<br />
# acl localnet src 192.0.2.0/24<br />
# acl localnet src 198.51.100.0/24<br />
acl localnet src 192.168.178.0/24<br />
<br />
<br />
acl SSL_ports port 443<br />
acl Safe_ports port 80<br />
acl Safe_ports port 443<br />
acl Safe_ports port 1025-65535 # unregistered ports<br />
<br />
acl CONNECT method CONNECT<br />
<br />
follow_x_forwarded_for allow localhost<br />
follow_x_forwarded_for deny all<br />
<br />
<br />
#<br />
# Start of extra section 1<br />
# Requests that need special handling<br />
<br />
# worldcommunitygrid doesn't like it if data is taken from the local cache<br />
acl wcg_nocache dstdomain .worldcommunitygrid.org<br />
cache deny wcg_nocache<br />
<br />
<br />
# if CVMFS uses geoapi, ensure it's checked directly<br />
acl cvmfs_geoapi urlpath_regex -i ^/+cvmfs/+[0-9a-z._~-]+/+api/+[0-9a-z._~-]+/+geo/+[0-9a-z._~-]+/+[0-9a-z.,_~-]+<br />
cache deny cvmfs_geoapi<br />
<br />
<br />
# avoids polluting the disk cache with typical onetimers, e.g. ATLAS job data<br />
acl boinc_nocache urlpath_regex -i /download[0-9a-z._~-]*/+[0-9a-z._~-]+/+.+<br />
cache deny boinc_nocache<br />
<br />
<br />
# seriously: do NOT cache that!<br />
# Based on a frontier cache suggestion<br />
acl PragmaNoCache req_header Pragma no-cache<br />
cache deny PragmaNoCache<br />
<br />
# End of extra section 1<br />
#<br />
<br />
acl Purge method PURGE<br />
<br />
http_access deny !Safe_ports<br />
http_access deny CONNECT !SSL_ports<br />
http_access allow localhost manager<br />
http_access deny manager<br />
http_access deny to_localhost<br />
<br />
#<br />
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS<br />
# Depending on the definition of "crunchers" or "localnet" above at least 1 of the following lines must be uncommented.<br />
# Examples:<br />
# http_access allow crunchers<br />
# http_access allow localnet<br />
<br />
http_access allow localhost<br />
# Last "http_access" line.<br />
# Order matters, hence all "http_access" lines following this one will be ignored.<br />
http_access deny all<br />
<br />
# http_port<br />
# don't bind it to an IP that is accessible from outside unless you know what you do.<br />
# Examples:<br />
# http_port localhost:3128<br />
#<br />
# This assumes 198.51.100.99 is the external IP of the Squid box<br />
# http_port 198.51.100.99:3128<br />
#<br />
# default setting that binds Squid to all IPs of the Squid box<br />
http_port 3128<br />
<br />
<br />
# A MUST on Windows.<br />
# If unsure try the the LAN IP of your internet router.<br />
# Avoid using external DNS here.<br />
# On Linux this option shouldn't be necessary<br />
# dns_nameservers 198.51.100.1<br />
<br />
max_filedescriptors 4096<br />
<br />
# Required OFF for intercepted traffic from LHCb VMs<br />
client_dst_passthru off<br />
<br />
# You don't believe this is enough?<br />
# For sure, it is!<br />
cache_mem 256 MB<br />
maximum_object_size_in_memory 24 KB<br />
memory_replacement_policy heap GDSF<br />
<br />
<br />
# Keep it large enough to store vdi files in the cache.<br />
# See extra section 1 how to avoid onetimers eating up your disk storage.<br />
# min-size=xxx keeps very small files away from your disk<br />
# 20000 limits the disk cache to 20 GB<br />
cache_replacement_policy heap LFUDA<br />
maximum_object_size 6144 MB<br />
cache_dir aufs /var/cache/squid 20000 16 64 min-size=7937<br />
<br />
# default=10<br />
logfile_rotate 10<br />
<br />
# logformat has to be changed according to your needs and the capabilities of your logfile analyser<br />
logformat my_awstats %>A %lp %ui %un [%tl] "%rm %>ru HTTP/%rv" %>Hs %st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh<br />
access_log stdio:/var/log/squid/access.log logformat=my_awstats<br />
#access_log none<br />
strip_query_terms off<br />
<br />
coredump_dir none<br />
ftp_user anonymous@<br />
<br />
# max_stale 1 week #default<br />
# extended to be prepared for a project reset<br />
max_stale 37 days<br />
<br />
# 1 line is required to avoid the ancient default settings<br />
# be conservative<br />
# don't violate the HTTP standards<br />
refresh_pattern . 0 0% 0<br />
<br />
store_avg_object_size 1800 KB<br />
<br />
shutdown_lifetime 0 seconds<br />
<br />
# booster 1!<br />
collapsed_forwarding on<br />
<br />
# booster 2!<br />
client_persistent_connections on<br />
server_persistent_connections on<br />
<br />
log_icp_queries off<br />
<br />
dns_defnames on<br />
dns_v4_first on<br />
<br />
forwarded_for transparent<br />
<br />
##### End of squid.conf</nowiki><br />
<br />
Anzupassen ist hier der Parameter '''acl localnet src 192.168.178.0/24'''. Dieses ist das LAN-seitige Defaultsubnetz der meisten Fritzboxen. Andere Router nutzen aber zB. das Subnetz 192.168.0.0/24.<br />
Alle Rechner dieses Netzwerkes dürfen daraufhin auf den Cache zugreifen.<br />
Will man nur einzelne Rechner erlauben, kann dies über Einträge wie '''acl crunchers src 192.168.178.20''' erfolgen, dann wird der Squid seine Services nur dem Rechner mit der IP 192.168.178.20 ermöglichen.<br />
<br />
Den Squid nun mit der neuen Konfiguration starten:<br />
service squid start<br />
Ob der Squid genutzt wird, lässt sich einfach über sein Zugrifflog verfolgen:<br />
<br />
tail -f /var/log/squid/access.log<br />
<br />
Startet nach abgeschlossener Konfiguration eine neue native WU, kommen hier innerhalb der ersten Minuten jeweils hunderte bis tausende Einträge hinzu.<br />
<br />
= CVMFS = <br />
== Installation ==<br />
<br />
Cern CVMFS Paketinformationen ziehen, installieren und den Download wieder entfernen:<br />
wget https://ecsft.cern.ch/dist/cvmfs/cvmfs-release/cvmfs-release-latest_all.deb<br />
sudo dpkg -i cvmfs-release-latest_all.deb<br />
rm -f cvmfs-release-latest_all.deb<br />
<br />
CVMFS installieren:<br />
sudo apt-get update<br />
sudo apt-get install cvmfs cvmfs-config-default<br />
<br />
CVMFS Basissetup:<br />
sudo cvmfs_config setup<br />
sudo wget https://lhcathome.cern.ch/lhcathome/download/default.local -O /etc/cvmfs/default.local<br />
sudo cvmfs_config reload<br />
<br />
Die folgenden Schritte sind notwendig um die nativ laufenden WUs pausieren und wieder aufwecken zu können. Hierzu wird eine control group (cgroup) erstellt, die dieses ermöglicht:<br />
sudo sed -i '$ a\kernel.unprivileged_userns_clone = 1' /etc/sysctl.conf<br />
sudo sysctl -p<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/create-boinc-cgroup -O /sbin/create-boinc-cgroup<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/boinc-client.service -O /etc/systemd/system/boinc-client.service<br />
sudo systemctl daemon-reload<br />
sudo systemctl restart boinc-client <br />
<br />
LHC native läuft hiermit bereits, jedoch muss in der Konfiguration<br />
== Konfiguration == <br />
In der CVMFS Konfigurationsdatei default.local <br />
sudo nano /etc/cvmfs/default.local<br />
<br />
CVMFS_HTTP_PROXY ist auskommentiert und muss noch angepasst werden:<br />
# CVMFS_HTTP_PROXY="auto;DIRECT"<br />
=><br />
CVMFS_HTTP_PROXY="http://192.168.178.4:3128;DIRECT"<br />
<br />
Nach dem Abspeichern einmal die Konfiguration neu einlesen:<br />
cvmfs_config reload<br />
Das Kommando '''cvmfs_config stat''' zeigt jetzt ''s1cern-cvmfs.openhtc.io'' anstatt ''cvmfs-stratum-one.cern.ch'' als nächstes Cache level, zB. für ATLAS sieht das folgendermaßen aus:<br />
<small><br />
# /usr/bin/cvmfs_config stat atlas.cern.ch<br />
VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE<br />
2.8.0.0 3963658 1 24568 79806 2 1 3942964 4194305 0 130560 0 0 n/a 530 186 http://s1cern-cvmfs.openhtc.io/cvmfs/atlas.cern.ch http://192.168.178.4:3128 1<br />
</small><br />
<br />
= BOINC Client = <br />
Die Proxyeinstellungen können sowohl über die GUI als auch direkt in der cc_config.xml gesetzt werden. <br />
Eine der beiden Methoden ist ausreichend.<br />
<br />
== BOINC Manager ==<br />
<br />
Im BOINC Manager via ''Optionen'' -> ''Andere Optionen'' den Tab ''HTTP Proxy'' auswählen.<br />
<br />
Haken setzen bei "Connect via HTTP proxy server", dann Adresse und Port befüllen:<br />
Address: 192.168.178.4<br />
Port: 3128<br />
<br />
== cc_config.xml ==<br />
<cc_config><br />
<options><br />
<proxy_info><br />
<http_server_name>192.168</http_server_name><br />
<http_server_port>3128</http_server_port><br />
</proxy_info><br />
</options><br />
</cc_config><br />
<br />
Anschließend die cc_config über boinccmd neu einlesen:<br />
boinccmd --read_cc_config</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC_native_Einrichtung&diff=6631LHC native Einrichtung2021-02-26T23:37:40Z<p>Koschi: /* Konfiguration */</p>
<hr />
<div>= Einrichtung von nativen LHC Anwendungen =<br />
<br />
Diese Anleitung beschreibt die Installation von Squid und Cerns CVMFS auf Ubuntu Systemen. Analog funktioniert dies dann natürlich auch auf Debian, Mint und anderen verwandten Distributionen.<br />
Bei SuSE oder RedHat sind die entsprechenden Paketverwaltungstools (zypper/yast & yum/dnf) zu verwenden, auch kann der Squid Nutzer und dessen Gruppe eine andere sein, zB. "squid" anstelle von "proxy".<br />
<br />
= Squid =<br />
Squid ist ein cachender Proxyserver, er wird idR. genutzt um Netzinhalte zu cachen und damit den Zugriff auf diese zu beschleunigen. Damit einher geht eine Reduzierung der notwendigen Netzwerkbandbreite.<br />
Es empfiehlt sich ausdrücklich Squid über die distributionseigene Paketverwaltung zu installieren, da diese den Cache automatisch und unterhalb eines eigenen Benutzers startet. Auch Konfgurationen für die automatische Rotation der Squid log files sind enthalten, diese wachsen also nicht ins unermessliche an.<br />
<br />
== Installation ==<br />
<br />
Cacheverzeichnis anlegen:<br />
mkdir -p /var/cache/squid<br />
<br />
Squid installieren:<br />
apt install squid<br />
<br />
Squid stoppen:<br />
service squid stop<br />
<br />
Cacheverzeichnis dem Squid Benutzer "proxy" übergeben:<br />
chown -R proxy:proxy /var/cache/squid<br />
<br />
Cache Basisstruktur im Cacheverzeichnis anlegen:<br />
squid -z <br />
Hier '''zwei mal Enter''' drücken, dieser Schritt geht schnell, gibt aber keine newline zurück, scheint daher zu hängen.<br />
<br />
== Konfiguration ==<br />
<br />
Die eigentliche Konfiguration der Squidcaches erfolg anhand der im [https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=5473 LHC Forum abgelegten Konfiguration].<br />
Es lohnt sich diesen Thread nochmals zu überfliegen, da Änderungen an der Beispielkonfiguration nicht mehr im Startbeitrag eingepflegt werden können. Stand 26.02.2020 sieht die squid.conf folgendermaßen aus:<br />
<br />
<nowiki><br />
# Squid configuration for BOINC<br />
# Based on squid version 3.5<br />
# See also: http://www.squid-cache.org/<br />
<br />
# Every line starting with "#" represents a comment.<br />
<br />
# Define your local hosts/networks here.<br />
# If neither "crunchers" nor "localnet" is set none of your devices will be permitted to use the proxy.<br />
# The examples show the principle.<br />
# For advanced options read the Squid documentation.<br />
#<br />
# Examples:<br />
#<br />
# Either enter a list of IPs representing your computers that are permitted to use the proxy.<br />
# Each IP on a separate line.<br />
# acl crunchers src 198.51.100.20<br />
# acl crunchers src 198.51.100.31<br />
# acl crunchers src 198.51.100.37<br />
# acl crunchers src 198.51.100.42<br />
#<br />
# Or enter complete network ranges.<br />
# Be aware that this may permit devices like printers or TVs that you may not want to use the proxy.<br />
# acl localnet src 192.0.2.0/24<br />
# acl localnet src 198.51.100.0/24<br />
acl localnet src 192.168.178.0/24<br />
<br />
<br />
acl SSL_ports port 443<br />
acl Safe_ports port 80<br />
acl Safe_ports port 443<br />
acl Safe_ports port 1025-65535 # unregistered ports<br />
<br />
acl CONNECT method CONNECT<br />
<br />
follow_x_forwarded_for allow localhost<br />
follow_x_forwarded_for deny all<br />
<br />
<br />
#<br />
# Start of extra section 1<br />
# Requests that need special handling<br />
<br />
# worldcommunitygrid doesn't like it if data is taken from the local cache<br />
acl wcg_nocache dstdomain .worldcommunitygrid.org<br />
cache deny wcg_nocache<br />
<br />
<br />
# if CVMFS uses geoapi, ensure it's checked directly<br />
acl cvmfs_geoapi urlpath_regex -i ^/+cvmfs/+[0-9a-z._~-]+/+api/+[0-9a-z._~-]+/+geo/+[0-9a-z._~-]+/+[0-9a-z.,_~-]+<br />
cache deny cvmfs_geoapi<br />
<br />
<br />
# avoids polluting the disk cache with typical onetimers, e.g. ATLAS job data<br />
acl boinc_nocache urlpath_regex -i /download[0-9a-z._~-]*/+[0-9a-z._~-]+/+.+<br />
cache deny boinc_nocache<br />
<br />
<br />
# seriously: do NOT cache that!<br />
# Based on a frontier cache suggestion<br />
acl PragmaNoCache req_header Pragma no-cache<br />
cache deny PragmaNoCache<br />
<br />
# End of extra section 1<br />
#<br />
<br />
acl Purge method PURGE<br />
<br />
http_access deny !Safe_ports<br />
http_access deny CONNECT !SSL_ports<br />
http_access allow localhost manager<br />
http_access deny manager<br />
http_access deny to_localhost<br />
<br />
#<br />
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS<br />
# Depending on the definition of "crunchers" or "localnet" above at least 1 of the following lines must be uncommented.<br />
# Examples:<br />
# http_access allow crunchers<br />
# http_access allow localnet<br />
<br />
http_access allow localhost<br />
# Last "http_access" line.<br />
# Order matters, hence all "http_access" lines following this one will be ignored.<br />
http_access deny all<br />
<br />
# http_port<br />
# don't bind it to an IP that is accessible from outside unless you know what you do.<br />
# Examples:<br />
# http_port localhost:3128<br />
#<br />
# This assumes 198.51.100.99 is the external IP of the Squid box<br />
# http_port 198.51.100.99:3128<br />
#<br />
# default setting that binds Squid to all IPs of the Squid box<br />
http_port 3128<br />
<br />
<br />
# A MUST on Windows.<br />
# If unsure try the the LAN IP of your internet router.<br />
# Avoid using external DNS here.<br />
# On Linux this option shouldn't be necessary<br />
# dns_nameservers 198.51.100.1<br />
<br />
max_filedescriptors 4096<br />
<br />
# Required OFF for intercepted traffic from LHCb VMs<br />
client_dst_passthru off<br />
<br />
# You don't believe this is enough?<br />
# For sure, it is!<br />
cache_mem 256 MB<br />
maximum_object_size_in_memory 24 KB<br />
memory_replacement_policy heap GDSF<br />
<br />
<br />
# Keep it large enough to store vdi files in the cache.<br />
# See extra section 1 how to avoid onetimers eating up your disk storage.<br />
# min-size=xxx keeps very small files away from your disk<br />
# 20000 limits the disk cache to 20 GB<br />
cache_replacement_policy heap LFUDA<br />
maximum_object_size 6144 MB<br />
cache_dir aufs /var/cache/squid 20000 16 64 min-size=7937<br />
<br />
# default=10<br />
logfile_rotate 10<br />
<br />
# logformat has to be changed according to your needs and the capabilities of your logfile analyser<br />
logformat my_awstats %>A %lp %ui %un [%tl] "%rm %>ru HTTP/%rv" %>Hs %st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh<br />
access_log stdio:/var/log/squid/access.log logformat=my_awstats<br />
#access_log none<br />
strip_query_terms off<br />
<br />
coredump_dir none<br />
ftp_user anonymous@<br />
<br />
# max_stale 1 week #default<br />
# extended to be prepared for a project reset<br />
max_stale 37 days<br />
<br />
# 1 line is required to avoid the ancient default settings<br />
# be conservative<br />
# don't violate the HTTP standards<br />
refresh_pattern . 0 0% 0<br />
<br />
store_avg_object_size 1800 KB<br />
<br />
shutdown_lifetime 0 seconds<br />
<br />
# booster 1!<br />
collapsed_forwarding on<br />
<br />
# booster 2!<br />
client_persistent_connections on<br />
server_persistent_connections on<br />
<br />
log_icp_queries off<br />
<br />
dns_defnames on<br />
dns_v4_first on<br />
<br />
forwarded_for transparent<br />
<br />
##### End of squid.conf</nowiki><br />
<br />
Anzupassen ist hier der Parameter '''acl localnet src 192.168.178.0/24'''. Dieses ist das LAN-seitige Defaultsubnetz der meisten Fritzboxen. Andere Router nutzen aber zB. das Subnetz 192.168.0.0/24.<br />
Alle Rechner dieses Netzwerkes dürfen daraufhin auf den Cache zugreifen.<br />
Will man nur einzelne Rechner erlauben, kann dies über Einträge wie '''acl crunchers src 192.168.178.20''' erfolgen, dann wird der Squid seine Services nur dem Rechner mit der IP 192.168.178.20 ermöglichen.<br />
<br />
Den Squid nun mit der neuen Konfiguration starten:<br />
service squid start<br />
Ob der Squid genutzt wird, lässt sich einfach über sein Zugrifflog verfolgen:<br />
<br />
tail -f /var/log/squid/access.log<br />
<br />
Startet nach abgeschlossener Konfiguration eine neue native WU, kommen hier innerhalb der ersten Minuten jeweils hunderte bis tausende Einträge hinzu.<br />
<br />
= CVMFS = <br />
== Installation ==<br />
<br />
Cern CVMFS Paketinformationen ziehen, installieren und den Download wieder entfernen:<br />
wget https://ecsft.cern.ch/dist/cvmfs/cvmfs-release/cvmfs-release-latest_all.deb<br />
sudo dpkg -i cvmfs-release-latest_all.deb<br />
rm -f cvmfs-release-latest_all.deb<br />
<br />
CVMFS installieren:<br />
sudo apt-get update<br />
sudo apt-get install cvmfs cvmfs-config-default<br />
<br />
CVMFS Basissetup:<br />
sudo cvmfs_config setup<br />
sudo wget https://lhcathome.cern.ch/lhcathome/download/default.local -O /etc/cvmfs/default.local<br />
sudo cvmfs_config reload<br />
<br />
Die folgenden Schritte sind notwendig um die nativ laufenden WUs pausieren und wieder aufwecken zu können. Hierzu wird eine control group (cgroup) erstellt, die dieses ermöglicht:<br />
sudo sed -i '$ a\kernel.unprivileged_userns_clone = 1' /etc/sysctl.conf<br />
sudo sysctl -p<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/create-boinc-cgroup -O /sbin/create-boinc-cgroup<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/boinc-client.service -O /etc/systemd/system/boinc-client.service<br />
sudo systemctl daemon-reload<br />
sudo systemctl restart boinc-client <br />
<br />
LHC native läuft hiermit bereits, jedoch muss in der Konfiguration<br />
== Konfiguration == <br />
In der CVMFS Konfigurationsdatei default.local <br />
sudo nano /etc/cvmfs/default.local<br />
<br />
CVMFS_HTTP_PROXY ist auskommentiert und muss noch angepasst werden:<br />
# CVMFS_HTTP_PROXY="auto;DIRECT"<br />
=><br />
CVMFS_HTTP_PROXY="http://192.168.178.4:3128;DIRECT"<br />
<br />
Nach dem Abspeichern einmal die Konfiguration neu einlesen:<br />
cvmfs_config reload<br />
Das Kommando '''cvmfs_config stat''' zeigt jetzt ''s1cern-cvmfs.openhtc.io'' anstatt ''cvmfs-stratum-one.cern.ch'' als nächstes Cache level, zB. für ATLAS sieht das folgendermaßen aus:<br />
<small><br />
#/usr/bin/cvmfs_config stat atlas.cern.ch<br />
VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE<br />
2.8.0.0 3963658 1 24568 79806 2 1 3942964 4194305 0 130560 0 0 n/a 530 186 http://s1cern-cvmfs.openhtc.io/cvmfs/atlas.cern.ch http://192.168.178.4:3128 1<br />
</small><br />
<br />
= BOINC Client = <br />
Die Proxyeinstellungen können sowohl über die GUI als auch direkt in der cc_config.xml gesetzt werden. <br />
Eine der beiden Methoden ist ausreichend.<br />
<br />
== BOINC Manager ==<br />
<br />
Im BOINC Manager via ''Optionen'' -> ''Andere Optionen'' den Tab ''HTTP Proxy'' auswählen.<br />
<br />
Haken setzen bei "Connect via HTTP proxy server", dann Adresse und Port befüllen:<br />
Address: 192.168.178.4<br />
Port: 3128<br />
<br />
== cc_config.xml ==<br />
<cc_config><br />
<options><br />
<proxy_info><br />
<http_server_name>192.168</http_server_name><br />
<http_server_port>3128</http_server_port><br />
</proxy_info><br />
</options><br />
</cc_config><br />
<br />
Anschließend die cc_config über boinccmd neu einlesen:<br />
boinccmd --read_cc_config</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC_native_Einrichtung&diff=6630LHC native Einrichtung2021-02-26T23:37:22Z<p>Koschi: /* CVMFS */</p>
<hr />
<div>= Einrichtung von nativen LHC Anwendungen =<br />
<br />
Diese Anleitung beschreibt die Installation von Squid und Cerns CVMFS auf Ubuntu Systemen. Analog funktioniert dies dann natürlich auch auf Debian, Mint und anderen verwandten Distributionen.<br />
Bei SuSE oder RedHat sind die entsprechenden Paketverwaltungstools (zypper/yast & yum/dnf) zu verwenden, auch kann der Squid Nutzer und dessen Gruppe eine andere sein, zB. "squid" anstelle von "proxy".<br />
<br />
= Squid =<br />
Squid ist ein cachender Proxyserver, er wird idR. genutzt um Netzinhalte zu cachen und damit den Zugriff auf diese zu beschleunigen. Damit einher geht eine Reduzierung der notwendigen Netzwerkbandbreite.<br />
Es empfiehlt sich ausdrücklich Squid über die distributionseigene Paketverwaltung zu installieren, da diese den Cache automatisch und unterhalb eines eigenen Benutzers startet. Auch Konfgurationen für die automatische Rotation der Squid log files sind enthalten, diese wachsen also nicht ins unermessliche an.<br />
<br />
== Installation ==<br />
<br />
Cacheverzeichnis anlegen:<br />
mkdir -p /var/cache/squid<br />
<br />
Squid installieren:<br />
apt install squid<br />
<br />
Squid stoppen:<br />
service squid stop<br />
<br />
Cacheverzeichnis dem Squid Benutzer "proxy" übergeben:<br />
chown -R proxy:proxy /var/cache/squid<br />
<br />
Cache Basisstruktur im Cacheverzeichnis anlegen:<br />
squid -z <br />
Hier '''zwei mal Enter''' drücken, dieser Schritt geht schnell, gibt aber keine newline zurück, scheint daher zu hängen.<br />
<br />
== Konfiguration ==<br />
<br />
Die eigentliche Konfiguration der Squidcaches erfolg anhand der im [https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=5473 LHC Forum abgelegten Konfiguration].<br />
Es lohnt sich diesen Thread nochmals zu überfliegen, da Änderungen an der Beispielkonfiguration nicht mehr im Startbeitrag eingepflegt werden können. Stand 26.02.2020 sieht die squid.conf folgendermaßen aus:<br />
<br />
<nowiki><br />
# Squid configuration for BOINC<br />
# Based on squid version 3.5<br />
# See also: http://www.squid-cache.org/<br />
<br />
# Every line starting with "#" represents a comment.<br />
<br />
# Define your local hosts/networks here.<br />
# If neither "crunchers" nor "localnet" is set none of your devices will be permitted to use the proxy.<br />
# The examples show the principle.<br />
# For advanced options read the Squid documentation.<br />
#<br />
# Examples:<br />
#<br />
# Either enter a list of IPs representing your computers that are permitted to use the proxy.<br />
# Each IP on a separate line.<br />
# acl crunchers src 198.51.100.20<br />
# acl crunchers src 198.51.100.31<br />
# acl crunchers src 198.51.100.37<br />
# acl crunchers src 198.51.100.42<br />
#<br />
# Or enter complete network ranges.<br />
# Be aware that this may permit devices like printers or TVs that you may not want to use the proxy.<br />
# acl localnet src 192.0.2.0/24<br />
# acl localnet src 198.51.100.0/24<br />
acl localnet src 192.168.178.0/24<br />
<br />
<br />
acl SSL_ports port 443<br />
acl Safe_ports port 80<br />
acl Safe_ports port 443<br />
acl Safe_ports port 1025-65535 # unregistered ports<br />
<br />
acl CONNECT method CONNECT<br />
<br />
follow_x_forwarded_for allow localhost<br />
follow_x_forwarded_for deny all<br />
<br />
<br />
#<br />
# Start of extra section 1<br />
# Requests that need special handling<br />
<br />
# worldcommunitygrid doesn't like it if data is taken from the local cache<br />
acl wcg_nocache dstdomain .worldcommunitygrid.org<br />
cache deny wcg_nocache<br />
<br />
<br />
# if CVMFS uses geoapi, ensure it's checked directly<br />
acl cvmfs_geoapi urlpath_regex -i ^/+cvmfs/+[0-9a-z._~-]+/+api/+[0-9a-z._~-]+/+geo/+[0-9a-z._~-]+/+[0-9a-z.,_~-]+<br />
cache deny cvmfs_geoapi<br />
<br />
<br />
# avoids polluting the disk cache with typical onetimers, e.g. ATLAS job data<br />
acl boinc_nocache urlpath_regex -i /download[0-9a-z._~-]*/+[0-9a-z._~-]+/+.+<br />
cache deny boinc_nocache<br />
<br />
<br />
# seriously: do NOT cache that!<br />
# Based on a frontier cache suggestion<br />
acl PragmaNoCache req_header Pragma no-cache<br />
cache deny PragmaNoCache<br />
<br />
# End of extra section 1<br />
#<br />
<br />
acl Purge method PURGE<br />
<br />
http_access deny !Safe_ports<br />
http_access deny CONNECT !SSL_ports<br />
http_access allow localhost manager<br />
http_access deny manager<br />
http_access deny to_localhost<br />
<br />
#<br />
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS<br />
# Depending on the definition of "crunchers" or "localnet" above at least 1 of the following lines must be uncommented.<br />
# Examples:<br />
# http_access allow crunchers<br />
# http_access allow localnet<br />
<br />
http_access allow localhost<br />
# Last "http_access" line.<br />
# Order matters, hence all "http_access" lines following this one will be ignored.<br />
http_access deny all<br />
<br />
# http_port<br />
# don't bind it to an IP that is accessible from outside unless you know what you do.<br />
# Examples:<br />
# http_port localhost:3128<br />
#<br />
# This assumes 198.51.100.99 is the external IP of the Squid box<br />
# http_port 198.51.100.99:3128<br />
#<br />
# default setting that binds Squid to all IPs of the Squid box<br />
http_port 3128<br />
<br />
<br />
# A MUST on Windows.<br />
# If unsure try the the LAN IP of your internet router.<br />
# Avoid using external DNS here.<br />
# On Linux this option shouldn't be necessary<br />
# dns_nameservers 198.51.100.1<br />
<br />
max_filedescriptors 4096<br />
<br />
# Required OFF for intercepted traffic from LHCb VMs<br />
client_dst_passthru off<br />
<br />
# You don't believe this is enough?<br />
# For sure, it is!<br />
cache_mem 256 MB<br />
maximum_object_size_in_memory 24 KB<br />
memory_replacement_policy heap GDSF<br />
<br />
<br />
# Keep it large enough to store vdi files in the cache.<br />
# See extra section 1 how to avoid onetimers eating up your disk storage.<br />
# min-size=xxx keeps very small files away from your disk<br />
# 20000 limits the disk cache to 20 GB<br />
cache_replacement_policy heap LFUDA<br />
maximum_object_size 6144 MB<br />
cache_dir aufs /var/cache/squid 20000 16 64 min-size=7937<br />
<br />
# default=10<br />
logfile_rotate 10<br />
<br />
# logformat has to be changed according to your needs and the capabilities of your logfile analyser<br />
logformat my_awstats %>A %lp %ui %un [%tl] "%rm %>ru HTTP/%rv" %>Hs %st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh<br />
access_log stdio:/var/log/squid/access.log logformat=my_awstats<br />
#access_log none<br />
strip_query_terms off<br />
<br />
coredump_dir none<br />
ftp_user anonymous@<br />
<br />
# max_stale 1 week #default<br />
# extended to be prepared for a project reset<br />
max_stale 37 days<br />
<br />
# 1 line is required to avoid the ancient default settings<br />
# be conservative<br />
# don't violate the HTTP standards<br />
refresh_pattern . 0 0% 0<br />
<br />
store_avg_object_size 1800 KB<br />
<br />
shutdown_lifetime 0 seconds<br />
<br />
# booster 1!<br />
collapsed_forwarding on<br />
<br />
# booster 2!<br />
client_persistent_connections on<br />
server_persistent_connections on<br />
<br />
log_icp_queries off<br />
<br />
dns_defnames on<br />
dns_v4_first on<br />
<br />
forwarded_for transparent<br />
<br />
##### End of squid.conf</nowiki><br />
<br />
Anzupassen ist hier der Parameter '''acl localnet src 192.168.178.0/24'''. Dieses ist das LAN-seitige Defaultsubnetz der meisten Fritzboxen. Andere Router nutzen aber zB. das Subnetz 192.168.0.0/24.<br />
Alle Rechner dieses Netzwerkes dürfen daraufhin auf den Cache zugreifen.<br />
Will man nur einzelne Rechner erlauben, kann dies über Einträge wie '''acl crunchers src 192.168.178.20''' erfolgen, dann wird der Squid seine Services nur dem Rechner mit der IP 192.168.178.20 ermöglichen.<br />
<br />
Den Squid nun mit der neuen Konfiguration starten:<br />
service squid start<br />
Ob der Squid genutzt wird, lässt sich einfach über sein Zugrifflog verfolgen:<br />
<br />
tail -f /var/log/squid/access.log<br />
<br />
Startet nach abgeschlossener Konfiguration eine neue native WU, kommen hier innerhalb der ersten Minuten jeweils hunderte bis tausende Einträge hinzu.<br />
<br />
= CVMFS = <br />
== Installation ==<br />
<br />
Cern CVMFS Paketinformationen ziehen, installieren und den Download wieder entfernen:<br />
wget https://ecsft.cern.ch/dist/cvmfs/cvmfs-release/cvmfs-release-latest_all.deb<br />
sudo dpkg -i cvmfs-release-latest_all.deb<br />
rm -f cvmfs-release-latest_all.deb<br />
<br />
CVMFS installieren:<br />
sudo apt-get update<br />
sudo apt-get install cvmfs cvmfs-config-default<br />
<br />
CVMFS Basissetup:<br />
sudo cvmfs_config setup<br />
sudo wget https://lhcathome.cern.ch/lhcathome/download/default.local -O /etc/cvmfs/default.local<br />
sudo cvmfs_config reload<br />
<br />
Die folgenden Schritte sind notwendig um die nativ laufenden WUs pausieren und wieder aufwecken zu können. Hierzu wird eine control group (cgroup) erstellt, die dieses ermöglicht:<br />
sudo sed -i '$ a\kernel.unprivileged_userns_clone = 1' /etc/sysctl.conf<br />
sudo sysctl -p<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/create-boinc-cgroup -O /sbin/create-boinc-cgroup<br />
sudo wget http://lhcathome.cern.ch/lhcathome/download/boinc-client.service -O /etc/systemd/system/boinc-client.service<br />
sudo systemctl daemon-reload<br />
sudo systemctl restart boinc-client <br />
<br />
LHC native läuft hiermit bereits, jedoch muss in der Konfiguration<br />
== Konfiguration == <br />
In der CVMFS Konfigurationsdatei default.local <br />
sudo nano /etc/cvmfs/default.local<br />
<br />
CVMFS_HTTP_PROXY ist auskommentiert und muss noch angepasst werden:<br />
# CVMFS_HTTP_PROXY="auto;DIRECT"<br />
=><br />
CVMFS_HTTP_PROXY="http://192.168.178.4:3128;DIRECT"<br />
<br />
Nach dem Abspeichern einmal die Konfiguration neu einlesen:<br />
cvmfs_config reload<br />
Das Kommando '''cvmfs_config stat''' zeigt jetzt ''s1cern-cvmfs.openhtc.io'' anstatt ''cvmfs-stratum-one.cern.ch'' als nächstes Cache level, zB. für ATLAS sieht das folgendermaßen aus:<br />
<small><br />
#/usr/bin/cvmfs_config stat atlas.cern.ch<br />
VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE<br />
2.8.0.0 3963658 1 24568 79806 2 1 3942964 4194305 0 130560 0 0 n/a 530 186 http://s1cern-cvmfs.openhtc.io/cvmfs/atlas.cern.ch http://192.168.178.4:3128 1<br />
</small>><br />
<br />
= BOINC Client = <br />
Die Proxyeinstellungen können sowohl über die GUI als auch direkt in der cc_config.xml gesetzt werden. <br />
Eine der beiden Methoden ist ausreichend.<br />
<br />
== BOINC Manager ==<br />
<br />
Im BOINC Manager via ''Optionen'' -> ''Andere Optionen'' den Tab ''HTTP Proxy'' auswählen.<br />
<br />
Haken setzen bei "Connect via HTTP proxy server", dann Adresse und Port befüllen:<br />
Address: 192.168.178.4<br />
Port: 3128<br />
<br />
== cc_config.xml ==<br />
<cc_config><br />
<options><br />
<proxy_info><br />
<http_server_name>192.168</http_server_name><br />
<http_server_port>3128</http_server_port><br />
</proxy_info><br />
</options><br />
</cc_config><br />
<br />
Anschließend die cc_config über boinccmd neu einlesen:<br />
boinccmd --read_cc_config</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC_native_Einrichtung&diff=6629LHC native Einrichtung2021-02-26T21:10:09Z<p>Koschi: </p>
<hr />
<div>= Einrichtung von nativen LHC Anwendungen =<br />
<br />
Diese Anleitung beschreibt die Installation von Squid und Cerns CVMFS auf Ubuntu Systemen. Analog funktioniert dies dann natürlich auch auf Debian, Mint und anderen verwandten Distributionen.<br />
Bei SuSE oder RedHat sind die entsprechenden Paketverwaltungstools (zypper/yast & yum/dnf) zu verwenden, auch kann der Squid Nutzer und dessen Gruppe eine andere sein, zB. "squid" anstelle von "proxy".<br />
<br />
= Squid =<br />
Squid ist ein cachender Proxyserver, er wird idR. genutzt um Netzinhalte zu cachen und damit den Zugriff auf diese zu beschleunigen. Damit einher geht eine Reduzierung der notwendigen Netzwerkbandbreite.<br />
Es empfiehlt sich ausdrücklich Squid über die distributionseigene Paketverwaltung zu installieren, da diese den Cache automatisch und unterhalb eines eigenen Benutzers startet. Auch Konfgurationen für die automatische Rotation der Squid log files sind enthalten, diese wachsen also nicht ins unermessliche an.<br />
<br />
== Installation ==<br />
<br />
Cacheverzeichnis anlegen:<br />
mkdir -p /var/cache/squid<br />
<br />
Squid installieren:<br />
apt install squid<br />
<br />
Squid stoppen:<br />
service squid stop<br />
<br />
Cacheverzeichnis dem Squid Benutzer "proxy" übergeben:<br />
chown -R proxy:proxy /var/cache/squid<br />
<br />
Cache Basisstruktur im Cacheverzeichnis anlegen:<br />
squid -z <br />
Hier '''zwei mal Enter''' drücken, dieser Schritt geht schnell, gibt aber keine newline zurück, scheint daher zu hängen.<br />
<br />
== Konfiguration ==<br />
<br />
Die eigentliche Konfiguration der Squidcaches erfolg anhand der im [https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=5473 LHC Forum abgelegten Konfiguration].<br />
Es lohnt sich diesen Thread nochmals zu überfliegen, da Änderungen an der Beispielkonfiguration nicht mehr im Startbeitrag eingepflegt werden können. Stand 26.02.2020 sieht die squid.conf folgendermaßen aus:<br />
<br />
<nowiki><br />
# Squid configuration for BOINC<br />
# Based on squid version 3.5<br />
# See also: http://www.squid-cache.org/<br />
<br />
# Every line starting with "#" represents a comment.<br />
<br />
# Define your local hosts/networks here.<br />
# If neither "crunchers" nor "localnet" is set none of your devices will be permitted to use the proxy.<br />
# The examples show the principle.<br />
# For advanced options read the Squid documentation.<br />
#<br />
# Examples:<br />
#<br />
# Either enter a list of IPs representing your computers that are permitted to use the proxy.<br />
# Each IP on a separate line.<br />
# acl crunchers src 198.51.100.20<br />
# acl crunchers src 198.51.100.31<br />
# acl crunchers src 198.51.100.37<br />
# acl crunchers src 198.51.100.42<br />
#<br />
# Or enter complete network ranges.<br />
# Be aware that this may permit devices like printers or TVs that you may not want to use the proxy.<br />
# acl localnet src 192.0.2.0/24<br />
# acl localnet src 198.51.100.0/24<br />
acl localnet src 192.168.178.0/24<br />
<br />
<br />
acl SSL_ports port 443<br />
acl Safe_ports port 80<br />
acl Safe_ports port 443<br />
acl Safe_ports port 1025-65535 # unregistered ports<br />
<br />
acl CONNECT method CONNECT<br />
<br />
follow_x_forwarded_for allow localhost<br />
follow_x_forwarded_for deny all<br />
<br />
<br />
#<br />
# Start of extra section 1<br />
# Requests that need special handling<br />
<br />
# worldcommunitygrid doesn't like it if data is taken from the local cache<br />
acl wcg_nocache dstdomain .worldcommunitygrid.org<br />
cache deny wcg_nocache<br />
<br />
<br />
# if CVMFS uses geoapi, ensure it's checked directly<br />
acl cvmfs_geoapi urlpath_regex -i ^/+cvmfs/+[0-9a-z._~-]+/+api/+[0-9a-z._~-]+/+geo/+[0-9a-z._~-]+/+[0-9a-z.,_~-]+<br />
cache deny cvmfs_geoapi<br />
<br />
<br />
# avoids polluting the disk cache with typical onetimers, e.g. ATLAS job data<br />
acl boinc_nocache urlpath_regex -i /download[0-9a-z._~-]*/+[0-9a-z._~-]+/+.+<br />
cache deny boinc_nocache<br />
<br />
<br />
# seriously: do NOT cache that!<br />
# Based on a frontier cache suggestion<br />
acl PragmaNoCache req_header Pragma no-cache<br />
cache deny PragmaNoCache<br />
<br />
# End of extra section 1<br />
#<br />
<br />
acl Purge method PURGE<br />
<br />
http_access deny !Safe_ports<br />
http_access deny CONNECT !SSL_ports<br />
http_access allow localhost manager<br />
http_access deny manager<br />
http_access deny to_localhost<br />
<br />
#<br />
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS<br />
# Depending on the definition of "crunchers" or "localnet" above at least 1 of the following lines must be uncommented.<br />
# Examples:<br />
# http_access allow crunchers<br />
# http_access allow localnet<br />
<br />
http_access allow localhost<br />
# Last "http_access" line.<br />
# Order matters, hence all "http_access" lines following this one will be ignored.<br />
http_access deny all<br />
<br />
# http_port<br />
# don't bind it to an IP that is accessible from outside unless you know what you do.<br />
# Examples:<br />
# http_port localhost:3128<br />
#<br />
# This assumes 198.51.100.99 is the external IP of the Squid box<br />
# http_port 198.51.100.99:3128<br />
#<br />
# default setting that binds Squid to all IPs of the Squid box<br />
http_port 3128<br />
<br />
<br />
# A MUST on Windows.<br />
# If unsure try the the LAN IP of your internet router.<br />
# Avoid using external DNS here.<br />
# On Linux this option shouldn't be necessary<br />
# dns_nameservers 198.51.100.1<br />
<br />
max_filedescriptors 4096<br />
<br />
# Required OFF for intercepted traffic from LHCb VMs<br />
client_dst_passthru off<br />
<br />
# You don't believe this is enough?<br />
# For sure, it is!<br />
cache_mem 256 MB<br />
maximum_object_size_in_memory 24 KB<br />
memory_replacement_policy heap GDSF<br />
<br />
<br />
# Keep it large enough to store vdi files in the cache.<br />
# See extra section 1 how to avoid onetimers eating up your disk storage.<br />
# min-size=xxx keeps very small files away from your disk<br />
# 20000 limits the disk cache to 20 GB<br />
cache_replacement_policy heap LFUDA<br />
maximum_object_size 6144 MB<br />
cache_dir aufs /var/cache/squid 20000 16 64 min-size=7937<br />
<br />
# default=10<br />
logfile_rotate 10<br />
<br />
# logformat has to be changed according to your needs and the capabilities of your logfile analyser<br />
logformat my_awstats %>A %lp %ui %un [%tl] "%rm %>ru HTTP/%rv" %>Hs %st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh<br />
access_log stdio:/var/log/squid/access.log logformat=my_awstats<br />
#access_log none<br />
strip_query_terms off<br />
<br />
coredump_dir none<br />
ftp_user anonymous@<br />
<br />
# max_stale 1 week #default<br />
# extended to be prepared for a project reset<br />
max_stale 37 days<br />
<br />
# 1 line is required to avoid the ancient default settings<br />
# be conservative<br />
# don't violate the HTTP standards<br />
refresh_pattern . 0 0% 0<br />
<br />
store_avg_object_size 1800 KB<br />
<br />
shutdown_lifetime 0 seconds<br />
<br />
# booster 1!<br />
collapsed_forwarding on<br />
<br />
# booster 2!<br />
client_persistent_connections on<br />
server_persistent_connections on<br />
<br />
log_icp_queries off<br />
<br />
dns_defnames on<br />
dns_v4_first on<br />
<br />
forwarded_for transparent<br />
<br />
##### End of squid.conf</nowiki><br />
<br />
Anzupassen ist hier der Parameter '''acl localnet src 192.168.178.0/24'''. Dieses ist das LAN-seitige Defaultsubnetz der meisten Fritzboxen. Andere Router nutzen aber zB. das Subnetz 192.168.0.0/24.<br />
Alle Rechner dieses Netzwerkes dürfen daraufhin auf den Cache zugreifen.<br />
Will man nur einzelne Rechner erlauben, kann dies über Einträge wie '''acl crunchers src 192.168.178.20''' erfolgen, dann wird der Squid seine Services nur dem Rechner mit der IP 192.168.178.20 ermöglichen.<br />
<br />
Den Squid nun mit der neuen Konfiguration starten:<br />
service squid start<br />
Ob der Squid genutzt wird, lässt sich einfach über sein Zugrifflog verfolgen:<br />
<br />
tail -f /var/log/squid/access.log<br />
<br />
Startet nach abgeschlossener Konfiguration eine neue native WU, kommen hier innerhalb der ersten Minuten jeweils hunderte bis tausende Einträge hinzu.<br />
<br />
= CVMFS = <br />
== Installation ==<br />
== Konfiguration == <br />
#CVMFS anpassen:<br />
#Code:<br />
<br />
vi /etc/cvmfs/default.local<br />
#adjust CVMFS_HTTP_PROXY<br />
CVMFS_HTTP_PROXY="http://squid_hostname_or_IP:3128;DIRECT"<br />
<br />
#squid_hostname_or_IP auf LAN IP des Squidrechners anpassen<br />
<br />
<br />
<br />
#Bitte schreib' mal folgende Zeile in die Datei /etc/cvmfs/default.local:<br />
<br />
CVMFS_USE_CDN=yes<br />
<br />
#Nach dem Abspeichern ein "cvmfs_config reload".<br />
<br />
#Bei "cvmfs_config stat" sollte jetzt "...openhtc.io" statt "cvmfs-stratum-one.cern.ch" in der Ausgabe stehen.<br />
<br />
= BOINC Client = <br />
Die Proxyeinstellungen können sowohl über die GUI als auch direkt in der cc_config.xml gesetzt werden. <br />
Eine der beiden Methoden ist ausreichend.<br />
<br />
== BOINC Manager ==<br />
<br />
Im BOINC Manager via ''Optionen'' -> ''Andere Optionen'' den Tab ''HTTP Proxy'' auswählen.<br />
<br />
Haken setzen bei "Connect via HTTP proxy server", dann Adresse und Port befüllen:<br />
Address: 192.168.178.4<br />
Port: 3128<br />
<br />
== cc_config.xml ==<br />
<cc_config><br />
<options><br />
<proxy_info><br />
<http_server_name>192.168</http_server_name><br />
<http_server_port>3128</http_server_port><br />
</proxy_info><br />
</options><br />
</cc_config><br />
<br />
Anschließend die cc_config über boinccmd neu einlesen:<br />
boinccmd --read_cc_config</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC_native_Einrichtung&diff=6628LHC native Einrichtung2021-02-26T21:08:19Z<p>Koschi: /* Konfiguration */</p>
<hr />
<div>= Einrichtung von nativen LHC Anwendungen =<br />
<br />
Diese Anleitung beschreibt die Installation von Squid und Cerns CVMFS auf Ubuntu Systemen. Analog funktioniert dies dann natürlich auch auf Debian, Mint und anderen verwandten Distributionen.<br />
Bei SuSE oder RedHat sind die entsprechenden Paketverwaltungstools (zypper/yast & yum/dnf) zu verwenden, auch kann der Squid Nutzer und dessen Gruppe eine andere sein, zB. "squid" anstelle von "proxy".<br />
<br />
= Squid =<br />
Squid ist ein cachender Proxyserver, er wird idR. genutzt um Netzinhalte zu cachen und damit den Zugriff auf diese zu beschleunigen. Damit einher geht eine Reduzierung der notwendigen Netzwerkbandbreite.<br />
Es empfiehlt sich ausdrücklich Squid über die distributionseigene Paketverwaltung zu installieren, da diese den Cache automatisch und unterhalb eines eigenen Benutzers startet. Auch Konfgurationen für die automatische Rotation der Squid log files sind enthalten, diese wachsen also nicht ins unermessliche an.<br />
<br />
== Installation ==<br />
<br />
Cacheverzeichnis anlegen:<br />
mkdir -p /var/cache/squid<br />
<br />
Squid installieren:<br />
apt install squid<br />
<br />
Squid stoppen:<br />
service squid stop<br />
<br />
Cacheverzeichnis dem Squid Benutzer "proxy" übergeben:<br />
chown -R proxy:proxy /var/cache/squid<br />
<br />
Cache Basisstruktur im Cacheverzeichnis anlegen:<br />
squid -z <br />
Hier '''zwei mal Enter''' drücken, dieser Schritt geht schnell, gibt aber keine newline zurück, scheint daher zu hängen.<br />
<br />
== Konfiguration ==<br />
<br />
Die eigentliche Konfiguration der Squidcaches erfolg anhand der im [https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=5473 LHC Forum abgelegten Konfiguration].<br />
Es lohnt sich diesen Thread nochmals zu überfliegen, da Änderungen an der Beispielkonfiguration nicht mehr im Startbeitrag eingepflegt werden können. Stand 26.02.2020 sieht die squid.conf folgendermaßen aus:<br />
<br />
<nowiki><br />
# Squid configuration for BOINC<br />
# Based on squid version 3.5<br />
# See also: http://www.squid-cache.org/<br />
<br />
# Every line starting with "#" represents a comment.<br />
<br />
# Define your local hosts/networks here.<br />
# If neither "crunchers" nor "localnet" is set none of your devices will be permitted to use the proxy.<br />
# The examples show the principle.<br />
# For advanced options read the Squid documentation.<br />
#<br />
# Examples:<br />
#<br />
# Either enter a list of IPs representing your computers that are permitted to use the proxy.<br />
# Each IP on a separate line.<br />
# acl crunchers src 198.51.100.20<br />
# acl crunchers src 198.51.100.31<br />
# acl crunchers src 198.51.100.37<br />
# acl crunchers src 198.51.100.42<br />
#<br />
# Or enter complete network ranges.<br />
# Be aware that this may permit devices like printers or TVs that you may not want to use the proxy.<br />
# acl localnet src 192.0.2.0/24<br />
# acl localnet src 198.51.100.0/24<br />
acl localnet src 192.168.178.0/24<br />
<br />
<br />
acl SSL_ports port 443<br />
acl Safe_ports port 80<br />
acl Safe_ports port 443<br />
acl Safe_ports port 1025-65535 # unregistered ports<br />
<br />
acl CONNECT method CONNECT<br />
<br />
follow_x_forwarded_for allow localhost<br />
follow_x_forwarded_for deny all<br />
<br />
<br />
#<br />
# Start of extra section 1<br />
# Requests that need special handling<br />
<br />
# worldcommunitygrid doesn't like it if data is taken from the local cache<br />
acl wcg_nocache dstdomain .worldcommunitygrid.org<br />
cache deny wcg_nocache<br />
<br />
<br />
# if CVMFS uses geoapi, ensure it's checked directly<br />
acl cvmfs_geoapi urlpath_regex -i ^/+cvmfs/+[0-9a-z._~-]+/+api/+[0-9a-z._~-]+/+geo/+[0-9a-z._~-]+/+[0-9a-z.,_~-]+<br />
cache deny cvmfs_geoapi<br />
<br />
<br />
# avoids polluting the disk cache with typical onetimers, e.g. ATLAS job data<br />
acl boinc_nocache urlpath_regex -i /download[0-9a-z._~-]*/+[0-9a-z._~-]+/+.+<br />
cache deny boinc_nocache<br />
<br />
<br />
# seriously: do NOT cache that!<br />
# Based on a frontier cache suggestion<br />
acl PragmaNoCache req_header Pragma no-cache<br />
cache deny PragmaNoCache<br />
<br />
# End of extra section 1<br />
#<br />
<br />
acl Purge method PURGE<br />
<br />
http_access deny !Safe_ports<br />
http_access deny CONNECT !SSL_ports<br />
http_access allow localhost manager<br />
http_access deny manager<br />
http_access deny to_localhost<br />
<br />
#<br />
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS<br />
# Depending on the definition of "crunchers" or "localnet" above at least 1 of the following lines must be uncommented.<br />
# Examples:<br />
# http_access allow crunchers<br />
# http_access allow localnet<br />
<br />
http_access allow localhost<br />
# Last "http_access" line.<br />
# Order matters, hence all "http_access" lines following this one will be ignored.<br />
http_access deny all<br />
<br />
# http_port<br />
# don't bind it to an IP that is accessible from outside unless you know what you do.<br />
# Examples:<br />
# http_port localhost:3128<br />
#<br />
# This assumes 198.51.100.99 is the external IP of the Squid box<br />
# http_port 198.51.100.99:3128<br />
#<br />
# default setting that binds Squid to all IPs of the Squid box<br />
http_port 3128<br />
<br />
<br />
# A MUST on Windows.<br />
# If unsure try the the LAN IP of your internet router.<br />
# Avoid using external DNS here.<br />
# On Linux this option shouldn't be necessary<br />
# dns_nameservers 198.51.100.1<br />
<br />
max_filedescriptors 4096<br />
<br />
# Required OFF for intercepted traffic from LHCb VMs<br />
client_dst_passthru off<br />
<br />
# You don't believe this is enough?<br />
# For sure, it is!<br />
cache_mem 256 MB<br />
maximum_object_size_in_memory 24 KB<br />
memory_replacement_policy heap GDSF<br />
<br />
<br />
# Keep it large enough to store vdi files in the cache.<br />
# See extra section 1 how to avoid onetimers eating up your disk storage.<br />
# min-size=xxx keeps very small files away from your disk<br />
# 20000 limits the disk cache to 20 GB<br />
cache_replacement_policy heap LFUDA<br />
maximum_object_size 6144 MB<br />
cache_dir aufs /var/cache/squid 20000 16 64 min-size=7937<br />
<br />
# default=10<br />
logfile_rotate 10<br />
<br />
# logformat has to be changed according to your needs and the capabilities of your logfile analyser<br />
logformat my_awstats %>A %lp %ui %un [%tl] "%rm %>ru HTTP/%rv" %>Hs %st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh<br />
access_log stdio:/var/log/squid/access.log logformat=my_awstats<br />
#access_log none<br />
strip_query_terms off<br />
<br />
coredump_dir none<br />
ftp_user anonymous@<br />
<br />
# max_stale 1 week #default<br />
# extended to be prepared for a project reset<br />
max_stale 37 days<br />
<br />
# 1 line is required to avoid the ancient default settings<br />
# be conservative<br />
# don't violate the HTTP standards<br />
refresh_pattern . 0 0% 0<br />
<br />
store_avg_object_size 1800 KB<br />
<br />
shutdown_lifetime 0 seconds<br />
<br />
# booster 1!<br />
collapsed_forwarding on<br />
<br />
# booster 2!<br />
client_persistent_connections on<br />
server_persistent_connections on<br />
<br />
log_icp_queries off<br />
<br />
dns_defnames on<br />
dns_v4_first on<br />
<br />
forwarded_for transparent<br />
<br />
##### End of squid.conf</nowiki><br />
<br />
Anzupassen ist hier der Parameter '''acl localnet src 192.168.178.0/24'''. Dieses ist das LAN-seitige Defaultsubnetz der meisten Fritzboxen. Andere Router nutzen aber zB. das Subnetz 192.168.0.0/24.<br />
Alle Rechner dieses Netzwerkes dürfen daraufhin auf den Cache zugreifen.<br />
Will man nur einzelne Rechner erlauben, kann dies über Einträge wie '''acl crunchers src 192.168.178.20''' erfolgen, dann wird der Squid seine Services nur dem Rechner mit der IP 192.168.178.20 ermöglichen.<br />
<br />
Den Squid nun mit der neuen Konfiguration starten:<br />
service squid start<br />
Ob der Squid genutzt wird, lässt sich einfach über sein Zugrifflog verfolgen:<br />
<br />
tail -f /var/log/squid/access.log<br />
<br />
Startet nach abgeschlossener Konfiguration eine neue native WU, kommen hier innerhalb der ersten Minuten jeweils hunderte bis tausende Einträge hinzu.<br />
<br />
= CVMFS = <br />
== CVMFS Installation ==<br />
== CVMFS Konfiguration == <br />
#CVMFS anpassen:<br />
#Code:<br />
<br />
vi /etc/cvmfs/default.local<br />
#adjust CVMFS_HTTP_PROXY<br />
CVMFS_HTTP_PROXY="http://squid_hostname_or_IP:3128;DIRECT"<br />
<br />
#squid_hostname_or_IP auf LAN IP des Squidrechners anpassen<br />
<br />
<br />
<br />
#Bitte schreib' mal folgende Zeile in die Datei /etc/cvmfs/default.local:<br />
<br />
CVMFS_USE_CDN=yes<br />
<br />
#Nach dem Abspeichern ein "cvmfs_config reload".<br />
<br />
#Bei "cvmfs_config stat" sollte jetzt "...openhtc.io" statt "cvmfs-stratum-one.cern.ch" in der Ausgabe stehen.<br />
<br />
= BOINC Client = <br />
Die Proxyeinstellungen können sowohl über die GUI als auch direkt in der cc_config.xml gesetzt werden. <br />
Eine der beiden Methoden ist ausreichend.<br />
<br />
== BOINC Manager ==<br />
<br />
Im BOINC Manager via ''Optionen'' -> ''Andere Optionen'' den Tab ''HTTP Proxy'' auswählen.<br />
<br />
Haken setzen bei "Connect via HTTP proxy server", dann Adresse und Port befüllen:<br />
Address: 192.168.178.4<br />
Port: 3128<br />
<br />
== cc_config.xml ==<br />
<cc_config><br />
<options><br />
<proxy_info><br />
<http_server_name>192.168</http_server_name><br />
<http_server_port>3128</http_server_port><br />
</proxy_info><br />
</options><br />
</cc_config><br />
<br />
Anschließend die cc_config über boinccmd neu einlesen:<br />
boinccmd --read_cc_config</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC_native_Einrichtung&diff=6620LHC native Einrichtung2021-02-26T20:24:03Z<p>Koschi: /* BOINC Client */</p>
<hr />
<div>= Einrichtung von nativen LHC Anwendungen =<br />
<br />
Diese Anleitung beschreibt die Installation von Squid und Cerns CVMFS auf Ubuntu Systemen. Analog funktioniert dies dann natürlich auch auf Debian, Mint und anderen verwandten Distributionen.<br />
Bei SuSE oder RedHat sind die entsprechenden Paketverwaltungstools (zypper/yast & yum/dnf) zu verwenden, auch kann der Squid Nutzer und dessen Gruppe eine andere sein, zB. "squid" anstelle von "proxy".<br />
<br />
= Squid =<br />
Squid ist ein cachender Proxyserver, er wird idR. genutzt um Netzinhalte zu cachen und damit den Zugriff auf diese zu beschleunigen. Damit einher geht eine Reduzierung der notwendigen Netzwerkbandbreite.<br />
Es empfiehlt sich ausdrücklich Squid über die distributionseigene Paketverwaltung zu installieren, da diese den Cache automatisch und unterhalb eines eigenen Benutzers startet. Auch Konfgurationen für die automatische Rotation der Squid log files sind enthalten, diese wachsen also nicht ins unermessliche an.<br />
<br />
== Installation ==<br />
<br />
Cacheverzeichnis anlegen:<br />
mkdir -p /var/cache/squid<br />
<br />
Squid installieren:<br />
apt install squid<br />
<br />
Squid stoppen:<br />
service squid stop<br />
<br />
Cacheverzeichnis dem Squid Benutzer "proxy" übergeben:<br />
chown -R proxy:proxy /var/cache/squid<br />
<br />
Cache Basisstruktur im Cacheverzeichnis anlegen:<br />
squid -z <br />
Hier '''zwei mal Enter''' drücken, dieser Schritt geht schnell, gibt aber keine newline zurück, scheint daher zu hängen.<br />
<br />
== Konfiguration ==<br />
<br />
Die eigentliche Konfiguration der Squidcaches erfolg anhand der im [https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=5473 LHC Forum abgelegten Konfiguration].<br />
Es lohnt sich diesen Thread nochmals zu überfliegen, da Änderungen an der Beispielkonfiguration nicht mehr im Startbeitrag eingepflegt werden können. Stand 26.02.2020 sieht die squid.conf folgendermaßen aus:<br />
<br />
<nowiki><br />
# Squid configuration for BOINC<br />
# Based on squid version 3.5<br />
# See also: http://www.squid-cache.org/<br />
<br />
# Every line starting with "#" represents a comment.<br />
<br />
# Define your local hosts/networks here.<br />
# If neither "crunchers" nor "localnet" is set none of your devices will be permitted to use the proxy.<br />
# The examples show the principle.<br />
# For advanced options read the Squid documentation.<br />
#<br />
# Examples:<br />
#<br />
# Either enter a list of IPs representing your computers that are permitted to use the proxy.<br />
# Each IP on a separate line.<br />
# acl crunchers src 198.51.100.20<br />
# acl crunchers src 198.51.100.31<br />
# acl crunchers src 198.51.100.37<br />
# acl crunchers src 198.51.100.42<br />
#<br />
# Or enter complete network ranges.<br />
# Be aware that this may permit devices like printers or TVs that you may not want to use the proxy.<br />
# acl localnet src 192.0.2.0/24<br />
# acl localnet src 198.51.100.0/24<br />
acl localnet src 192.168.178.0/24<br />
<br />
<br />
acl SSL_ports port 443<br />
acl Safe_ports port 80<br />
acl Safe_ports port 443<br />
acl Safe_ports port 1025-65535 # unregistered ports<br />
<br />
acl CONNECT method CONNECT<br />
<br />
follow_x_forwarded_for allow localhost<br />
follow_x_forwarded_for deny all<br />
<br />
<br />
#<br />
# Start of extra section 1<br />
# Requests that need special handling<br />
<br />
# worldcommunitygrid doesn't like it if data is taken from the local cache<br />
acl wcg_nocache dstdomain .worldcommunitygrid.org<br />
cache deny wcg_nocache<br />
<br />
<br />
# if CVMFS uses geoapi, ensure it's checked directly<br />
acl cvmfs_geoapi urlpath_regex -i ^/+cvmfs/+[0-9a-z._~-]+/+api/+[0-9a-z._~-]+/+geo/+[0-9a-z._~-]+/+[0-9a-z.,_~-]+<br />
cache deny cvmfs_geoapi<br />
<br />
<br />
# avoids polluting the disk cache with typical onetimers, e.g. ATLAS job data<br />
acl boinc_nocache urlpath_regex -i /download[0-9a-z._~-]*/+[0-9a-z._~-]+/+.+<br />
cache deny boinc_nocache<br />
<br />
<br />
# seriously: do NOT cache that!<br />
# Based on a frontier cache suggestion<br />
acl PragmaNoCache req_header Pragma no-cache<br />
cache deny PragmaNoCache<br />
<br />
# End of extra section 1<br />
#<br />
<br />
<br />
#<br />
# Start of extra section 2<br />
# parent cache configuration<br />
#<br />
# ATLAS tasks route frontier requests via predefined WLCG proxy chains including load balancing and fail-over.<br />
# The following lines ensure those proxy chains are respected by a local squid as intended by the CERN ATLAS team.<br />
<br />
acl request_via_atlasfrontier_chain url_regex -i ^http://+atlasfrontier[1-4]?-ai\.cern\.ch:8000/+[^/]+<br />
<br />
cache_peer atlas-db-squid.grid.uio.no parent 3128 0 no-query no-digest weighted-round-robin no-netdb-exchange connect-timeout=7 connect-fail-limit=1<br />
cache_peer_access atlas-db-squid.grid.uio.no allow request_via_atlasfrontier_chain<br />
<br />
cache_peer dcache.ijs.si parent 3128 0 no-query no-digest weighted-round-robin no-netdb-exchange connect-timeout=7 connect-fail-limit=1<br />
cache_peer_access dcache.ijs.si allow request_via_atlasfrontier_chain<br />
<br />
cache_peer atlasfrontier-ai.cern.ch parent 8000 0 no-query no-digest no-netdb-exchange connect-fail-limit=1<br />
cache_peer_access atlasfrontier-ai.cern.ch allow request_via_atlasfrontier_chain<br />
<br />
never_direct allow request_via_atlasfrontier_chain<br />
<br />
# End of extra section 2<br />
#<br />
<br />
acl Purge method PURGE<br />
<br />
http_access deny !Safe_ports<br />
http_access deny CONNECT !SSL_ports<br />
http_access allow localhost manager<br />
http_access deny manager<br />
http_access deny to_localhost<br />
<br />
#<br />
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS<br />
# Depending on the definition of "crunchers" or "localnet" above at least 1 of the following lines must be uncommented.<br />
# Examples:<br />
# http_access allow crunchers<br />
# http_access allow localnet<br />
<br />
http_access allow localhost<br />
# Last "http_access" line.<br />
# Order matters, hence all "http_access" lines following this one will be ignored.<br />
http_access deny all<br />
<br />
# http_port<br />
# don't bind it to an IP that is accessible from outside unless you know what you do.<br />
# Examples:<br />
# http_port localhost:3128<br />
#<br />
# This assumes 198.51.100.99 is the external IP of the Squid box<br />
# http_port 198.51.100.99:3128<br />
#<br />
# default setting that binds Squid to all IPs of the Squid box<br />
http_port 3128<br />
<br />
<br />
# A MUST on Windows.<br />
# If unsure try the the LAN IP of your internet router.<br />
# Avoid using external DNS here.<br />
# On Linux this option shouldn't be necessary<br />
# dns_nameservers 198.51.100.1<br />
<br />
max_filedescriptors 4096<br />
<br />
# Required OFF for intercepted traffic from LHCb VMs<br />
client_dst_passthru off<br />
<br />
# You don't believe this is enough?<br />
# For sure, it is!<br />
cache_mem 256 MB<br />
maximum_object_size_in_memory 24 KB<br />
memory_replacement_policy heap GDSF<br />
<br />
<br />
# Keep it large enough to store vdi files in the cache.<br />
# See extra section 1 how to avoid onetimers eating up your disk storage.<br />
# min-size=xxx keeps very small files away from your disk<br />
# 20000 limits the disk cache to 20 GB<br />
cache_replacement_policy heap LFUDA<br />
maximum_object_size 6144 MB<br />
cache_dir aufs /var/cache/squid 20000 16 64 min-size=7937<br />
<br />
# default=10<br />
logfile_rotate 10<br />
<br />
# logformat has to be changed according to your needs and the capabilities of your logfile analyser<br />
logformat my_awstats %>A %lp %ui %un [%tl] "%rm %>ru HTTP/%rv" %>Hs %st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh<br />
access_log stdio:/var/log/squid/access.log logformat=my_awstats<br />
#access_log none<br />
strip_query_terms off<br />
<br />
coredump_dir none<br />
ftp_user anonymous@<br />
<br />
# max_stale 1 week #default<br />
# extended to be prepared for a project reset<br />
max_stale 37 days<br />
<br />
# 1 line is required to avoid the ancient default settings<br />
# be conservative<br />
# don't violate the HTTP standards<br />
refresh_pattern . 0 0% 0<br />
<br />
store_avg_object_size 1800 KB<br />
<br />
shutdown_lifetime 0 seconds<br />
<br />
# booster 1!<br />
collapsed_forwarding on<br />
<br />
# booster 2!<br />
client_persistent_connections on<br />
server_persistent_connections on<br />
<br />
log_icp_queries off<br />
<br />
dns_defnames on<br />
dns_v4_first on<br />
<br />
forwarded_for transparent<br />
<br />
##### End of squid.conf</nowiki><br />
<br />
Anzupassen ist hier der Parameter '''acl localnet src 192.168.178.0/24'''. Dieses ist das LAN-seitige Defaultsubnetz der meisten Fritzboxen. Andere Router nutzen aber zB. das Subnetz 192.168.0.0/24.<br />
Alle Rechner dieses Netzwerkes dürfen daraufhin auf den Cache zugreifen.<br />
Will man nur einzelne Rechner erlauben, kann dies über Einträge wie '''acl crunchers src 192.168.178.20''' erfolgen, dann wird der Squid seine Services nur dem Rechner mit der IP 192.168.178.20 ermöglichen.<br />
<br />
Den Squid nun mit der neuen Konfiguration starten:<br />
service squid start<br />
Ob der Squid genutzt wird, lässt sich einfach über sein Zugrifflog verfolgen:<br />
<br />
tail -f /var/log/squid/access.log<br />
<br />
Startet nach abgeschlossener Konfiguration eine neue native WU, kommen hier innerhalb der ersten Minuten jeweils hunderte bis tausende Einträge hinzu.<br />
<br />
<br />
= CVMFS = <br />
== CVMFS Installation ==<br />
== CVMFS Konfiguration == <br />
#CVMFS anpassen:<br />
#Code:<br />
<br />
vi /etc/cvmfs/default.local<br />
#adjust CVMFS_HTTP_PROXY<br />
CVMFS_HTTP_PROXY="http://squid_hostname_or_IP:3128;DIRECT"<br />
<br />
#squid_hostname_or_IP auf LAN IP des Squidrechners anpassen<br />
<br />
<br />
<br />
#Bitte schreib' mal folgende Zeile in die Datei /etc/cvmfs/default.local:<br />
<br />
CVMFS_USE_CDN=yes<br />
<br />
#Nach dem Abspeichern ein "cvmfs_config reload".<br />
<br />
#Bei "cvmfs_config stat" sollte jetzt "...openhtc.io" statt "cvmfs-stratum-one.cern.ch" in der Ausgabe stehen.<br />
<br />
= BOINC Client = <br />
Die Proxyeinstellungen können sowohl über die GUI als auch direkt in der cc_config.xml gesetzt werden. <br />
Eine der beiden Methoden ist ausreichend.<br />
<br />
== BOINC Manager ==<br />
<br />
Im BOINC Manager via ''Optionen'' -> ''Andere Optionen'' den Tab ''HTTP Proxy'' auswählen.<br />
<br />
Haken setzen bei "Connect via HTTP proxy server", dann Adresse und Port befüllen:<br />
Address: 192.168.178.4<br />
Port: 3128<br />
<br />
== cc_config.xml ==<br />
<cc_config><br />
<options><br />
<proxy_info><br />
<http_server_name>192.168</http_server_name><br />
<http_server_port>3128</http_server_port><br />
</proxy_info><br />
</options><br />
</cc_config><br />
<br />
Anschließend die cc_config über boinccmd neu einlesen:<br />
boinccmd --read_cc_config</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC_native_Einrichtung&diff=6618LHC native Einrichtung2021-02-26T20:20:13Z<p>Koschi: /* BOINC Manager */</p>
<hr />
<div>= Einrichtung von nativen LHC Anwendungen =<br />
<br />
Diese Anleitung beschreibt die Installation von Squid und Cerns CVMFS auf Ubuntu Systemen. Analog funktioniert dies dann natürlich auch auf Debian, Mint und anderen verwandten Distributionen.<br />
Bei SuSE oder RedHat sind die entsprechenden Paketverwaltungstools (zypper/yast & yum/dnf) zu verwenden, auch kann der Squid Nutzer und dessen Gruppe eine andere sein, zB. "squid" anstelle von "proxy".<br />
<br />
= Squid =<br />
Squid ist ein cachender Proxyserver, er wird idR. genutzt um Netzinhalte zu cachen und damit den Zugriff auf diese zu beschleunigen. Damit einher geht eine Reduzierung der notwendigen Netzwerkbandbreite.<br />
Es empfiehlt sich ausdrücklich Squid über die distributionseigene Paketverwaltung zu installieren, da diese den Cache automatisch und unterhalb eines eigenen Benutzers startet. Auch Konfgurationen für die automatische Rotation der Squid log files sind enthalten, diese wachsen also nicht ins unermessliche an.<br />
<br />
== Installation ==<br />
<br />
Cacheverzeichnis anlegen:<br />
mkdir -p /var/cache/squid<br />
<br />
Squid installieren:<br />
apt install squid<br />
<br />
Squid stoppen:<br />
service squid stop<br />
<br />
Cacheverzeichnis dem Squid Benutzer "proxy" übergeben:<br />
chown -R proxy:proxy /var/cache/squid<br />
<br />
Cache Basisstruktur im Cacheverzeichnis anlegen:<br />
squid -z <br />
Hier '''zwei mal Enter''' drücken, dieser Schritt geht schnell, gibt aber keine newline zurück, scheint daher zu hängen.<br />
<br />
== Konfiguration ==<br />
<br />
Die eigentliche Konfiguration der Squidcaches erfolg anhand der im [https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=5473 LHC Forum abgelegten Konfiguration].<br />
Es lohnt sich diesen Thread nochmals zu überfliegen, da Änderungen an der Beispielkonfiguration nicht mehr im Startbeitrag eingepflegt werden können. Stand 26.02.2020 sieht die squid.conf folgendermaßen aus:<br />
<br />
<nowiki><br />
# Squid configuration for BOINC<br />
# Based on squid version 3.5<br />
# See also: http://www.squid-cache.org/<br />
<br />
# Every line starting with "#" represents a comment.<br />
<br />
# Define your local hosts/networks here.<br />
# If neither "crunchers" nor "localnet" is set none of your devices will be permitted to use the proxy.<br />
# The examples show the principle.<br />
# For advanced options read the Squid documentation.<br />
#<br />
# Examples:<br />
#<br />
# Either enter a list of IPs representing your computers that are permitted to use the proxy.<br />
# Each IP on a separate line.<br />
# acl crunchers src 198.51.100.20<br />
# acl crunchers src 198.51.100.31<br />
# acl crunchers src 198.51.100.37<br />
# acl crunchers src 198.51.100.42<br />
#<br />
# Or enter complete network ranges.<br />
# Be aware that this may permit devices like printers or TVs that you may not want to use the proxy.<br />
# acl localnet src 192.0.2.0/24<br />
# acl localnet src 198.51.100.0/24<br />
acl localnet src 192.168.178.0/24<br />
<br />
<br />
acl SSL_ports port 443<br />
acl Safe_ports port 80<br />
acl Safe_ports port 443<br />
acl Safe_ports port 1025-65535 # unregistered ports<br />
<br />
acl CONNECT method CONNECT<br />
<br />
follow_x_forwarded_for allow localhost<br />
follow_x_forwarded_for deny all<br />
<br />
<br />
#<br />
# Start of extra section 1<br />
# Requests that need special handling<br />
<br />
# worldcommunitygrid doesn't like it if data is taken from the local cache<br />
acl wcg_nocache dstdomain .worldcommunitygrid.org<br />
cache deny wcg_nocache<br />
<br />
<br />
# if CVMFS uses geoapi, ensure it's checked directly<br />
acl cvmfs_geoapi urlpath_regex -i ^/+cvmfs/+[0-9a-z._~-]+/+api/+[0-9a-z._~-]+/+geo/+[0-9a-z._~-]+/+[0-9a-z.,_~-]+<br />
cache deny cvmfs_geoapi<br />
<br />
<br />
# avoids polluting the disk cache with typical onetimers, e.g. ATLAS job data<br />
acl boinc_nocache urlpath_regex -i /download[0-9a-z._~-]*/+[0-9a-z._~-]+/+.+<br />
cache deny boinc_nocache<br />
<br />
<br />
# seriously: do NOT cache that!<br />
# Based on a frontier cache suggestion<br />
acl PragmaNoCache req_header Pragma no-cache<br />
cache deny PragmaNoCache<br />
<br />
# End of extra section 1<br />
#<br />
<br />
<br />
#<br />
# Start of extra section 2<br />
# parent cache configuration<br />
#<br />
# ATLAS tasks route frontier requests via predefined WLCG proxy chains including load balancing and fail-over.<br />
# The following lines ensure those proxy chains are respected by a local squid as intended by the CERN ATLAS team.<br />
<br />
acl request_via_atlasfrontier_chain url_regex -i ^http://+atlasfrontier[1-4]?-ai\.cern\.ch:8000/+[^/]+<br />
<br />
cache_peer atlas-db-squid.grid.uio.no parent 3128 0 no-query no-digest weighted-round-robin no-netdb-exchange connect-timeout=7 connect-fail-limit=1<br />
cache_peer_access atlas-db-squid.grid.uio.no allow request_via_atlasfrontier_chain<br />
<br />
cache_peer dcache.ijs.si parent 3128 0 no-query no-digest weighted-round-robin no-netdb-exchange connect-timeout=7 connect-fail-limit=1<br />
cache_peer_access dcache.ijs.si allow request_via_atlasfrontier_chain<br />
<br />
cache_peer atlasfrontier-ai.cern.ch parent 8000 0 no-query no-digest no-netdb-exchange connect-fail-limit=1<br />
cache_peer_access atlasfrontier-ai.cern.ch allow request_via_atlasfrontier_chain<br />
<br />
never_direct allow request_via_atlasfrontier_chain<br />
<br />
# End of extra section 2<br />
#<br />
<br />
acl Purge method PURGE<br />
<br />
http_access deny !Safe_ports<br />
http_access deny CONNECT !SSL_ports<br />
http_access allow localhost manager<br />
http_access deny manager<br />
http_access deny to_localhost<br />
<br />
#<br />
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS<br />
# Depending on the definition of "crunchers" or "localnet" above at least 1 of the following lines must be uncommented.<br />
# Examples:<br />
# http_access allow crunchers<br />
# http_access allow localnet<br />
<br />
http_access allow localhost<br />
# Last "http_access" line.<br />
# Order matters, hence all "http_access" lines following this one will be ignored.<br />
http_access deny all<br />
<br />
# http_port<br />
# don't bind it to an IP that is accessible from outside unless you know what you do.<br />
# Examples:<br />
# http_port localhost:3128<br />
#<br />
# This assumes 198.51.100.99 is the external IP of the Squid box<br />
# http_port 198.51.100.99:3128<br />
#<br />
# default setting that binds Squid to all IPs of the Squid box<br />
http_port 3128<br />
<br />
<br />
# A MUST on Windows.<br />
# If unsure try the the LAN IP of your internet router.<br />
# Avoid using external DNS here.<br />
# On Linux this option shouldn't be necessary<br />
# dns_nameservers 198.51.100.1<br />
<br />
max_filedescriptors 4096<br />
<br />
# Required OFF for intercepted traffic from LHCb VMs<br />
client_dst_passthru off<br />
<br />
# You don't believe this is enough?<br />
# For sure, it is!<br />
cache_mem 256 MB<br />
maximum_object_size_in_memory 24 KB<br />
memory_replacement_policy heap GDSF<br />
<br />
<br />
# Keep it large enough to store vdi files in the cache.<br />
# See extra section 1 how to avoid onetimers eating up your disk storage.<br />
# min-size=xxx keeps very small files away from your disk<br />
# 20000 limits the disk cache to 20 GB<br />
cache_replacement_policy heap LFUDA<br />
maximum_object_size 6144 MB<br />
cache_dir aufs /var/cache/squid 20000 16 64 min-size=7937<br />
<br />
# default=10<br />
logfile_rotate 10<br />
<br />
# logformat has to be changed according to your needs and the capabilities of your logfile analyser<br />
logformat my_awstats %>A %lp %ui %un [%tl] "%rm %>ru HTTP/%rv" %>Hs %st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh<br />
access_log stdio:/var/log/squid/access.log logformat=my_awstats<br />
#access_log none<br />
strip_query_terms off<br />
<br />
coredump_dir none<br />
ftp_user anonymous@<br />
<br />
# max_stale 1 week #default<br />
# extended to be prepared for a project reset<br />
max_stale 37 days<br />
<br />
# 1 line is required to avoid the ancient default settings<br />
# be conservative<br />
# don't violate the HTTP standards<br />
refresh_pattern . 0 0% 0<br />
<br />
store_avg_object_size 1800 KB<br />
<br />
shutdown_lifetime 0 seconds<br />
<br />
# booster 1!<br />
collapsed_forwarding on<br />
<br />
# booster 2!<br />
client_persistent_connections on<br />
server_persistent_connections on<br />
<br />
log_icp_queries off<br />
<br />
dns_defnames on<br />
dns_v4_first on<br />
<br />
forwarded_for transparent<br />
<br />
##### End of squid.conf</nowiki><br />
<br />
Anzupassen ist hier der Parameter '''acl localnet src 192.168.178.0/24'''. Dieses ist das LAN-seitige Defaultsubnetz der meisten Fritzboxen. Andere Router nutzen aber zB. das Subnetz 192.168.0.0/24.<br />
Alle Rechner dieses Netzwerkes dürfen daraufhin auf den Cache zugreifen.<br />
Will man nur einzelne Rechner erlauben, kann dies über Einträge wie '''acl crunchers src 192.168.178.20''' erfolgen, dann wird der Squid seine Services nur dem Rechner mit der IP 192.168.178.20 ermöglichen.<br />
<br />
Den Squid nun mit der neuen Konfiguration starten:<br />
service squid start<br />
Ob der Squid genutzt wird, lässt sich einfach über sein Zugrifflog verfolgen:<br />
<br />
tail -f /var/log/squid/access.log<br />
<br />
Startet nach abgeschlossener Konfiguration eine neue native WU, kommen hier innerhalb der ersten Minuten jeweils hunderte bis tausende Einträge hinzu.<br />
<br />
<br />
= CVMFS = <br />
== CVMFS Installation ==<br />
== CVMFS Konfiguration == <br />
#CVMFS anpassen:<br />
#Code:<br />
<br />
vi /etc/cvmfs/default.local<br />
#adjust CVMFS_HTTP_PROXY<br />
CVMFS_HTTP_PROXY="http://squid_hostname_or_IP:3128;DIRECT"<br />
<br />
#squid_hostname_or_IP auf LAN IP des Squidrechners anpassen<br />
<br />
<br />
<br />
#Bitte schreib' mal folgende Zeile in die Datei /etc/cvmfs/default.local:<br />
<br />
CVMFS_USE_CDN=yes<br />
<br />
#Nach dem Abspeichern ein "cvmfs_config reload".<br />
<br />
#Bei "cvmfs_config stat" sollte jetzt "...openhtc.io" statt "cvmfs-stratum-one.cern.ch" in der Ausgabe stehen.<br />
<br />
= BOINC Client = <br />
== BOINC Manager ==<br />
<br />
Im BOINC Manager via ''Optionen'' -> ''Andere Optionen'' den Tab ''HTTP Proxy'' auswählen.<br />
<br />
Haken setzen bei "Connect via HTTP proxy server", dann Adresse und Port befüllen:<br />
Address: 192.168.178.4<br />
Port: 3128<br />
<br />
== cc_config.xml ==<br />
<cc_config><br />
<options><br />
<proxy_info><br />
<http_server_name>192.168</http_server_name><br />
<http_server_port>3128</http_server_port><br />
</proxy_info><br />
</options><br />
</cc_config><br />
<br />
Anschließend die cc_config über boinccmd neu einlesen:<br />
boinccmd --read_cc_config</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC_native_Einrichtung&diff=6617LHC native Einrichtung2021-02-26T19:59:56Z<p>Koschi: /* cc_config.xml */</p>
<hr />
<div>= Einrichtung von nativen LHC Anwendungen =<br />
<br />
Diese Anleitung beschreibt die Installation von Squid und Cerns CVMFS auf Ubuntu Systemen. Analog funktioniert dies dann natürlich auch auf Debian, Mint und anderen verwandten Distributionen.<br />
Bei SuSE oder RedHat sind die entsprechenden Paketverwaltungstools (zypper/yast & yum/dnf) zu verwenden, auch kann der Squid Nutzer und dessen Gruppe eine andere sein, zB. "squid" anstelle von "proxy".<br />
<br />
= Squid =<br />
Squid ist ein cachender Proxyserver, er wird idR. genutzt um Netzinhalte zu cachen und damit den Zugriff auf diese zu beschleunigen. Damit einher geht eine Reduzierung der notwendigen Netzwerkbandbreite.<br />
Es empfiehlt sich ausdrücklich Squid über die distributionseigene Paketverwaltung zu installieren, da diese den Cache automatisch und unterhalb eines eigenen Benutzers startet. Auch Konfgurationen für die automatische Rotation der Squid log files sind enthalten, diese wachsen also nicht ins unermessliche an.<br />
<br />
== Installation ==<br />
<br />
Cacheverzeichnis anlegen:<br />
mkdir -p /var/cache/squid<br />
<br />
Squid installieren:<br />
apt install squid<br />
<br />
Squid stoppen:<br />
service squid stop<br />
<br />
Cacheverzeichnis dem Squid Benutzer "proxy" übergeben:<br />
chown -R proxy:proxy /var/cache/squid<br />
<br />
Cache Basisstruktur im Cacheverzeichnis anlegen:<br />
squid -z <br />
Hier '''zwei mal Enter''' drücken, dieser Schritt geht schnell, gibt aber keine newline zurück, scheint daher zu hängen.<br />
<br />
== Konfiguration ==<br />
<br />
Die eigentliche Konfiguration der Squidcaches erfolg anhand der im [https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=5473 LHC Forum abgelegten Konfiguration].<br />
Es lohnt sich diesen Thread nochmals zu überfliegen, da Änderungen an der Beispielkonfiguration nicht mehr im Startbeitrag eingepflegt werden können. Stand 26.02.2020 sieht die squid.conf folgendermaßen aus:<br />
<br />
<nowiki><br />
# Squid configuration for BOINC<br />
# Based on squid version 3.5<br />
# See also: http://www.squid-cache.org/<br />
<br />
# Every line starting with "#" represents a comment.<br />
<br />
# Define your local hosts/networks here.<br />
# If neither "crunchers" nor "localnet" is set none of your devices will be permitted to use the proxy.<br />
# The examples show the principle.<br />
# For advanced options read the Squid documentation.<br />
#<br />
# Examples:<br />
#<br />
# Either enter a list of IPs representing your computers that are permitted to use the proxy.<br />
# Each IP on a separate line.<br />
# acl crunchers src 198.51.100.20<br />
# acl crunchers src 198.51.100.31<br />
# acl crunchers src 198.51.100.37<br />
# acl crunchers src 198.51.100.42<br />
#<br />
# Or enter complete network ranges.<br />
# Be aware that this may permit devices like printers or TVs that you may not want to use the proxy.<br />
# acl localnet src 192.0.2.0/24<br />
# acl localnet src 198.51.100.0/24<br />
acl localnet src 192.168.178.0/24<br />
<br />
<br />
acl SSL_ports port 443<br />
acl Safe_ports port 80<br />
acl Safe_ports port 443<br />
acl Safe_ports port 1025-65535 # unregistered ports<br />
<br />
acl CONNECT method CONNECT<br />
<br />
follow_x_forwarded_for allow localhost<br />
follow_x_forwarded_for deny all<br />
<br />
<br />
#<br />
# Start of extra section 1<br />
# Requests that need special handling<br />
<br />
# worldcommunitygrid doesn't like it if data is taken from the local cache<br />
acl wcg_nocache dstdomain .worldcommunitygrid.org<br />
cache deny wcg_nocache<br />
<br />
<br />
# if CVMFS uses geoapi, ensure it's checked directly<br />
acl cvmfs_geoapi urlpath_regex -i ^/+cvmfs/+[0-9a-z._~-]+/+api/+[0-9a-z._~-]+/+geo/+[0-9a-z._~-]+/+[0-9a-z.,_~-]+<br />
cache deny cvmfs_geoapi<br />
<br />
<br />
# avoids polluting the disk cache with typical onetimers, e.g. ATLAS job data<br />
acl boinc_nocache urlpath_regex -i /download[0-9a-z._~-]*/+[0-9a-z._~-]+/+.+<br />
cache deny boinc_nocache<br />
<br />
<br />
# seriously: do NOT cache that!<br />
# Based on a frontier cache suggestion<br />
acl PragmaNoCache req_header Pragma no-cache<br />
cache deny PragmaNoCache<br />
<br />
# End of extra section 1<br />
#<br />
<br />
<br />
#<br />
# Start of extra section 2<br />
# parent cache configuration<br />
#<br />
# ATLAS tasks route frontier requests via predefined WLCG proxy chains including load balancing and fail-over.<br />
# The following lines ensure those proxy chains are respected by a local squid as intended by the CERN ATLAS team.<br />
<br />
acl request_via_atlasfrontier_chain url_regex -i ^http://+atlasfrontier[1-4]?-ai\.cern\.ch:8000/+[^/]+<br />
<br />
cache_peer atlas-db-squid.grid.uio.no parent 3128 0 no-query no-digest weighted-round-robin no-netdb-exchange connect-timeout=7 connect-fail-limit=1<br />
cache_peer_access atlas-db-squid.grid.uio.no allow request_via_atlasfrontier_chain<br />
<br />
cache_peer dcache.ijs.si parent 3128 0 no-query no-digest weighted-round-robin no-netdb-exchange connect-timeout=7 connect-fail-limit=1<br />
cache_peer_access dcache.ijs.si allow request_via_atlasfrontier_chain<br />
<br />
cache_peer atlasfrontier-ai.cern.ch parent 8000 0 no-query no-digest no-netdb-exchange connect-fail-limit=1<br />
cache_peer_access atlasfrontier-ai.cern.ch allow request_via_atlasfrontier_chain<br />
<br />
never_direct allow request_via_atlasfrontier_chain<br />
<br />
# End of extra section 2<br />
#<br />
<br />
acl Purge method PURGE<br />
<br />
http_access deny !Safe_ports<br />
http_access deny CONNECT !SSL_ports<br />
http_access allow localhost manager<br />
http_access deny manager<br />
http_access deny to_localhost<br />
<br />
#<br />
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS<br />
# Depending on the definition of "crunchers" or "localnet" above at least 1 of the following lines must be uncommented.<br />
# Examples:<br />
# http_access allow crunchers<br />
# http_access allow localnet<br />
<br />
http_access allow localhost<br />
# Last "http_access" line.<br />
# Order matters, hence all "http_access" lines following this one will be ignored.<br />
http_access deny all<br />
<br />
# http_port<br />
# don't bind it to an IP that is accessible from outside unless you know what you do.<br />
# Examples:<br />
# http_port localhost:3128<br />
#<br />
# This assumes 198.51.100.99 is the external IP of the Squid box<br />
# http_port 198.51.100.99:3128<br />
#<br />
# default setting that binds Squid to all IPs of the Squid box<br />
http_port 3128<br />
<br />
<br />
# A MUST on Windows.<br />
# If unsure try the the LAN IP of your internet router.<br />
# Avoid using external DNS here.<br />
# On Linux this option shouldn't be necessary<br />
# dns_nameservers 198.51.100.1<br />
<br />
max_filedescriptors 4096<br />
<br />
# Required OFF for intercepted traffic from LHCb VMs<br />
client_dst_passthru off<br />
<br />
# You don't believe this is enough?<br />
# For sure, it is!<br />
cache_mem 256 MB<br />
maximum_object_size_in_memory 24 KB<br />
memory_replacement_policy heap GDSF<br />
<br />
<br />
# Keep it large enough to store vdi files in the cache.<br />
# See extra section 1 how to avoid onetimers eating up your disk storage.<br />
# min-size=xxx keeps very small files away from your disk<br />
# 20000 limits the disk cache to 20 GB<br />
cache_replacement_policy heap LFUDA<br />
maximum_object_size 6144 MB<br />
cache_dir aufs /var/cache/squid 20000 16 64 min-size=7937<br />
<br />
# default=10<br />
logfile_rotate 10<br />
<br />
# logformat has to be changed according to your needs and the capabilities of your logfile analyser<br />
logformat my_awstats %>A %lp %ui %un [%tl] "%rm %>ru HTTP/%rv" %>Hs %st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh<br />
access_log stdio:/var/log/squid/access.log logformat=my_awstats<br />
#access_log none<br />
strip_query_terms off<br />
<br />
coredump_dir none<br />
ftp_user anonymous@<br />
<br />
# max_stale 1 week #default<br />
# extended to be prepared for a project reset<br />
max_stale 37 days<br />
<br />
# 1 line is required to avoid the ancient default settings<br />
# be conservative<br />
# don't violate the HTTP standards<br />
refresh_pattern . 0 0% 0<br />
<br />
store_avg_object_size 1800 KB<br />
<br />
shutdown_lifetime 0 seconds<br />
<br />
# booster 1!<br />
collapsed_forwarding on<br />
<br />
# booster 2!<br />
client_persistent_connections on<br />
server_persistent_connections on<br />
<br />
log_icp_queries off<br />
<br />
dns_defnames on<br />
dns_v4_first on<br />
<br />
forwarded_for transparent<br />
<br />
##### End of squid.conf</nowiki><br />
<br />
Anzupassen ist hier der Parameter '''acl localnet src 192.168.178.0/24'''. Dieses ist das LAN-seitige Defaultsubnetz der meisten Fritzboxen. Andere Router nutzen aber zB. das Subnetz 192.168.0.0/24.<br />
Alle Rechner dieses Netzwerkes dürfen daraufhin auf den Cache zugreifen.<br />
Will man nur einzelne Rechner erlauben, kann dies über Einträge wie '''acl crunchers src 192.168.178.20''' erfolgen, dann wird der Squid seine Services nur dem Rechner mit der IP 192.168.178.20 ermöglichen.<br />
<br />
Den Squid nun mit der neuen Konfiguration starten:<br />
service squid start<br />
Ob der Squid genutzt wird, lässt sich einfach über sein Zugrifflog verfolgen:<br />
<br />
tail -f /var/log/squid/access.log<br />
<br />
Startet nach abgeschlossener Konfiguration eine neue native WU, kommen hier innerhalb der ersten Minuten jeweils hunderte bis tausende Einträge hinzu.<br />
<br />
<br />
= CVMFS = <br />
== CVMFS Installation ==<br />
== CVMFS Konfiguration == <br />
#CVMFS anpassen:<br />
#Code:<br />
<br />
vi /etc/cvmfs/default.local<br />
#adjust CVMFS_HTTP_PROXY<br />
CVMFS_HTTP_PROXY="http://squid_hostname_or_IP:3128;DIRECT"<br />
<br />
#squid_hostname_or_IP auf LAN IP des Squidrechners anpassen<br />
<br />
<br />
<br />
#Bitte schreib' mal folgende Zeile in die Datei /etc/cvmfs/default.local:<br />
<br />
CVMFS_USE_CDN=yes<br />
<br />
#Nach dem Abspeichern ein "cvmfs_config reload".<br />
<br />
#Bei "cvmfs_config stat" sollte jetzt "...openhtc.io" statt "cvmfs-stratum-one.cern.ch" in der Ausgabe stehen.<br />
<br />
= BOINC Client = <br />
== BOINC Manager ==<br />
#Code:<br />
<br />
"Options -> Other Options -> HTTP Proxy"<br />
Address: squid_hostname_or_IP<br />
Port: 3128<br />
<br />
== cc_config.xml ==<br />
<cc_config><br />
<options><br />
<proxy_info><br />
<http_server_name>192.168</http_server_name><br />
<http_server_port>3128</http_server_port><br />
</proxy_info><br />
</options><br />
</cc_config><br />
<br />
Anschließend die cc_config über boinccmd neu einlesen:<br />
boinccmd --read_cc_config</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC_native_Einrichtung&diff=6616LHC native Einrichtung2021-02-26T19:42:23Z<p>Koschi: /* cc_config.xml */</p>
<hr />
<div>= Einrichtung von nativen LHC Anwendungen =<br />
<br />
Diese Anleitung beschreibt die Installation von Squid und Cerns CVMFS auf Ubuntu Systemen. Analog funktioniert dies dann natürlich auch auf Debian, Mint und anderen verwandten Distributionen.<br />
Bei SuSE oder RedHat sind die entsprechenden Paketverwaltungstools (zypper/yast & yum/dnf) zu verwenden, auch kann der Squid Nutzer und dessen Gruppe eine andere sein, zB. "squid" anstelle von "proxy".<br />
<br />
= Squid =<br />
Squid ist ein cachender Proxyserver, er wird idR. genutzt um Netzinhalte zu cachen und damit den Zugriff auf diese zu beschleunigen. Damit einher geht eine Reduzierung der notwendigen Netzwerkbandbreite.<br />
Es empfiehlt sich ausdrücklich Squid über die distributionseigene Paketverwaltung zu installieren, da diese den Cache automatisch und unterhalb eines eigenen Benutzers startet. Auch Konfgurationen für die automatische Rotation der Squid log files sind enthalten, diese wachsen also nicht ins unermessliche an.<br />
<br />
== Installation ==<br />
<br />
Cacheverzeichnis anlegen:<br />
mkdir -p /var/cache/squid<br />
<br />
Squid installieren:<br />
apt install squid<br />
<br />
Squid stoppen:<br />
service squid stop<br />
<br />
Cacheverzeichnis dem Squid Benutzer "proxy" übergeben:<br />
chown -R proxy:proxy /var/cache/squid<br />
<br />
Cache Basisstruktur im Cacheverzeichnis anlegen:<br />
squid -z <br />
Hier '''zwei mal Enter''' drücken, dieser Schritt geht schnell, gibt aber keine newline zurück, scheint daher zu hängen.<br />
<br />
== Konfiguration ==<br />
<br />
Die eigentliche Konfiguration der Squidcaches erfolg anhand der im [https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=5473 LHC Forum abgelegten Konfiguration].<br />
Es lohnt sich diesen Thread nochmals zu überfliegen, da Änderungen an der Beispielkonfiguration nicht mehr im Startbeitrag eingepflegt werden können. Stand 26.02.2020 sieht die squid.conf folgendermaßen aus:<br />
<br />
<nowiki><br />
# Squid configuration for BOINC<br />
# Based on squid version 3.5<br />
# See also: http://www.squid-cache.org/<br />
<br />
# Every line starting with "#" represents a comment.<br />
<br />
# Define your local hosts/networks here.<br />
# If neither "crunchers" nor "localnet" is set none of your devices will be permitted to use the proxy.<br />
# The examples show the principle.<br />
# For advanced options read the Squid documentation.<br />
#<br />
# Examples:<br />
#<br />
# Either enter a list of IPs representing your computers that are permitted to use the proxy.<br />
# Each IP on a separate line.<br />
# acl crunchers src 198.51.100.20<br />
# acl crunchers src 198.51.100.31<br />
# acl crunchers src 198.51.100.37<br />
# acl crunchers src 198.51.100.42<br />
#<br />
# Or enter complete network ranges.<br />
# Be aware that this may permit devices like printers or TVs that you may not want to use the proxy.<br />
# acl localnet src 192.0.2.0/24<br />
# acl localnet src 198.51.100.0/24<br />
acl localnet src 192.168.178.0/24<br />
<br />
<br />
acl SSL_ports port 443<br />
acl Safe_ports port 80<br />
acl Safe_ports port 443<br />
acl Safe_ports port 1025-65535 # unregistered ports<br />
<br />
acl CONNECT method CONNECT<br />
<br />
follow_x_forwarded_for allow localhost<br />
follow_x_forwarded_for deny all<br />
<br />
<br />
#<br />
# Start of extra section 1<br />
# Requests that need special handling<br />
<br />
# worldcommunitygrid doesn't like it if data is taken from the local cache<br />
acl wcg_nocache dstdomain .worldcommunitygrid.org<br />
cache deny wcg_nocache<br />
<br />
<br />
# if CVMFS uses geoapi, ensure it's checked directly<br />
acl cvmfs_geoapi urlpath_regex -i ^/+cvmfs/+[0-9a-z._~-]+/+api/+[0-9a-z._~-]+/+geo/+[0-9a-z._~-]+/+[0-9a-z.,_~-]+<br />
cache deny cvmfs_geoapi<br />
<br />
<br />
# avoids polluting the disk cache with typical onetimers, e.g. ATLAS job data<br />
acl boinc_nocache urlpath_regex -i /download[0-9a-z._~-]*/+[0-9a-z._~-]+/+.+<br />
cache deny boinc_nocache<br />
<br />
<br />
# seriously: do NOT cache that!<br />
# Based on a frontier cache suggestion<br />
acl PragmaNoCache req_header Pragma no-cache<br />
cache deny PragmaNoCache<br />
<br />
# End of extra section 1<br />
#<br />
<br />
<br />
#<br />
# Start of extra section 2<br />
# parent cache configuration<br />
#<br />
# ATLAS tasks route frontier requests via predefined WLCG proxy chains including load balancing and fail-over.<br />
# The following lines ensure those proxy chains are respected by a local squid as intended by the CERN ATLAS team.<br />
<br />
acl request_via_atlasfrontier_chain url_regex -i ^http://+atlasfrontier[1-4]?-ai\.cern\.ch:8000/+[^/]+<br />
<br />
cache_peer atlas-db-squid.grid.uio.no parent 3128 0 no-query no-digest weighted-round-robin no-netdb-exchange connect-timeout=7 connect-fail-limit=1<br />
cache_peer_access atlas-db-squid.grid.uio.no allow request_via_atlasfrontier_chain<br />
<br />
cache_peer dcache.ijs.si parent 3128 0 no-query no-digest weighted-round-robin no-netdb-exchange connect-timeout=7 connect-fail-limit=1<br />
cache_peer_access dcache.ijs.si allow request_via_atlasfrontier_chain<br />
<br />
cache_peer atlasfrontier-ai.cern.ch parent 8000 0 no-query no-digest no-netdb-exchange connect-fail-limit=1<br />
cache_peer_access atlasfrontier-ai.cern.ch allow request_via_atlasfrontier_chain<br />
<br />
never_direct allow request_via_atlasfrontier_chain<br />
<br />
# End of extra section 2<br />
#<br />
<br />
acl Purge method PURGE<br />
<br />
http_access deny !Safe_ports<br />
http_access deny CONNECT !SSL_ports<br />
http_access allow localhost manager<br />
http_access deny manager<br />
http_access deny to_localhost<br />
<br />
#<br />
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS<br />
# Depending on the definition of "crunchers" or "localnet" above at least 1 of the following lines must be uncommented.<br />
# Examples:<br />
# http_access allow crunchers<br />
# http_access allow localnet<br />
<br />
http_access allow localhost<br />
# Last "http_access" line.<br />
# Order matters, hence all "http_access" lines following this one will be ignored.<br />
http_access deny all<br />
<br />
# http_port<br />
# don't bind it to an IP that is accessible from outside unless you know what you do.<br />
# Examples:<br />
# http_port localhost:3128<br />
#<br />
# This assumes 198.51.100.99 is the external IP of the Squid box<br />
# http_port 198.51.100.99:3128<br />
#<br />
# default setting that binds Squid to all IPs of the Squid box<br />
http_port 3128<br />
<br />
<br />
# A MUST on Windows.<br />
# If unsure try the the LAN IP of your internet router.<br />
# Avoid using external DNS here.<br />
# On Linux this option shouldn't be necessary<br />
# dns_nameservers 198.51.100.1<br />
<br />
max_filedescriptors 4096<br />
<br />
# Required OFF for intercepted traffic from LHCb VMs<br />
client_dst_passthru off<br />
<br />
# You don't believe this is enough?<br />
# For sure, it is!<br />
cache_mem 256 MB<br />
maximum_object_size_in_memory 24 KB<br />
memory_replacement_policy heap GDSF<br />
<br />
<br />
# Keep it large enough to store vdi files in the cache.<br />
# See extra section 1 how to avoid onetimers eating up your disk storage.<br />
# min-size=xxx keeps very small files away from your disk<br />
# 20000 limits the disk cache to 20 GB<br />
cache_replacement_policy heap LFUDA<br />
maximum_object_size 6144 MB<br />
cache_dir aufs /var/cache/squid 20000 16 64 min-size=7937<br />
<br />
# default=10<br />
logfile_rotate 10<br />
<br />
# logformat has to be changed according to your needs and the capabilities of your logfile analyser<br />
logformat my_awstats %>A %lp %ui %un [%tl] "%rm %>ru HTTP/%rv" %>Hs %st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh<br />
access_log stdio:/var/log/squid/access.log logformat=my_awstats<br />
#access_log none<br />
strip_query_terms off<br />
<br />
coredump_dir none<br />
ftp_user anonymous@<br />
<br />
# max_stale 1 week #default<br />
# extended to be prepared for a project reset<br />
max_stale 37 days<br />
<br />
# 1 line is required to avoid the ancient default settings<br />
# be conservative<br />
# don't violate the HTTP standards<br />
refresh_pattern . 0 0% 0<br />
<br />
store_avg_object_size 1800 KB<br />
<br />
shutdown_lifetime 0 seconds<br />
<br />
# booster 1!<br />
collapsed_forwarding on<br />
<br />
# booster 2!<br />
client_persistent_connections on<br />
server_persistent_connections on<br />
<br />
log_icp_queries off<br />
<br />
dns_defnames on<br />
dns_v4_first on<br />
<br />
forwarded_for transparent<br />
<br />
##### End of squid.conf</nowiki><br />
<br />
Anzupassen ist hier der Parameter '''acl localnet src 192.168.178.0/24'''. Dieses ist das LAN-seitige Defaultsubnetz der meisten Fritzboxen. Andere Router nutzen aber zB. das Subnetz 192.168.0.0/24.<br />
Alle Rechner dieses Netzwerkes dürfen daraufhin auf den Cache zugreifen.<br />
Will man nur einzelne Rechner erlauben, kann dies über Einträge wie '''acl crunchers src 192.168.178.20''' erfolgen, dann wird der Squid seine Services nur dem Rechner mit der IP 192.168.178.20 ermöglichen.<br />
<br />
Den Squid nun mit der neuen Konfiguration starten:<br />
service squid start<br />
Ob der Squid genutzt wird, lässt sich einfach über sein Zugrifflog verfolgen:<br />
<br />
tail -f /var/log/squid/access.log<br />
<br />
Startet nach abgeschlossener Konfiguration eine neue native WU, kommen hier innerhalb der ersten Minuten jeweils hunderte bis tausende Einträge hinzu.<br />
<br />
<br />
= CVMFS = <br />
== CVMFS Installation ==<br />
== CVMFS Konfiguration == <br />
#CVMFS anpassen:<br />
#Code:<br />
<br />
vi /etc/cvmfs/default.local<br />
#adjust CVMFS_HTTP_PROXY<br />
CVMFS_HTTP_PROXY="http://squid_hostname_or_IP:3128;DIRECT"<br />
<br />
#squid_hostname_or_IP auf LAN IP des Squidrechners anpassen<br />
<br />
<br />
<br />
#Bitte schreib' mal folgende Zeile in die Datei /etc/cvmfs/default.local:<br />
<br />
CVMFS_USE_CDN=yes<br />
<br />
#Nach dem Abspeichern ein "cvmfs_config reload".<br />
<br />
#Bei "cvmfs_config stat" sollte jetzt "...openhtc.io" statt "cvmfs-stratum-one.cern.ch" in der Ausgabe stehen.<br />
<br />
= BOINC Client = <br />
== BOINC Manager ==<br />
#Code:<br />
<br />
"Options -> Other Options -> HTTP Proxy"<br />
Address: squid_hostname_or_IP<br />
Port: 3128<br />
<br />
== cc_config.xml ==<br />
<no_wiki><br />
<proxy_info><br />
<http_server_name></http_server_name><br />
<http_server_port>3128</http_server_port><br />
</proxy_info><br />
</no_wiki></div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC_native_Einrichtung&diff=6615LHC native Einrichtung2021-02-26T19:41:59Z<p>Koschi: /* BOINC Client */</p>
<hr />
<div>= Einrichtung von nativen LHC Anwendungen =<br />
<br />
Diese Anleitung beschreibt die Installation von Squid und Cerns CVMFS auf Ubuntu Systemen. Analog funktioniert dies dann natürlich auch auf Debian, Mint und anderen verwandten Distributionen.<br />
Bei SuSE oder RedHat sind die entsprechenden Paketverwaltungstools (zypper/yast & yum/dnf) zu verwenden, auch kann der Squid Nutzer und dessen Gruppe eine andere sein, zB. "squid" anstelle von "proxy".<br />
<br />
= Squid =<br />
Squid ist ein cachender Proxyserver, er wird idR. genutzt um Netzinhalte zu cachen und damit den Zugriff auf diese zu beschleunigen. Damit einher geht eine Reduzierung der notwendigen Netzwerkbandbreite.<br />
Es empfiehlt sich ausdrücklich Squid über die distributionseigene Paketverwaltung zu installieren, da diese den Cache automatisch und unterhalb eines eigenen Benutzers startet. Auch Konfgurationen für die automatische Rotation der Squid log files sind enthalten, diese wachsen also nicht ins unermessliche an.<br />
<br />
== Installation ==<br />
<br />
Cacheverzeichnis anlegen:<br />
mkdir -p /var/cache/squid<br />
<br />
Squid installieren:<br />
apt install squid<br />
<br />
Squid stoppen:<br />
service squid stop<br />
<br />
Cacheverzeichnis dem Squid Benutzer "proxy" übergeben:<br />
chown -R proxy:proxy /var/cache/squid<br />
<br />
Cache Basisstruktur im Cacheverzeichnis anlegen:<br />
squid -z <br />
Hier '''zwei mal Enter''' drücken, dieser Schritt geht schnell, gibt aber keine newline zurück, scheint daher zu hängen.<br />
<br />
== Konfiguration ==<br />
<br />
Die eigentliche Konfiguration der Squidcaches erfolg anhand der im [https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=5473 LHC Forum abgelegten Konfiguration].<br />
Es lohnt sich diesen Thread nochmals zu überfliegen, da Änderungen an der Beispielkonfiguration nicht mehr im Startbeitrag eingepflegt werden können. Stand 26.02.2020 sieht die squid.conf folgendermaßen aus:<br />
<br />
<nowiki><br />
# Squid configuration for BOINC<br />
# Based on squid version 3.5<br />
# See also: http://www.squid-cache.org/<br />
<br />
# Every line starting with "#" represents a comment.<br />
<br />
# Define your local hosts/networks here.<br />
# If neither "crunchers" nor "localnet" is set none of your devices will be permitted to use the proxy.<br />
# The examples show the principle.<br />
# For advanced options read the Squid documentation.<br />
#<br />
# Examples:<br />
#<br />
# Either enter a list of IPs representing your computers that are permitted to use the proxy.<br />
# Each IP on a separate line.<br />
# acl crunchers src 198.51.100.20<br />
# acl crunchers src 198.51.100.31<br />
# acl crunchers src 198.51.100.37<br />
# acl crunchers src 198.51.100.42<br />
#<br />
# Or enter complete network ranges.<br />
# Be aware that this may permit devices like printers or TVs that you may not want to use the proxy.<br />
# acl localnet src 192.0.2.0/24<br />
# acl localnet src 198.51.100.0/24<br />
acl localnet src 192.168.178.0/24<br />
<br />
<br />
acl SSL_ports port 443<br />
acl Safe_ports port 80<br />
acl Safe_ports port 443<br />
acl Safe_ports port 1025-65535 # unregistered ports<br />
<br />
acl CONNECT method CONNECT<br />
<br />
follow_x_forwarded_for allow localhost<br />
follow_x_forwarded_for deny all<br />
<br />
<br />
#<br />
# Start of extra section 1<br />
# Requests that need special handling<br />
<br />
# worldcommunitygrid doesn't like it if data is taken from the local cache<br />
acl wcg_nocache dstdomain .worldcommunitygrid.org<br />
cache deny wcg_nocache<br />
<br />
<br />
# if CVMFS uses geoapi, ensure it's checked directly<br />
acl cvmfs_geoapi urlpath_regex -i ^/+cvmfs/+[0-9a-z._~-]+/+api/+[0-9a-z._~-]+/+geo/+[0-9a-z._~-]+/+[0-9a-z.,_~-]+<br />
cache deny cvmfs_geoapi<br />
<br />
<br />
# avoids polluting the disk cache with typical onetimers, e.g. ATLAS job data<br />
acl boinc_nocache urlpath_regex -i /download[0-9a-z._~-]*/+[0-9a-z._~-]+/+.+<br />
cache deny boinc_nocache<br />
<br />
<br />
# seriously: do NOT cache that!<br />
# Based on a frontier cache suggestion<br />
acl PragmaNoCache req_header Pragma no-cache<br />
cache deny PragmaNoCache<br />
<br />
# End of extra section 1<br />
#<br />
<br />
<br />
#<br />
# Start of extra section 2<br />
# parent cache configuration<br />
#<br />
# ATLAS tasks route frontier requests via predefined WLCG proxy chains including load balancing and fail-over.<br />
# The following lines ensure those proxy chains are respected by a local squid as intended by the CERN ATLAS team.<br />
<br />
acl request_via_atlasfrontier_chain url_regex -i ^http://+atlasfrontier[1-4]?-ai\.cern\.ch:8000/+[^/]+<br />
<br />
cache_peer atlas-db-squid.grid.uio.no parent 3128 0 no-query no-digest weighted-round-robin no-netdb-exchange connect-timeout=7 connect-fail-limit=1<br />
cache_peer_access atlas-db-squid.grid.uio.no allow request_via_atlasfrontier_chain<br />
<br />
cache_peer dcache.ijs.si parent 3128 0 no-query no-digest weighted-round-robin no-netdb-exchange connect-timeout=7 connect-fail-limit=1<br />
cache_peer_access dcache.ijs.si allow request_via_atlasfrontier_chain<br />
<br />
cache_peer atlasfrontier-ai.cern.ch parent 8000 0 no-query no-digest no-netdb-exchange connect-fail-limit=1<br />
cache_peer_access atlasfrontier-ai.cern.ch allow request_via_atlasfrontier_chain<br />
<br />
never_direct allow request_via_atlasfrontier_chain<br />
<br />
# End of extra section 2<br />
#<br />
<br />
acl Purge method PURGE<br />
<br />
http_access deny !Safe_ports<br />
http_access deny CONNECT !SSL_ports<br />
http_access allow localhost manager<br />
http_access deny manager<br />
http_access deny to_localhost<br />
<br />
#<br />
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS<br />
# Depending on the definition of "crunchers" or "localnet" above at least 1 of the following lines must be uncommented.<br />
# Examples:<br />
# http_access allow crunchers<br />
# http_access allow localnet<br />
<br />
http_access allow localhost<br />
# Last "http_access" line.<br />
# Order matters, hence all "http_access" lines following this one will be ignored.<br />
http_access deny all<br />
<br />
# http_port<br />
# don't bind it to an IP that is accessible from outside unless you know what you do.<br />
# Examples:<br />
# http_port localhost:3128<br />
#<br />
# This assumes 198.51.100.99 is the external IP of the Squid box<br />
# http_port 198.51.100.99:3128<br />
#<br />
# default setting that binds Squid to all IPs of the Squid box<br />
http_port 3128<br />
<br />
<br />
# A MUST on Windows.<br />
# If unsure try the the LAN IP of your internet router.<br />
# Avoid using external DNS here.<br />
# On Linux this option shouldn't be necessary<br />
# dns_nameservers 198.51.100.1<br />
<br />
max_filedescriptors 4096<br />
<br />
# Required OFF for intercepted traffic from LHCb VMs<br />
client_dst_passthru off<br />
<br />
# You don't believe this is enough?<br />
# For sure, it is!<br />
cache_mem 256 MB<br />
maximum_object_size_in_memory 24 KB<br />
memory_replacement_policy heap GDSF<br />
<br />
<br />
# Keep it large enough to store vdi files in the cache.<br />
# See extra section 1 how to avoid onetimers eating up your disk storage.<br />
# min-size=xxx keeps very small files away from your disk<br />
# 20000 limits the disk cache to 20 GB<br />
cache_replacement_policy heap LFUDA<br />
maximum_object_size 6144 MB<br />
cache_dir aufs /var/cache/squid 20000 16 64 min-size=7937<br />
<br />
# default=10<br />
logfile_rotate 10<br />
<br />
# logformat has to be changed according to your needs and the capabilities of your logfile analyser<br />
logformat my_awstats %>A %lp %ui %un [%tl] "%rm %>ru HTTP/%rv" %>Hs %st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh<br />
access_log stdio:/var/log/squid/access.log logformat=my_awstats<br />
#access_log none<br />
strip_query_terms off<br />
<br />
coredump_dir none<br />
ftp_user anonymous@<br />
<br />
# max_stale 1 week #default<br />
# extended to be prepared for a project reset<br />
max_stale 37 days<br />
<br />
# 1 line is required to avoid the ancient default settings<br />
# be conservative<br />
# don't violate the HTTP standards<br />
refresh_pattern . 0 0% 0<br />
<br />
store_avg_object_size 1800 KB<br />
<br />
shutdown_lifetime 0 seconds<br />
<br />
# booster 1!<br />
collapsed_forwarding on<br />
<br />
# booster 2!<br />
client_persistent_connections on<br />
server_persistent_connections on<br />
<br />
log_icp_queries off<br />
<br />
dns_defnames on<br />
dns_v4_first on<br />
<br />
forwarded_for transparent<br />
<br />
##### End of squid.conf</nowiki><br />
<br />
Anzupassen ist hier der Parameter '''acl localnet src 192.168.178.0/24'''. Dieses ist das LAN-seitige Defaultsubnetz der meisten Fritzboxen. Andere Router nutzen aber zB. das Subnetz 192.168.0.0/24.<br />
Alle Rechner dieses Netzwerkes dürfen daraufhin auf den Cache zugreifen.<br />
Will man nur einzelne Rechner erlauben, kann dies über Einträge wie '''acl crunchers src 192.168.178.20''' erfolgen, dann wird der Squid seine Services nur dem Rechner mit der IP 192.168.178.20 ermöglichen.<br />
<br />
Den Squid nun mit der neuen Konfiguration starten:<br />
service squid start<br />
Ob der Squid genutzt wird, lässt sich einfach über sein Zugrifflog verfolgen:<br />
<br />
tail -f /var/log/squid/access.log<br />
<br />
Startet nach abgeschlossener Konfiguration eine neue native WU, kommen hier innerhalb der ersten Minuten jeweils hunderte bis tausende Einträge hinzu.<br />
<br />
<br />
= CVMFS = <br />
== CVMFS Installation ==<br />
== CVMFS Konfiguration == <br />
#CVMFS anpassen:<br />
#Code:<br />
<br />
vi /etc/cvmfs/default.local<br />
#adjust CVMFS_HTTP_PROXY<br />
CVMFS_HTTP_PROXY="http://squid_hostname_or_IP:3128;DIRECT"<br />
<br />
#squid_hostname_or_IP auf LAN IP des Squidrechners anpassen<br />
<br />
<br />
<br />
#Bitte schreib' mal folgende Zeile in die Datei /etc/cvmfs/default.local:<br />
<br />
CVMFS_USE_CDN=yes<br />
<br />
#Nach dem Abspeichern ein "cvmfs_config reload".<br />
<br />
#Bei "cvmfs_config stat" sollte jetzt "...openhtc.io" statt "cvmfs-stratum-one.cern.ch" in der Ausgabe stehen.<br />
<br />
= BOINC Client = <br />
== BOINC Manager ==<br />
#Code:<br />
<br />
"Options -> Other Options -> HTTP Proxy"<br />
Address: squid_hostname_or_IP<br />
Port: 3128<br />
<br />
== cc_config.xml ==<br />
<proxy_info><br />
<http_server_name></http_server_name><br />
<http_server_port>3128</http_server_port><br />
</proxy_info></div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC_native_Einrichtung&diff=6614LHC native Einrichtung2021-02-26T19:33:45Z<p>Koschi: </p>
<hr />
<div>= Einrichtung von nativen LHC Anwendungen =<br />
<br />
Diese Anleitung beschreibt die Installation von Squid und Cerns CVMFS auf Ubuntu Systemen. Analog funktioniert dies dann natürlich auch auf Debian, Mint und anderen verwandten Distributionen.<br />
Bei SuSE oder RedHat sind die entsprechenden Paketverwaltungstools (zypper/yast & yum/dnf) zu verwenden, auch kann der Squid Nutzer und dessen Gruppe eine andere sein, zB. "squid" anstelle von "proxy".<br />
<br />
= Squid =<br />
Squid ist ein cachender Proxyserver, er wird idR. genutzt um Netzinhalte zu cachen und damit den Zugriff auf diese zu beschleunigen. Damit einher geht eine Reduzierung der notwendigen Netzwerkbandbreite.<br />
Es empfiehlt sich ausdrücklich Squid über die distributionseigene Paketverwaltung zu installieren, da diese den Cache automatisch und unterhalb eines eigenen Benutzers startet. Auch Konfgurationen für die automatische Rotation der Squid log files sind enthalten, diese wachsen also nicht ins unermessliche an.<br />
<br />
== Installation ==<br />
<br />
Cacheverzeichnis anlegen:<br />
mkdir -p /var/cache/squid<br />
<br />
Squid installieren:<br />
apt install squid<br />
<br />
Squid stoppen:<br />
service squid stop<br />
<br />
Cacheverzeichnis dem Squid Benutzer "proxy" übergeben:<br />
chown -R proxy:proxy /var/cache/squid<br />
<br />
Cache Basisstruktur im Cacheverzeichnis anlegen:<br />
squid -z <br />
Hier '''zwei mal Enter''' drücken, dieser Schritt geht schnell, gibt aber keine newline zurück, scheint daher zu hängen.<br />
<br />
== Konfiguration ==<br />
<br />
Die eigentliche Konfiguration der Squidcaches erfolg anhand der im [https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=5473 LHC Forum abgelegten Konfiguration].<br />
Es lohnt sich diesen Thread nochmals zu überfliegen, da Änderungen an der Beispielkonfiguration nicht mehr im Startbeitrag eingepflegt werden können. Stand 26.02.2020 sieht die squid.conf folgendermaßen aus:<br />
<br />
<nowiki><br />
# Squid configuration for BOINC<br />
# Based on squid version 3.5<br />
# See also: http://www.squid-cache.org/<br />
<br />
# Every line starting with "#" represents a comment.<br />
<br />
# Define your local hosts/networks here.<br />
# If neither "crunchers" nor "localnet" is set none of your devices will be permitted to use the proxy.<br />
# The examples show the principle.<br />
# For advanced options read the Squid documentation.<br />
#<br />
# Examples:<br />
#<br />
# Either enter a list of IPs representing your computers that are permitted to use the proxy.<br />
# Each IP on a separate line.<br />
# acl crunchers src 198.51.100.20<br />
# acl crunchers src 198.51.100.31<br />
# acl crunchers src 198.51.100.37<br />
# acl crunchers src 198.51.100.42<br />
#<br />
# Or enter complete network ranges.<br />
# Be aware that this may permit devices like printers or TVs that you may not want to use the proxy.<br />
# acl localnet src 192.0.2.0/24<br />
# acl localnet src 198.51.100.0/24<br />
acl localnet src 192.168.178.0/24<br />
<br />
<br />
acl SSL_ports port 443<br />
acl Safe_ports port 80<br />
acl Safe_ports port 443<br />
acl Safe_ports port 1025-65535 # unregistered ports<br />
<br />
acl CONNECT method CONNECT<br />
<br />
follow_x_forwarded_for allow localhost<br />
follow_x_forwarded_for deny all<br />
<br />
<br />
#<br />
# Start of extra section 1<br />
# Requests that need special handling<br />
<br />
# worldcommunitygrid doesn't like it if data is taken from the local cache<br />
acl wcg_nocache dstdomain .worldcommunitygrid.org<br />
cache deny wcg_nocache<br />
<br />
<br />
# if CVMFS uses geoapi, ensure it's checked directly<br />
acl cvmfs_geoapi urlpath_regex -i ^/+cvmfs/+[0-9a-z._~-]+/+api/+[0-9a-z._~-]+/+geo/+[0-9a-z._~-]+/+[0-9a-z.,_~-]+<br />
cache deny cvmfs_geoapi<br />
<br />
<br />
# avoids polluting the disk cache with typical onetimers, e.g. ATLAS job data<br />
acl boinc_nocache urlpath_regex -i /download[0-9a-z._~-]*/+[0-9a-z._~-]+/+.+<br />
cache deny boinc_nocache<br />
<br />
<br />
# seriously: do NOT cache that!<br />
# Based on a frontier cache suggestion<br />
acl PragmaNoCache req_header Pragma no-cache<br />
cache deny PragmaNoCache<br />
<br />
# End of extra section 1<br />
#<br />
<br />
<br />
#<br />
# Start of extra section 2<br />
# parent cache configuration<br />
#<br />
# ATLAS tasks route frontier requests via predefined WLCG proxy chains including load balancing and fail-over.<br />
# The following lines ensure those proxy chains are respected by a local squid as intended by the CERN ATLAS team.<br />
<br />
acl request_via_atlasfrontier_chain url_regex -i ^http://+atlasfrontier[1-4]?-ai\.cern\.ch:8000/+[^/]+<br />
<br />
cache_peer atlas-db-squid.grid.uio.no parent 3128 0 no-query no-digest weighted-round-robin no-netdb-exchange connect-timeout=7 connect-fail-limit=1<br />
cache_peer_access atlas-db-squid.grid.uio.no allow request_via_atlasfrontier_chain<br />
<br />
cache_peer dcache.ijs.si parent 3128 0 no-query no-digest weighted-round-robin no-netdb-exchange connect-timeout=7 connect-fail-limit=1<br />
cache_peer_access dcache.ijs.si allow request_via_atlasfrontier_chain<br />
<br />
cache_peer atlasfrontier-ai.cern.ch parent 8000 0 no-query no-digest no-netdb-exchange connect-fail-limit=1<br />
cache_peer_access atlasfrontier-ai.cern.ch allow request_via_atlasfrontier_chain<br />
<br />
never_direct allow request_via_atlasfrontier_chain<br />
<br />
# End of extra section 2<br />
#<br />
<br />
acl Purge method PURGE<br />
<br />
http_access deny !Safe_ports<br />
http_access deny CONNECT !SSL_ports<br />
http_access allow localhost manager<br />
http_access deny manager<br />
http_access deny to_localhost<br />
<br />
#<br />
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS<br />
# Depending on the definition of "crunchers" or "localnet" above at least 1 of the following lines must be uncommented.<br />
# Examples:<br />
# http_access allow crunchers<br />
# http_access allow localnet<br />
<br />
http_access allow localhost<br />
# Last "http_access" line.<br />
# Order matters, hence all "http_access" lines following this one will be ignored.<br />
http_access deny all<br />
<br />
# http_port<br />
# don't bind it to an IP that is accessible from outside unless you know what you do.<br />
# Examples:<br />
# http_port localhost:3128<br />
#<br />
# This assumes 198.51.100.99 is the external IP of the Squid box<br />
# http_port 198.51.100.99:3128<br />
#<br />
# default setting that binds Squid to all IPs of the Squid box<br />
http_port 3128<br />
<br />
<br />
# A MUST on Windows.<br />
# If unsure try the the LAN IP of your internet router.<br />
# Avoid using external DNS here.<br />
# On Linux this option shouldn't be necessary<br />
# dns_nameservers 198.51.100.1<br />
<br />
max_filedescriptors 4096<br />
<br />
# Required OFF for intercepted traffic from LHCb VMs<br />
client_dst_passthru off<br />
<br />
# You don't believe this is enough?<br />
# For sure, it is!<br />
cache_mem 256 MB<br />
maximum_object_size_in_memory 24 KB<br />
memory_replacement_policy heap GDSF<br />
<br />
<br />
# Keep it large enough to store vdi files in the cache.<br />
# See extra section 1 how to avoid onetimers eating up your disk storage.<br />
# min-size=xxx keeps very small files away from your disk<br />
# 20000 limits the disk cache to 20 GB<br />
cache_replacement_policy heap LFUDA<br />
maximum_object_size 6144 MB<br />
cache_dir aufs /var/cache/squid 20000 16 64 min-size=7937<br />
<br />
# default=10<br />
logfile_rotate 10<br />
<br />
# logformat has to be changed according to your needs and the capabilities of your logfile analyser<br />
logformat my_awstats %>A %lp %ui %un [%tl] "%rm %>ru HTTP/%rv" %>Hs %st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh<br />
access_log stdio:/var/log/squid/access.log logformat=my_awstats<br />
#access_log none<br />
strip_query_terms off<br />
<br />
coredump_dir none<br />
ftp_user anonymous@<br />
<br />
# max_stale 1 week #default<br />
# extended to be prepared for a project reset<br />
max_stale 37 days<br />
<br />
# 1 line is required to avoid the ancient default settings<br />
# be conservative<br />
# don't violate the HTTP standards<br />
refresh_pattern . 0 0% 0<br />
<br />
store_avg_object_size 1800 KB<br />
<br />
shutdown_lifetime 0 seconds<br />
<br />
# booster 1!<br />
collapsed_forwarding on<br />
<br />
# booster 2!<br />
client_persistent_connections on<br />
server_persistent_connections on<br />
<br />
log_icp_queries off<br />
<br />
dns_defnames on<br />
dns_v4_first on<br />
<br />
forwarded_for transparent<br />
<br />
##### End of squid.conf</nowiki><br />
<br />
Anzupassen ist hier der Parameter '''acl localnet src 192.168.178.0/24'''. Dieses ist das LAN-seitige Defaultsubnetz der meisten Fritzboxen. Andere Router nutzen aber zB. das Subnetz 192.168.0.0/24.<br />
Alle Rechner dieses Netzwerkes dürfen daraufhin auf den Cache zugreifen.<br />
Will man nur einzelne Rechner erlauben, kann dies über Einträge wie '''acl crunchers src 192.168.178.20''' erfolgen, dann wird der Squid seine Services nur dem Rechner mit der IP 192.168.178.20 ermöglichen.<br />
<br />
Den Squid nun mit der neuen Konfiguration starten:<br />
service squid start<br />
Ob der Squid genutzt wird, lässt sich einfach über sein Zugrifflog verfolgen:<br />
<br />
tail -f /var/log/squid/access.log<br />
<br />
Startet nach abgeschlossener Konfiguration eine neue native WU, kommen hier innerhalb der ersten Minuten jeweils hunderte bis tausende Einträge hinzu.<br />
<br />
<br />
= CVMFS = <br />
== CVMFS Installation ==<br />
== CVMFS Konfiguration == <br />
#CVMFS anpassen:<br />
#Code:<br />
<br />
vi /etc/cvmfs/default.local<br />
#adjust CVMFS_HTTP_PROXY<br />
CVMFS_HTTP_PROXY="http://squid_hostname_or_IP:3128;DIRECT"<br />
<br />
#squid_hostname_or_IP auf LAN IP des Squidrechners anpassen<br />
<br />
<br />
<br />
#Bitte schreib' mal folgende Zeile in die Datei /etc/cvmfs/default.local:<br />
<br />
CVMFS_USE_CDN=yes<br />
<br />
#Nach dem Abspeichern ein "cvmfs_config reload".<br />
<br />
#Bei "cvmfs_config stat" sollte jetzt "...openhtc.io" statt "cvmfs-stratum-one.cern.ch" in der Ausgabe stehen.<br />
<br />
= BOINC Client = <br />
#BOINC anpassen:<br />
#Code:<br />
<br />
"Options -> Other Options -> HTTP Proxy"<br />
Address: squid_hostname_or_IP<br />
Port: 3128</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC_native_Einrichtung&diff=6612LHC native Einrichtung2021-02-26T18:46:53Z<p>Koschi: Koschi verschob die Seite Quelltext der Seite LHC native Einrichtung nach LHC native Einrichtung: Falscher Titel</p>
<hr />
<div>= Einrichtung von nativen LHC Anwendungen =<br />
<br />
= Squid =<br />
== Installation ==<br />
#Squid installieren und anpassen:<br />
#Code:<br />
<br />
mkdir -p /var/cache/squid<br />
apt install squid<br />
service squid stop<br />
chown -R proxy:proxy /var/cache/squid<br />
squid -z # zwei mal Enter drücken, das ist schnell fertig, gibt aber keine newline zurück<br />
<br />
== Konfiguration ==<br />
cp -pr /etc/squid/squid.conf /etc/squid/squid.conf.backup<br />
wget -O /etc/squid/squid.conf http://kerbodyne.com/boinc/squid.conf<br />
<br />
<br />
#Tipp:<br />
#127.0.0.1 geht nur, wenn CVMFS und Squid auf der gleichen Box laufen.<br />
#Bei CMS läuft CVMFS in der VM. Das ist aus Netzwerksicht ein anderer Rechner.<br />
<br />
#Noch ein Tipp:<br />
#Ein simples Squid-Monitoring bekommst du in einer Linux-Konsole mit dem Kommando:<br />
<br />
tail -F /var/log/squid/access.log<br />
<br />
#Cachegröße checken (in MB):<br />
<br />
du -smx /var/cache/squid<br />
<br />
#Logs verfolgen:<br />
<br />
tail -f /var/log/squid/access.log<br />
<br />
** Konfiguration <br />
<br />
#In der squid.conf dann anpassen:<br />
### -> acl localnet auf eigenes Heimnetz<br />
### -> dns_nameservers ggf. anpassen, sicher ist sicher<br />
<br />
service squid start<br />
= CVMFS = <br />
== CVMFS Installation ==<br />
== CVMFS Konfiguration == <br />
#CVMFS anpassen:<br />
#Code:<br />
<br />
vi /etc/cvmfs/default.local<br />
#adjust CVMFS_HTTP_PROXY<br />
CVMFS_HTTP_PROXY="http://squid_hostname_or_IP:3128;DIRECT"<br />
<br />
#squid_hostname_or_IP auf LAN IP des Squidrechners anpassen<br />
<br />
<br />
<br />
#Bitte schreib' mal folgende Zeile in die Datei /etc/cvmfs/default.local:<br />
<br />
CVMFS_USE_CDN=yes<br />
<br />
#Nach dem Abspeichern ein "cvmfs_config reload".<br />
<br />
#Bei "cvmfs_config stat" sollte jetzt "...openhtc.io" statt "cvmfs-stratum-one.cern.ch" in der Ausgabe stehen.<br />
<br />
= BOINC Client = <br />
#BOINC anpassen:<br />
#Code:<br />
<br />
"Options -> Other Options -> HTTP Proxy"<br />
Address: squid_hostname_or_IP<br />
Port: 3128</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC_native_Einrichtung&diff=6521LHC native Einrichtung2021-02-22T11:35:54Z<p>Koschi: Die Seite wurde neu angelegt: „= Einrichtung von nativen LHC Anwendungen = = Squid = == Installation == #Squid installieren und anpassen: #Code: mkdir -p /var/cache/squid apt install squid…“</p>
<hr />
<div>= Einrichtung von nativen LHC Anwendungen =<br />
<br />
= Squid =<br />
== Installation ==<br />
#Squid installieren und anpassen:<br />
#Code:<br />
<br />
mkdir -p /var/cache/squid<br />
apt install squid<br />
service squid stop<br />
chown -R proxy:proxy /var/cache/squid<br />
squid -z # zwei mal Enter drücken, das ist schnell fertig, gibt aber keine newline zurück<br />
<br />
== Konfiguration ==<br />
cp -pr /etc/squid/squid.conf /etc/squid/squid.conf.backup<br />
wget -O /etc/squid/squid.conf http://kerbodyne.com/boinc/squid.conf<br />
<br />
<br />
#Tipp:<br />
#127.0.0.1 geht nur, wenn CVMFS und Squid auf der gleichen Box laufen.<br />
#Bei CMS läuft CVMFS in der VM. Das ist aus Netzwerksicht ein anderer Rechner.<br />
<br />
#Noch ein Tipp:<br />
#Ein simples Squid-Monitoring bekommst du in einer Linux-Konsole mit dem Kommando:<br />
<br />
tail -F /var/log/squid/access.log<br />
<br />
#Cachegröße checken (in MB):<br />
<br />
du -smx /var/cache/squid<br />
<br />
#Logs verfolgen:<br />
<br />
tail -f /var/log/squid/access.log<br />
<br />
** Konfiguration <br />
<br />
#In der squid.conf dann anpassen:<br />
### -> acl localnet auf eigenes Heimnetz<br />
### -> dns_nameservers ggf. anpassen, sicher ist sicher<br />
<br />
service squid start<br />
= CVMFS = <br />
== CVMFS Installation ==<br />
== CVMFS Konfiguration == <br />
#CVMFS anpassen:<br />
#Code:<br />
<br />
vi /etc/cvmfs/default.local<br />
#adjust CVMFS_HTTP_PROXY<br />
CVMFS_HTTP_PROXY="http://squid_hostname_or_IP:3128;DIRECT"<br />
<br />
#squid_hostname_or_IP auf LAN IP des Squidrechners anpassen<br />
<br />
<br />
<br />
#Bitte schreib' mal folgende Zeile in die Datei /etc/cvmfs/default.local:<br />
<br />
CVMFS_USE_CDN=yes<br />
<br />
#Nach dem Abspeichern ein "cvmfs_config reload".<br />
<br />
#Bei "cvmfs_config stat" sollte jetzt "...openhtc.io" statt "cvmfs-stratum-one.cern.ch" in der Ausgabe stehen.<br />
<br />
= BOINC Client = <br />
#BOINC anpassen:<br />
#Code:<br />
<br />
"Options -> Other Options -> HTTP Proxy"<br />
Address: squid_hostname_or_IP<br />
Port: 3128</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC@home&diff=6520LHC@home2021-02-22T08:51:40Z<p>Koschi: </p>
<hr />
<div><!-- [[Distributed Computing Wiki:Formatvorlage Projekt]] --><br />
{| {{Steckbrief}}<br />
|-<br />
| {{Steckbrief Kategorie|Physik}}<br />
|-<br />
| {{Steckbrief Betreiber|CERN}}<br />
|-<br />
| {{Steckbrief Nationalität|Schweiz|ch}}<br />
|-<br />
| {{Steckbrief Start|September 2004}}<br />
|-<br />
| {{Steckbrief Status|Stabil}}<br />
|-<br />
| {{Steckbrief Checkpoints|Ja}}<br />
|-<br />
| {{Steckbrief Webseite|URL=http://lhcathome.cern.ch/lhcathome/|Name=lhcathome.cern.ch/lhcathome/}}<br />
|-<br />
| {{Steckbrief Anmeldung|URL=http://lhcathome.cern.ch/lhcathome/}}<br />
|-<br />
| {{Steckbrief Clients Systeme}}<br />
|-<br />
| {{Steckbrief Clients Architektur|x86|x|-|-|-|-}}<br />
|-<br />
| {{Steckbrief Clients Architektur|x86-64|x|x|x|x|-}}<br />
|-<br />
| {{Steckbrief Clients Architektur|aarch64|-|x|-|-|-}}<br />
|-<br />
| {{Steckbrief P3D-Statistik|URL=http://lhcathome.cern.ch/lhcathome/team_display.php?teamid=1051}}<br />
|-<br />
| {{Steckbrief P3D-Statistik Live|Name=LHC@home}}<br />
|}<br />
<br />
'''LHC@home''' führt Simulationen durch, um den Teilchenbeschleuniger [http://de.wikipedia.org/wiki/Large_Hadron_Collider Large Hadron Collider] am CERN im schweizerischen Genf zu optimieren.<br />
<br />
== Projektbeschreibung ==<br />
<br />
TODO<br />
<br />
== Erfolge des Projekts ==<br />
<br />
TODO: Hier sollte auf bisher erzielte Erfolge und veröffentlichte Arbeiten des Projekts eingegangen werden.<br />
<br />
== Planet 3DNow! ==<br />
<br />
Planet 3DNow! nimmt wahrscheinlich seit dem 21.08.2005 mit einem eigenen Team an LHC@home teil.<br />
<br />
TODO: Hier sollte auf unser Team bei diesem Projekt eingegangen werden.<br />
<br />
== Teilnahme ==<br />
<br />
TODO: Hinweise zu Installation und Konfiguration.<br />
* [[LHC_native_Einrichtung]] - Einrichtung von LHC "native" <br />
<br />
== Banner ==<br />
<br />
[[Bild:Banner LHC1.png]]<br />
<br />
[[Bild:Banner LHC2.png]]<br />
<br />
== Weblinks ==<br />
<br />
* [http://lhcathome.cern.ch/lhcathome/ lhcathome.cern.ch/lhcathome/] - Internetpräsenz des Projekts<br />
* [http://lhcathome.cern.ch/lhcathome/team_display.php?teamid=1051 Planet 3DNow! Teamstatistik]<br />
<br />
<br />
{{NaviBlock<br />
|Vorlage:Navigationsleiste BOINC<br />
|Navigationsleiste Nicht-BOINC<br />
}}<br />
<br />
[[Kategorie:Physik]]<br />
[[Kategorie:BOINC-Projekt]]<br />
[[Kategorie:Planet 3DNow! Team]]</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=LHC@home&diff=6519LHC@home2021-02-22T08:50:51Z<p>Koschi: </p>
<hr />
<div><!-- [[Distributed Computing Wiki:Formatvorlage Projekt]] --><br />
{| {{Steckbrief}}<br />
|-<br />
| {{Steckbrief Kategorie|Physik}}<br />
|-<br />
| {{Steckbrief Betreiber|CERN}}<br />
|-<br />
| {{Steckbrief Nationalität|Schweiz|ch}}<br />
|-<br />
| {{Steckbrief Start|September 2004}}<br />
|-<br />
| {{Steckbrief Status|Stabil}}<br />
|-<br />
| {{Steckbrief Checkpoints|Ja}}<br />
|-<br />
| {{Steckbrief Webseite|URL=http://lhcathome.cern.ch/lhcathome/|Name=lhcathome.cern.ch/lhcathome/}}<br />
|-<br />
| {{Steckbrief Anmeldung|URL=http://lhcathome.cern.ch/lhcathome/}}<br />
|-<br />
| {{Steckbrief Clients Systeme}}<br />
|-<br />
| {{Steckbrief Clients Architektur|x86|x|-|-|-|-}}<br />
|-<br />
| {{Steckbrief Clients Architektur|x86-64|x|x|x|x|-}}<br />
|-<br />
| {{Steckbrief Clients Architektur|aarch64|-|x|-|-|-}}<br />
|-<br />
| {{Steckbrief P3D-Statistik|URL=http://lhcathome.cern.ch/lhcathome/team_display.php?teamid=1051}}<br />
|-<br />
| {{Steckbrief P3D-Statistik Live|Name=LHC@home}}<br />
|}<br />
<br />
'''LHC@home''' führt Simulationen durch, um den Teilchenbeschleuniger [http://de.wikipedia.org/wiki/Large_Hadron_Collider Large Hadron Collider] am CERN im schweizerischen Genf zu optimieren.<br />
<br />
== Projektbeschreibung ==<br />
<br />
TODO<br />
<br />
== Erfolge des Projekts ==<br />
<br />
TODO: Hier sollte auf bisher erzielte Erfolge und veröffentlichte Arbeiten des Projekts eingegangen werden.<br />
<br />
== Planet 3DNow! ==<br />
<br />
Planet 3DNow! nimmt wahrscheinlich seit dem 21.08.2005 mit einem eigenen Team an LHC@home teil.<br />
<br />
TODO: Hier sollte auf unser Team bei diesem Projekt eingegangen werden.<br />
<br />
== Teilnahme ==<br />
<br />
TODO: Hinweise zu Installation und Konfiguration.<br />
* [LHC_native_Einrichtung] - Einrichtung von LHC "native" <br />
<br />
== Banner ==<br />
<br />
[[Bild:Banner LHC1.png]]<br />
<br />
[[Bild:Banner LHC2.png]]<br />
<br />
== Weblinks ==<br />
<br />
* [http://lhcathome.cern.ch/lhcathome/ lhcathome.cern.ch/lhcathome/] - Internetpräsenz des Projekts<br />
* [http://lhcathome.cern.ch/lhcathome/team_display.php?teamid=1051 Planet 3DNow! Teamstatistik]<br />
<br />
<br />
{{NaviBlock<br />
|Vorlage:Navigationsleiste BOINC<br />
|Navigationsleiste Nicht-BOINC<br />
}}<br />
<br />
[[Kategorie:Physik]]<br />
[[Kategorie:BOINC-Projekt]]<br />
[[Kategorie:Planet 3DNow! Team]]</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=Portal:BOINC/Installation/Linux&diff=6515Portal:BOINC/Installation/Linux2021-02-18T23:21:08Z<p>Koschi: </p>
<hr />
<div><big>'''BOINC Installation auf Linux'''</big><br />
<br />
Grundsätzlich muss unterschieden werden zwischen einer manuellen Installation und einer aus dem Repository der jeweiligen Distribution. Während die manuelle Installation wie unten beschrieben auf allen Distributionen durchgeführt werden kann, sind bei der Installation aus den Repos der Distribution die entsprechenden Paketverwaltungstools zu nutzen.<br />
Grundsätzlich ist die Installation über die Paketverwaltung vorzuziehen. Derart installiert wird BOINC fortan automatisch gestartet, mit Sicherheitsupdates versorgt und läuft auch unterhalb eines eigenen Benutzers. Anwendungen der Projekte können also nicht auf die Daten des Users zugreifen.<br />
<br />
== Manuelle Installation ==<br />
Der hier gezeigte Weg funktioniert mit allen Linux-Versionen. Auch wird am Beispiel vom QMC@home ein Projekt über die CLI hinzugefügt.<br />
Zum Anmelden des Boinc-Clienten beim QMC Projekt benötigt man folgende Dinge: <br />
# Die Adresse des QMC Projekts: https://qah.uni-muenster.de <br />
# Einen QMC Account mit einem Account-Key (Hexadezimalzahl mit 32 Stellen)<br />
<br />
Ins Home-Verzeichnis wechseln<br />
cd<br />
<br />
Download des Boinc Clienten (Installationsdatei - Achtung, die Versionsnummer kann sich ändern)<br />
wget https://boinc.berkeley.edu/dl/boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
<br />
Ausführbar machen der Installationsdatei<br />
chmod +x ./boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
<br />
Installation starten (Unterverzeichnis "BOINC" wird angelegt und der Client hinein kopiert)<br />
./boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
Ausgabe: use /home/name/BOINC/run_manager to start BOINC<br />
<br />
Hier müssen jetzt die Daten vom QMC Projekt und der persönliche Account-key angegeben werden.<br />
cd BOINC<br />
./boinc --attach_project https://qah.uni-muenster.de ecaePersönlicher-Account-Key6b0a<br />
nachdem er sich beim Projekt angemeldet hat (einiger Output auf dem Bildschirm) CTRL+C drücken, um den Clienten zu beenden.<br />
<br />
Der Client soll im Hintergrund laufen und seine Meldungen in die Datei "log.txt" schreiben<br />
./boinc 2>&1 >log.txt &<br />
<br />
Dann noch den Clienten anweisen, dass er ständig laufen soll und auch immer aufs Netzwerk zugreifen kann.<br />
./boinc_cmd --set_run_mode always<br />
./boinc_cmd --set_network_mode always<br />
<br />
Mit<br />
./boinc_cmd --get_project_status <br />
kann man sich den aktuellen Status des Clienten anzeigen lassen<br />
<br />
Zum Beenden des Clienten<br />
./boinc_cmd --quit <br />
<br />
<br />
== openSUSE ==<br />
<br />
Hier kommt zypper Krams hin...<br />
<br />
= Debian =<br />
<br />
Unter Debian sind lediglich die Pakete ''boinc-client'' und ''boinc-manager'' zu installieren, welche sich bei Debian im main repository befinden.<br />
<br />
Das funktioniert auf der Konsole mit dem Kommando <br />
<br />
sudo apt install boinc-client boinc-manager<br />
<br />
Natürlich können diese Pakete auch über den jeweils bevorzugten grafischen Paketmanager installiert werden. Das Programm apt ist jedoch auf jedem Debian mit Sicherheit verfügbar. <br />
Während der Installation wird automatisch der Benutzer ''boinc'' angelegt, mit dessen (eingeschränkten) Rechten das Programm zukünftig läuft. Start- und Stopscripte werden in den entsprechenden Runleveln abgelegt.<br />
Händische Starts, Neustarts und Stops des BOINC Clienten erledigen die folgenden Kommandos:<br />
<br />
service boinc-client start<br />
service boinc-client restart<br />
service boinc-client stop<br />
<br />
Die Konfigurationsdateien landen in '''/etc/boinc-client/''', die BOINC-Binärdateien in '''/usr/bin/''' sowie veränderliche Dateien in '''/var/lib/boinc-client/'''. Das letztgenannte Verzeichnis enthält damit sämtliche Daten der Projekte sowie die BOINC Logfiles.<br />
<br />
= Ubuntu, Mint und andere Derivate =<br />
<br />
Unter Ubuntu und dessen Derivate sind lediglich die Pakete ''boinc-client'' und ''boinc-manager'' zu installieren, welche sich bei Ubuntu im main repository befinden.<br />
<br />
Das funktioniert auf der Konsole mit dem Kommando <br />
<br />
sudo apt install boinc-client boinc-manager<br />
<br />
Natürlich können diese Pakete auch über den jeweils bevorzugten grafischen Paketmanager installiert werden.<br />
<br />
[[Datei:Softwarecenter.png|rahmenlos]] [[Datei:Boinc.png|rahmenlos]] [[Datei:Boincinstaller.png|rahmenlos]]<br />
<br />
Während der Installation wird automatisch der Benutzer ''boinc'' angelegt, mit dessen (eingeschränkten) Rechten das Programm zukünftig läuft. Start- und Stopscripte werden in den entsprechenden Runleveln abgelegt.<br />
Händische Starts, Neustarts und Stops des BOINC Clients erledigt das folgende Kommando:<br />
<br />
service boinc-client start<br />
service boinc-client restart<br />
service boinc-client stop<br />
<br />
Die Konfigurationsdateien landen in '''/etc/boinc-client/''', die BOINC-Binärdateien in '''/usr/bin/''' sowie veränderliche Dateien in '''/var/lib/boinc-client/'''. Das letztgenannte Verzeichnis enthält damit sämtliche Daten der Projekte sowie die BOINC Logfiles.<br />
<br />
= Fedora =<br />
== Installation für einen User ==<br />
<br />
Bitte wie oben für die manuelle Installation beschrieben vorgehen.<br />
<br />
Um BOINC automatisch mit der Anmeldung starten zu können, öffnet man im Menü '''System''' → '''Einstellungen''' → '''Persönlich''' → '''Sitzungen''' und fügt dort run_client als neues Startprogramm hinzu.<br />
<br />
== Installation für alle User ==<br />
<br />
Unter Fedora muss zunächst mittels '''yum''' BOINC installiert werden.<br />
<br />
yum install boinc-client boinc-manager<br />
<br />
Als nächstes fügt man den eigenen User der Gruppe boinc hinzu. Der entsprechende Dialog ist im Menü unter '''System''' → '''Administration''' → '''Benutzer und Gruppen''' zu finden. Nun muss die Datei '''/var/lib/boinc/gui_rpc_auth.cfg''' für diese Gruppe lesbar gemacht werden.<br />
<br />
su root<br />
chmod g+r /var/lib/boinc/gui_rpc_auth_cfg<br />
<br />
Im eigenen Home-Verzeichnis legt man nun einen Link an. Sollte gui_rpc_auth.cfg nicht vorhanden sein muss der boinc-Service gestartet werden. Danach ist die Datei da.<br />
<br />
ln /var/lib/boinc/gui_rpc_auth.cfg<br />
<br />
Anschließend startet man den BOINC-Service neu.<br />
<br />
/sbin/service boinc-client restart<br />
<br />
Den BOINC-Manager startet man durch Aufruf von '''boincmgr''' im Home-Verzeichnis. Um BOINC als Service laufen zu lassen, ruft man '''system-config-service''' auf und aktiviert '''boinc_client'''. Alternativ kann man als root den folgenden Befehl ausführen.<br />
<br />
/sbin/chkconfig --level 35 boinc-client on<br />
<br />
Ob die Einstellungen richtig übernommen wurden kann man prüfen mit:<br />
<br />
/sbin/chkconfig --list boinc-client<br />
<br />
Falls es hier zu einer Fehlermeldung kommt:<br />
<br />
ln -s /var/lib/boinc/gui_rpc_auth.cfg<br />
<br />
= Gentoo =<br />
<br />
== Installation ==<br />
<br />
Die Installation unter Gentoo ist recht einfach. Damit man es installieren kann, muss man das BOINC Paket erstmal demaskieren.<br />
<br />
echo "sci-misc/boinc" >> /etc/portage/package.keywords<br />
<br />
Danach kann man es bequem emergen.<br />
<br />
emerge -av boinc<br />
<br />
Zum starten oder stoppen des Clienten wird das Init-Script verwendet.<br />
<br />
/etc/init.d/boinc start<br />
/etc/init.d/boinc stop<br />
<br />
Möchte man den Clienten automatisch mit dem System starten lassen, so empfiehlt es sich das Init-Script in den default Runlevel aufzunehmen.<br />
<br />
/rc-update add boinc default<br />
<br />
Zum entfernen<br />
<br />
/rc-update del boinc default<br />
<br />
== Konfiguration ==<br />
<br />
In der config Datei '''/etc/conf.d/boinc''' kann man den Client weiter einstellen. Insbesondere ist die Option '''ALLOW_REMOTE_RPC''' interessant. Diese sollte man auf '''yes''' setzen, damit man den Client von einem entfernten PC fernsteuern kann. Will man seinen Clienten fernsteuern, so muss noch eine weitere Datei angepasst werden. Die Datei '''/var/lib/boinc/gui_rpc_auth.cfg''' muss editiert oder angelegt werden, dort sollte man dann das Passwort hinterlegen.<br />
<br />
== Deinstallation ==<br />
<br />
Zum deinstallieren des Clienten sollte man das Worldfile '''/var/lib/portage/world''' bearbeiten und den Eintrag '''sci-misc/boinc''' löschen.<br />
Anschliessend muss das System gesäubert werden mit<br />
<br />
emerge -av --depclean<br />
<br />
Lest bitte hierzu auch die [http://de.gentoo-wiki.com/Portage_richtig_benutzen#Ein_Paket_deinstallieren Gentoo Wiki]<br />
<br />
<br />
[[Kategorie:BOINC|Installation (Linux)]]<br />
[[Kategorie:Installationsanleitung|BOINC (Linux)]]</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=Portal:BOINC/Installation/Linux&diff=6506Portal:BOINC/Installation/Linux2021-02-18T17:04:26Z<p>Koschi: Restrukturiert, nur noch eine manuelle Installation</p>
<hr />
<div><big>BOINC Installation auf Linux</big><br />
<br />
Grundsätzlich muss unterschieden werden zwischen einer manuellen Installation und einer aus dem Repository der jeweiligen Distribution. Während die manuelle Installation wie unten beschrieben auf allen Distributionen durchgeführt werden kann, sind bei der Installation aus den Repos der Distribution die entsprechenden Paketverwaltungstools zu nutzen.<br />
Grundsätzlich ist die Installation über die Paketverwaltung vorzuziehen. Derart installiert wird BOINC fortan automatisch gestartet, mit Sicherheitsupdates versorgt und läuft auch unterhalb eines eigenen Benutzers. Anwendungen der Projekte können also nicht auf die Daten des Users zugreifen.<br />
<br />
== Manuelle Installation ==<br />
Der hier gezeigte Weg funktioniert mit allen Linux-Versionen. Auch wird am Beispiel vom QMC@home ein Projekt über die CLI hinzugefügt.<br />
Zum Anmelden des Boinc-Clienten beim QMC Projekt benötigt man folgende Dinge: <br />
# Die Adresse des QMC Projekts: https://qah.uni-muenster.de <br />
# Einen QMC Account mit einem Account-Key (Hexadezimalzahl mit 32 Stellen)<br />
<br />
Ins Home-Verzeichnis wechseln<br />
cd<br />
<br />
Download des Boinc Clienten (Installationsdatei - Achtung, die Versionsnummer kann sich ändern)<br />
wget https://boinc.berkeley.edu/dl/boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
<br />
Ausführbar machen der Installationsdatei<br />
chmod +x ./boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
<br />
Installation starten (Unterverzeichnis "BOINC" wird angelegt und der Client hinein kopiert)<br />
./boinc_7.4.22_x86_64-pc-linux-gnu.sh<br />
Ausgabe: use /home/name/BOINC/run_manager to start BOINC<br />
<br />
Hier müssen jetzt die Daten vom QMC Projekt und der persönliche Account-key angegeben werden.<br />
cd BOINC<br />
./boinc --attach_project https://qah.uni-muenster.de ecaePersönlicher-Account-Key6b0a<br />
nachdem er sich beim Projekt angemeldet hat (einiger Output auf dem Bildschirm) CTRL+C drücken, um den Clienten zu beenden.<br />
<br />
Der Client soll im Hintergrund laufen und seine Meldungen in die Datei "log.txt" schreiben<br />
./boinc 2>&1 >log.txt &<br />
<br />
Dann noch den Clienten anweisen, dass er ständig laufen soll und auch immer aufs Netzwerk zugreifen kann.<br />
./boinc_cmd --set_run_mode always<br />
./boinc_cmd --set_network_mode always<br />
<br />
Mit<br />
./boinc_cmd --get_project_status <br />
kann man sich den aktuellen Status des Clienten anzeigen lassen<br />
<br />
Zum Beenden des Clienten<br />
./boinc_cmd --quit <br />
<br />
<br />
== openSUSE ==<br />
<br />
Hier kommt zypper Krams hin...<br />
<br />
= Debian =<br />
<br />
Unter Debian sind lediglich die Pakete ''boinc-client'' und ''boinc-manager'' zu installieren, welche sich bei Debian im main repository befinden.<br />
<br />
Das funktioniert auf der Konsole mit dem Kommando <br />
<br />
sudo apt install boinc-client boinc-manager<br />
<br />
Natürlich können diese Pakete auch über den jeweils bevorzugten grafischen Paketmanager installiert werden. Das Programm apt ist jedoch auf jedem Debian mit Sicherheit verfügbar. <br />
Während der Installation wird automatisch der Benutzer ''boinc'' angelegt, mit dessen (eingeschränkten) Rechten das Programm zukünftig läuft. Start- und Stopscripte werden in den entsprechenden Runleveln abgelegt.<br />
Händische Starts, Neustarts und Stops des BOINC Clienten erledigen die folgenden Kommandos:<br />
<br />
service boinc-client start<br />
service boinc-client restart<br />
service boinc-client stop<br />
<br />
Die Konfigurationsdateien landen in '''/etc/boinc-client/''', die BOINC-Binärdateien in '''/usr/bin/''' sowie veränderliche Dateien in '''/var/lib/boinc-client/'''. Das letztgenannte Verzeichnis enthält damit sämtliche Daten der Projekte sowie die BOINC Logfiles.<br />
<br />
= Ubuntu, Mint und andere Derivate =<br />
<br />
Unter Ubuntu und dessen Derivate sind lediglich die Pakete ''boinc-client'' und ''boinc-manager'' zu installieren, welche sich bei Ubuntu im main repository befinden.<br />
<br />
Das funktioniert auf der Konsole mit dem Kommando <br />
<br />
sudo apt install boinc-client boinc-manager<br />
<br />
Natürlich können diese Pakete auch über den jeweils bevorzugten grafischen Paketmanager installiert werden.<br />
<br />
[[Datei:Softwarecenter.png|rahmenlos]] [[Datei:Boinc.png|rahmenlos]] [[Datei:Boincinstaller.png|rahmenlos]]<br />
<br />
Während der Installation wird automatisch der Benutzer ''boinc'' angelegt, mit dessen (eingeschränkten) Rechten das Programm zukünftig läuft. Start- und Stopscripte werden in den entsprechenden Runleveln abgelegt.<br />
Händische Starts, Neustarts und Stops des BOINC Clients erledigt das folgende Kommando:<br />
<br />
service boinc-client start<br />
service boinc-client restart<br />
service boinc-client stop<br />
<br />
Die Konfigurationsdateien landen in '''/etc/boinc-client/''', die BOINC-Binärdateien in '''/usr/bin/''' sowie veränderliche Dateien in '''/var/lib/boinc-client/'''. Das letztgenannte Verzeichnis enthält damit sämtliche Daten der Projekte sowie die BOINC Logfiles.<br />
<br />
= Fedora =<br />
== Installation für einen User ==<br />
<br />
Bitte wie oben für die manuelle Installation beschrieben vorgehen.<br />
<br />
Um BOINC automatisch mit der Anmeldung starten zu können, öffnet man im Menü '''System''' → '''Einstellungen''' → '''Persönlich''' → '''Sitzungen''' und fügt dort run_client als neues Startprogramm hinzu.<br />
<br />
== Installation für alle User ==<br />
<br />
Unter Fedora muss zunächst mittels '''yum''' BOINC installiert werden.<br />
<br />
yum install boinc-client boinc-manager<br />
<br />
Als nächstes fügt man den eigenen User der Gruppe boinc hinzu. Der entsprechende Dialog ist im Menü unter '''System''' → '''Administration''' → '''Benutzer und Gruppen''' zu finden. Nun muss die Datei '''/var/lib/boinc/gui_rpc_auth.cfg''' für diese Gruppe lesbar gemacht werden.<br />
<br />
su root<br />
chmod g+r /var/lib/boinc/gui_rpc_auth_cfg<br />
<br />
Im eigenen Home-Verzeichnis legt man nun einen Link an. Sollte gui_rpc_auth.cfg nicht vorhanden sein muss der boinc-Service gestartet werden. Danach ist die Datei da.<br />
<br />
ln /var/lib/boinc/gui_rpc_auth.cfg<br />
<br />
Anschließend startet man den BOINC-Service neu.<br />
<br />
/sbin/service boinc-client restart<br />
<br />
Den BOINC-Manager startet man durch Aufruf von '''boincmgr''' im Home-Verzeichnis. Um BOINC als Service laufen zu lassen, ruft man '''system-config-service''' auf und aktiviert '''boinc_client'''. Alternativ kann man als root den folgenden Befehl ausführen.<br />
<br />
/sbin/chkconfig --level 35 boinc-client on<br />
<br />
Ob die Einstellungen richtig übernommen wurden kann man prüfen mit:<br />
<br />
/sbin/chkconfig --list boinc-client<br />
<br />
Falls es hier zu einer Fehlermeldung kommt:<br />
<br />
ln -s /var/lib/boinc/gui_rpc_auth.cfg<br />
<br />
= Gentoo =<br />
<br />
== Installation ==<br />
<br />
Die Installation unter Gentoo ist recht einfach. Damit man es installieren kann, muss man das BOINC Paket erstmal demaskieren.<br />
<br />
echo "sci-misc/boinc" >> /etc/portage/package.keywords<br />
<br />
Danach kann man es bequem emergen.<br />
<br />
emerge -av boinc<br />
<br />
Zum starten oder stoppen des Clienten wird das Init-Script verwendet.<br />
<br />
/etc/init.d/boinc start<br />
/etc/init.d/boinc stop<br />
<br />
Möchte man den Clienten automatisch mit dem System starten lassen, so empfiehlt es sich das Init-Script in den default Runlevel aufzunehmen.<br />
<br />
/rc-update add boinc default<br />
<br />
Zum entfernen<br />
<br />
/rc-update del boinc default<br />
<br />
== Konfiguration ==<br />
<br />
In der config Datei '''/etc/conf.d/boinc''' kann man den Client weiter einstellen. Insbesondere ist die Option '''ALLOW_REMOTE_RPC''' interessant. Diese sollte man auf '''yes''' setzen, damit man den Client von einem entfernten PC fernsteuern kann. Will man seinen Clienten fernsteuern, so muss noch eine weitere Datei angepasst werden. Die Datei '''/var/lib/boinc/gui_rpc_auth.cfg''' muss editiert oder angelegt werden, dort sollte man dann das Passwort hinterlegen.<br />
<br />
== Deinstallation ==<br />
<br />
Zum deinstallieren des Clienten sollte man das Worldfile '''/var/lib/portage/world''' bearbeiten und den Eintrag '''sci-misc/boinc''' löschen.<br />
Anschliessend muss das System gesäubert werden mit<br />
<br />
emerge -av --depclean<br />
<br />
Lest bitte hierzu auch die [http://de.gentoo-wiki.com/Portage_richtig_benutzen#Ein_Paket_deinstallieren Gentoo Wiki]<br />
<br />
<br />
[[Kategorie:BOINC|Installation (Linux)]]<br />
[[Kategorie:Installationsanleitung|BOINC (Linux)]]</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=BOINC@ARM&diff=6326BOINC@ARM2016-07-05T07:26:16Z<p>Koschi: /* Welche Projekte laufen auf Android/Linux@ARM */</p>
<hr />
<div>= BOINC auf der ARM Plattform =<br />
<br />
ARM Prozessoren finden sich heutzutage in immer größerer Zahl in immer mehr Einsatzbereichen wieder. Seien es Smartphones, set-top Boxen, NAS oder Single Board Computer wie der Raspberry Pi, ihre Zahl wächst ständig. Oft verfügen diese Geräte bereits über Multikernprozessoren und laufen dank geringem Energieverbrauch mehr oder weniger 24/7, damit eigentlich ideal für BOINC.<br />
<br />
<br />
Von Nischenbetriebssystemen abgesehen, teilt sich die ARM Welt grob in 2 Teile. Der Großteil der ARM Systeme kommt sicherlich mit Android vorinstalliert, schlanke Linuxbasierte ARM-Systeme sind jedoch ebenfalls breit verfügbar. Letztere lassen sich einfach für eigene (Selbstbau-)Projekte verwenden und sind daher bei Bastlern beliebt.<br />
Obwohl Android im Kern auf Linux basiert, kann es keine Linux@ARM Anwendungen ausführen, das gleiche gilt im Umkehrfall. Im Idealfall bietet ein Projekt also für beide Umgebungen eigene Anwendungen an.<br />
<br />
===Welche Projekte laufen auf Android/Linux@ARM===<br />
<br />
Folgende Übersicht basiert auf der offiziellen BOINC Projektübersicht erweitert um bekannte 3rd party apps.<br />
Soweit bekannt, darf hier eine grobe Einordung Projektintern (ARM vs. x86) sowie zwischen den Projekten vorgenommen werden. Bei Android wird primär zwischen non-PIE and PIE (Position Independend Executable - Vorraussetzung für Android => 5) Versionen unterschieden. non-PIE Versionen laufen unter Android 5 und 6 nicht mehr, brechen daher mit Berechnungsfehlern ab.<br />
<br />
<br />
{|<br />
| '''Projekt''' || '''Plattform''' || '''Anwendung''' || '''Effizienz/Ausschüttung''' || '''Kommentar'''<br />
|-<br />
| [https://albert.phys.uwm.edu/apps.php Albert@home] || [[Bild:Android_robot.png]] || Binary Radio Pulsar Search || || PIE & non-PIE jeweils mit NEON verfügbar<br />
|-<br />
| [https://albert.phys.uwm.edu/apps.php Albert@home] || [[Bild:Logo_Linux.gif]] || Binary Radio Pulsar Search || || plain oder mit NEON Support<br />
|-<br />
| [http://asteroidsathome.net/boinc/apps.php Asteroids] || [[Bild:Android_robot.png]] || Period Search Application || Sehr schlecht! || PIE & non-PIE<br />
|-<br />
| [http://asteroidsathome.net/boinc/apps.php Asteroids] || [[Bild:Logo_Linux.gif]] || Period Search Application || Im Projektkontext schlecht, jedoch markant mehr als bei WCG || <br />
|-<br />
| [http://boinc.thesonntags.com/collatz/apps.php Collatz] || [[Bild:Android_robot.png]] || Micro Collatz Conjecture || || Apps für Android@ ARM, x86 und MIPS! <br />
|-<br />
| [http://boinc.thesonntags.com/collatz/apps.php Collatz] || [[Bild:Logo_Linux.gif]] || Micro Collatz Conjecture || || <br />
|-<br />
| [http://boinc.thesonntags.com/collatz/apps.php Collatz] || [[Bild:Android_robot.png]] || Collatz Sieve || Gut || PIE und non-PIE support, läuft damit auf Android 4 und 5<br />
|-<br />
| [http://csgrid.org/csg/apps.php CSGRID] || [[Bild:Android_robot.png]] || SubsetSUM || Sehr gut || Läuft nur bis Android 4.4 (non-PIE)<br />
|-<br />
| [http://csgrid.org/csg/apps.php CSGRID] || [[Bild:Logo_Linux.gif]] || SubsetSUM || Gut || 3rd party app, erfordert app_info.xml<br />
|-<br />
| [https://einstein.phys.uwm.edu/apps.php Einstein] || [[Bild:Android_robot.png]] || Binary Radio Pulsar Search (Arecibo) || Gering || PIE & non-PIE verfügbar, +vfp, +neon<br />
|-<br />
| [https://einstein.phys.uwm.edu/apps.php Einstein] || [[Bild:Logo_Linux.gif]] || Binary Radio Pulsar Search (Arecibo) || Leicht besser als Android || plain oder mit NEON Support<br />
|-<br />
| [http://www.enigmaathome.net/apps.php Enigma] || [[Bild:Android_robot.png]] ||Enigma 0.76b ||Sehr gut || Läuft nur bis Android 4.4 (non-PIE)<br />
|-<br />
| [http://www.enigmaathome.net/apps.php Enigma] || [[Bild:Logo_Linux.gif]] ||Enigma 0.76b ||Gut || <br />
|-<br />
| [http://findah.ucd.ie/apps.php FiND@Home] || [[Bild:Logo_Linux.gif]] || Autodock Vina || || <br />
|-<br />
| [http://goofyxgridathome.net/apps.php GoofyxGrid@Home] || [[Bild:Android_robot.png]] || Monkeys v1 - Random generator A || NCI - minimale Credits || PIE & non-PIE<br />
|-<br />
| [http://goofyxgridathome.net/apps.php GoofyxGrid@Home] || [[Bild:Android_robot.png]] || Monkeys v2 - Word seeker A || NCI - minimale Credits || PIE & non-PIE<br />
|-<br />
| [http://goofyxgridathome.net/apps.php GoofyxGrid@Home] || [[Bild:Logo_Linux.gif]] || Monkeys v1 - Random generator A || NCI - minimale Credits || <br />
|-<br />
| [http://goofyxgridathome.net/apps.php GoofyxGrid@Home] || [[Bild:Logo_Linux.gif]] || Monkeys v2 - Word seeker A || NCI - minimale Credits || <br />
|-<br />
| [http://www.gpugrid.net/apps.php GPUgrid] || [[Bild:Android_robot.png]] || Android || || <br />
|-<br />
| [http://moowrap.net/apps.php Moo! Wrapper] || [[Bild:Android_robot.png]] ||Distributed.net Client || || ARMv7, PIE & non-PIE<br />
|-<br />
| [http://radioactiveathome.org/boinc/apps.php Radioactive@home] || [[Bild:Logo_Linux.gif]] || Radioactivity Monitor || NCI - ohne Credits || <br />
|-<br />
| [http://boinc.bakerlab.org/rosetta/apps.php Rosetta] || [[Bild:Android_robot.png]] || Rosetta Mini for Android || Mittelmaßig, über WCG Niveau || Läuft mit Berkely BOINC auf Android 4 & 5<br />Lässt sich nicht im NativeBOINC hinzufügen (Zertifikatsproblem) <br />
|-<br />
| [http://qcn.caltech.edu/sensor/apps.php Quake-Catcher Network] || [[Bild:Android_robot.png]] || QCN Sensor || NCI - ohne Credits || <br />
|-<br />
| [http://qcn.caltech.edu/sensor/apps.php Quake-Catcher Network] || [[Bild:Logo_Linux.gif]] || QCN Sensor || NCI - ohne Credits || <br />
|-<br />
| [http://setiathome.berkeley.edu/apps.php SETI@home] || [[Bild:Android_robot.png]] || SETI@home v8 || Gering || Zahlreiche PIE & nonPIE, ARMv6+v7, vfp&neon Versionen für Android@ARM <br /> PIE & nonPIE für Android x86 verfügbar <br />
|-<br />
| [http://setiathome.berkeley.edu/apps.php SETI@home] || [[Bild:Logo_Linux.gif]] || SETI@home v8 || Gering || Teils als Paket in Distributionen vorhanden, das aktuelle orginal lohnt i.d.R. aber mehr <br />
|-<br />
| [http://pogs.theskynet.org/pogs/apps.php Skynet POGS] || [[Bild:Android_robot.png]] || fitsedwrapper || Gute Ausbeute und Effizienz || PIE & non-PIE verfügbar <br />
|-<br />
| [http://pogs.theskynet.org/pogs/apps.php Skynet POGS] || [[Bild:Logo_Linux.gif]] || fitsedwrapper || Gut - Sehr gut || 3rd party app, erfordert app_info.xml<br />
|-<br />
| [http://universeathome.pl/universe/apps.php Universe] || [[Bild:Android_robot.png]] ||Universe X-ray sources || Lange Laufzeiten - Geringe Ausbeute, <br />lohnt gegenüber BHspin und ULX nicht || <br />
|-<br />
| [http://universeathome.pl/universe/apps.php Universe] || [[Bild:Logo_Linux.gif]] || BHspin || Hohe Ausbeute, gute Effizienz || <br />
|-<br />
| [http://universeathome.pl/universe/apps.php Universe] || [[Bild:Logo_Linux.gif]] || ULX || Noch besser als BHspin, <br />nur selten WUs verfügbar || <br />
|-<br />
| [http://www.worldcommunitygrid.org/help/viewTopic.do?shortName=minimumreq WCG] || [[Bild:Android_robot.png]] || Outsmart Ebola together || Ordentlich, über ZIKA || <br />
|-<br />
| [http://www.worldcommunitygrid.org/help/viewTopic.do?shortName=minimumreq WCG] || [[Bild:Android_robot.png]] || OpenZika || Mittelmäßig || <br />
|-<br />
| [http://bearnol.is-a-geek.com/wanless2/apps.php WEP-M+2 Project] || [[Bild:Logo_Linux.gif]] || Random-base WEP Factorization || Gut ||<br />
|-<br />
| [http://www.rechenkraft.net/yoyo/apps.php yoyo@home] || [[Bild:Android_robot.png]] || Cruncher ogr || || <br />
|-<br />
| [http://www.rechenkraft.net/yoyo/apps.php yoyo@home] || [[Bild:Logo_Linux.gif]] || Cruncher ogr || || 3 Versionen für Linux verfügbar, Unterschied unklar<br />
|}<br />
<br />
===Welche Projekte laufen am besten===<br />
<br />
Analog zur x86 Welt profitieren jene Projekte am meisten, die eine gute Linuxunterstützung haben.<br />
Universe@home und SubsetSum@Home (ein Citizen Science Grid Unterprojekt) laufen unter Linux signifikant schneller, eine schnelle ARM CPU kann es hier fast mit Windows basierten Hosts aufnehmen.<br />
Projekte wie WCG oder WuProp (die interne Medaillen vergeben), profitieren natürlich ebenfalls von vielen, wenn auch langsameren Kernen.<br />
<br />
==Welche Projekte unterstützen ARM==<br />
<br />
Erste Anlaufstelle kann die offizielle BOINC Projektübersicht sein. [https://boinc.berkeley.edu/projects.php]<br />
Projekte mit Androidunterstützung sind dort mit dem grünen Androidroboter, Anwendungen für Linux@ARM (Raspberry Pi, Odroid u.a.) mit einer Himbeere gekennzeichnet.<br />
<br />
<br />
Auch WUProp gibt Aufschluss welche Projekte auf ARM laufen, zudem weist es die Rechenzeiten auf verschiedenen Geräten aus.<br />
[http://wuprop.boinc-af.org/results/arm.py]<br />
<br />
<br />
Jenseits der offiziellen seitens des Projektes, gibt es auch im ARM Umfeld die Möglichkeit selbst kompilierte oder gar optimierte Anwendungen per app_info.xml zu verwenden.<br />
So hält (Stand Mai 2016) der Blog Burde View [http://burdeview.blogspot.de/p/raspberry-pi-boinc-project-ive-created.html] zB. Linux@ARM Anwendungen für die Projekte Subset SUM, theSkyNetPOGS & Milkyway@home bereit.<br />
<br />
<br />
==Welche Hardware ist empfehlenswert==<br />
<br />
Natürlich ist jede abgelieferte Arbeitseinheit wichtig, langfristig zählt für viele Cruncher aber auch die Effizienz bzw. wieviel Durchsatz pro eingesetztem € möglich ist.<br />
<br />
Neben den Anschaffungskosten für den Minicomputer, kommen hier i.d.R. noch eine hochwertige SD Karte, die Stromversorgung (1x 2A USB Port + Kabel), ein LAN-Kabel und auch ein Switch Port hinzu. Gehen wir einmal von zusammen 15€ für diese zusätzlichen Komponenten aus.<br />
Da diese Kosten pro Platine anfallen, relativieren sie den Preis von vermeintlichen "Schnäppchen" wie zB. dem Orange Pi PC.<br />
<br />
Letzterer wird zb. als Quad Core 1.6GHz verkauft, läuft aber nur mit 1.2GHz und großzügiger passiver Kühlung "BOINC-stabil". Der verbaute Allwinner H3 Prozessor basiert zudem auf relativ langsamen ARM Cortex A7 Kernen. Alles in allem bleibt eine Geschwindigkeit zwischen Raspberry Pi 2 und 3. Hochtaktende A53 Kerne (64bit ARMv8) oder gar die performanten Cortex A15 & A17 (32bit ARMv7) sowie Cortex A57 & A72 Kerne (64bit ARMv8) rechnen nicht selten um den Faktor 2 schneller. Um auf deren Produktionsrate zu kommen, müssten mindestens 2 Orange Pi PC (je 14€) eingesetzt werden. Dazu kommen je 2 mal Speicher, Energie und Netzwerk. Schnell sind 58€ zusammengekommen. Ein einzelner, jedoch ebenso schneller Odroid C2 mit 4 Cortex A53 Kernen (2GHz) würde mit ca. 63€ zu Buche schlagen, seinen Passivkühler bereits mitbringen und den halben Administrationsaufwand bedeuten. <br />
Ähnlich könnte man nun den Odroid C2 gegen den Odroid XU4 abwägen, letzterer nutzt einen 8-Kern Prozessor der auf 4 Cortex A15 2Ghz und 4 Cortex A7 Kerne zurückgreifen kann. Damit zeigt er ca. den 1.5x-2x Durchsatz bei knapp dem doppelten Preis, ohne bisher die Speicher und die Kabelei berücksichtigt zu haben. <br />
<br />
Wie auch in der x86-Welt gilt es zu vergleichen, um schließlich den besten Prozessor + Ecosystem zum angemessenen Preis zu finden.<br />
Zur groben Einordnung der per-Core-Performance bitte folgenden Artikel konsultieren: [http://www.cnx-software.com/2015/04/09/relative-performance-of-arm-cortex-a-32-bit-and-64-bit-cores/ Relative performance of ARM Cortex 32bit and 64bit cores]<br />
<br />
<br />
Grob lässt sich sagen dass Stand 2016 minimum Quad Core Cortex A9 (zB. Amlogic S812) oder A53 (Amlogic S905) empfehlenswert sind, besser noch Quad Core A17 (Rockchip RK3288), Octa Core A53 (Rockchip RK3368) oder BIG.little CPUs wie der Mediatek MT8693, die 2 sehr schnelle A72 und 4 gute A53 Kerne bieten.<br />
<br />
<br />
Folgend eine grobe Einschätzung aktuell verfügbarer Systeme (work in progress):<br />
<br />
<br />
'''Single board computer'''<br />
{|<br />
|Name||Prozessor||RAM||OS||Einschätzung<br />
|-<br />
| Orange Pi One<br /> Orange Pi Mini <br /> Orange Pi PC<br />Orange Pi 2<br />Orange Pi Plus ||Allwinner H3<br /> 4x1.6GHz A7 || 0.5-2 GB || Linux & Android 4.4 ||Eher schlechte Performance (zwischen RPi2 und 3), läuft nur mit 1.2GHz stabil. <br />Linuxkernel 3.4 zu alt für Collatz. <br />Kaum Herstellersupport. <br />Vertrieb nur über aliexpress.<br />
|-<br />
| Raspberry Pi 2||Broadcom BCM2836 <br />4x 0.9GHz A7 || 1 GB || Linux ||Eher schlechte Performance, neu kaufen lohnt angesichts des verfügbaren Pi3 nicht<br />
|-<br />
| Raspberry Pi 3||Broadcom BCM2837 <br /> 4x 1.2GHz A53 || 1 GB || Linux ||Mittlere Performance, ansonsten das ARM-Referenzsystem schlechthin. <br />
Alle Linux@ARM Projekte sollten problemlos laufen<br />
|-<br />
| Odroid XU4 || SAMSUNG Exynos 5422 <br />4x2.0 GHz A15 +<br />4x 1.4GHz A7 || 2 GB || Linux & Android 4.4 || Sehr gute Performance, derzeit schnellstes Board am Markt. <br />Benötigt Aktivkühlung.<br />
|-<br />
| Odroid U3 || Samsung Exynos 4412 <br /> 4x1.7 GHz A9 || 2 GB || Linux & Android 4.4 || Gute Performance, Aktivkühlung notwendig<br />
|-<br />
| Odroid C2 || Amlogic S905 <br /> 4x2.0 GHz A53 || 2 GB || Linux & Android 5.1 || Gute Performance, 64bit Plattform erfordert teils app_info.xml um Arbeit zu bekommen<br />
|-<br />
| Banana PI M1, M1+, M2, M2+, M3|| Allwinner CPU mit 2-8x A7 || 1-2 GB || Linux & Android || Eher lahm, M3 durch Octacore evtl. akzeptabel. Android buggy. Alter Linuxkernel 3.4.<br />
|-<br />
| Nvidia Jetson TK1 || Tegra K1 SOC <br />4x2.32 GHz A15 || 2 GB || Linux || Sehr gute Performance, leider teuer<br />192 SM3.2 CUDA cores noch ungenutzt<br />
|-<br />
| || || || || ||<br />
|}<br />
<br />
<br />
'''Android TV Boxen & Sticks'''<br />
{|<br />
|Name||Prozessor||RAM||OS||Einschätzung<br />
|-<br />
| Z68 TV Box || RK3368 8x1.5GHz A53 || 2 GB || Android 5.1 || 1.5GHz nur als Turbo bei geringer Gesamtlast. Vollast nur bei ~816MHz stabil. FAIL.<br />
|-<br />
| Q8 TV Box || RK3288 4x1.8GHz A17 || 2 GB || Android 4.4 || Sehr schnell, einfache Verwaltung durch NativeBOINC <br /> Passivkühler verwenden!<br />
|-<br />
| || || || ||<br />
|-<br />
| || || || ||<br />
|}<br />
<br />
<br />
Androidboards oder TV-Boxen basierend auf Intel Prozessoren sind derzeit nicht zu empfehlen, es gibt für diese keine BOINC-Anwendungen.<br />
<br />
== Performanceübersicht ==<br />
<br />
Die folgende Tabelle soll einmal die tatsächliche Performance der Platinen und Architekturen aufzeigen. Da zB. POGS WUs variabler Länge (jedoch mit festen Credit Ratio) hat, aber auch Prozessoren auf das BIG.little Konzept setzen, sehen wir davon ab tatsächliche Laufzeiten anzugeben, sondern verwenden den maximal möglichen Durchsatz per Core und Gesamtsystem in Credits als Referenz. Stand Juni 2016:<br />
{|<br />
| System || CPU || OS || SubsetSum<br /> C/d/Core || SubsetSum<br /> C/d || POGS<br /> C/d/Core || POGS<br /> C/d || PRJ C || PRJ C || PRJ D || PRJ D <br />
|-<br />
| Orange Pi (H3) (¹)|| 4x1.2 GHz A7 || [[Bild:Logo_Linux.gif]] || 280 || '''1120''' || 288 || '''1152''' || || || || <br />
|-<br />
| Raspberry Pi 3 (¹) || 4x1.2 GHz A53 || [[Bild:Logo_Linux.gif]] || 330 || '''1320''' || 420 || '''1680''' || || || || <br />
|-<br />
| Odroid C2 (²)|| 4x2.0 GHz A53 || [[Bild:Logo_Linux.gif]] || 431 || '''1724''' || 480 || '''1920''' || || || || <br />
|-<br />
| Odroid U3 (²)|| 4x1.7 GHz A9 || [[Bild:Logo_Linux.gif]] || 782 || '''3128''' || 620 || '''2480''' || || || || <br />
|-<br />
| Q8 Box (RK3288) (¹) || 4x1.78 Hz A17 || [[Bild:Android_robot.png]] || 941 || '''3764''' || 740 || '''2960''' || || || || <br />
|-<br />
| Odroid XU4 (²)|| 4x 2.0 GHz A15 +<br />4x 1.4GHz A7 || [[Bild:Logo_Linux.gif]]<br />[[Bild:Android_robot.png]] || 466<br /><br />962 || '''3728'''<br /><br />'''7696''' || 594 || '''4752''' || || || || <br />
|-<br />
| Nivida Jetson TK1 (¹) || 4x2.32 GHz A15|| [[Bild:Logo_Linux.gif]]<br />[[Bild:Android_robot.png]] || 885<br /><br />1880 || '''3540'''<br /><br />'''7520''' ||<br /> || <br /> || || || || <br />
|-<br />
| || || || || || || || || || || <br />
|-<br />
| || || || || || || || || || || <br />
|-<br />
| Intel Core 2 Q9550 || 4x2.83 GHz || [[Bild:Logo_Linux.gif]] || 1281 || '''5124''' || 2170 || '''8680''' || || || || <br />
|}<br />
<br />
Teils basieren die Daten auf einzelnen Hosts mit wenigen Resultaten, teils auf dutzenden Hosts mit tausenden von Resultaten. <br />
Die Auswertung erfolgte automatisiert.<br />
(¹) geringe Datenbasis<br />
(²) umfangreiche Datenbasis<br />
Die Performance nicht gelisteter Platinen lässt sich hieraus teilweise ableiten. Mit Raspberry Pi 3 und C2 als Basis, ist anzunehmen dass ein 8 Kern 1.5GHz A53 wohl ca. 3000 Punkte täglich bei SubsetSum bringen könnte. Tendenziell eher weniger als mehr, da verfügbare Speicherbandbreiten durch mehr Kerne geteilt werden müssen. Die Performance eines Dualcore A7 (zB. Banana Pi) wird hingegen bei ca. der Hälfte der Orange Pi Performance liegen.<br />
<br />
==Tipps und Tricks==<br />
<br />
===BOINC auf Android installieren===<br />
Stand Mai 2016 gibt es 2 BOINC Clients für die Android Plattform, beide können über den Google Play Store bezogen werden. Langfristig "empfehlenswert" ist derzeit der offizielle <br />
[https://play.google.com/store/apps/details?id=edu.berkeley.boinc BOINC Client aus Berkeley].<br />
Leider fehlen hier gegenüber dem großen BOINC Einstellungsmöglichkeiten und auch der RPC Zugriff zur Fernverwaltung. <br />
<br />
<br />
[https://play.google.com/store/apps/details?id=sk.boinc.nativeboinc NativeBOINC] - seit 2013 nicht mehr weiterentwickelt, läuft daher nicht auf aktuellen Android Versionen (> 5.0). <br />
Wer noch Geräte mit altem Softwarestand hat, kann sich auf umfangreichere Einstellungsmöglichkeiten und auch RPC Zugriff freuen.<br />
<br />
===32bit Anwendungen auf 64bit Linux OS verwenden===<br />
64bit Plattformen wie die Odroid C2 mit 64bit Ubuntu bekommen ohne weiteres von Projekten keine Arbeit zugewiesen. <br />
<br />
Im Log findet sich dann folgende Meldung:<br />
<br />
<br />
<nowiki>Message from server: This project doesn't support computers of type aarch64-unknown-linux-gnu</nowiki><br />
<br />
<br />
Hier hilft es dem Server vorzugaukeln, es handele sich um eine herkömmliches ARM System. Dies geschieht über einen Eintrag in der cc_config.xml:<br />
<br />
<br />
<nowiki><options> <br />
<alt_platform>arm-unknown-linux-gnueabihf</alt_platform> <br />
</options></nowiki> <br />
<br />
<br />
Anschließend muss der BOINC Client durchgestartet werden.<br />
Unter Umständen wird man nun keine Arbeit für native 64bit Anwendungen bekommen, Stand Mai 2016 gibt es diese aber ohnehin noch nicht.<br />
<br />
Für Yoyo sollte auch das Paket 'libsfstdc++6' nachinstalliert werden.<br />
<br />
<br />
===Einstein@home einrichten bei nicht erkannter NEON Unterstützung===<br />
Auf Odroid C2, sicher auch anderen Computern kommt es vor das die NEON Erweiterung nicht erkannt wird.<br />
Dies führt dazu das vom BOINC Server eine unoptimierte Binary ausgeliefert, bei Einstein@home erzeugt diese zudem noch reihenweise Berechnungsfehler.<br />
<br />
Auch hier kann man sich mit dem anonymous plattform Mechanismus behelfen, folgende Zeilen sind als app_info.xml im Verzeichnis /var/lib/boinc-client/projects/einstein.phys.uwm.edu/ abzulegen:<br />
<br />
<br />
<app_info><br />
<app><br />
<name>einsteinbinary_BRP4</name><br />
</app><br />
<file_info><br />
<name>einsteinbinary_BRP4_1.47_arm-unknown-linux-gnueabihf__NEON_Beta</name><br />
<executable/><br />
</file_info><br />
<app_version><br />
<app_name>einsteinbinary_BRP4</app_name><br />
<version_num>147</version_num><br />
<file_ref><br />
<file_name>einsteinbinary_BRP4_1.47_arm-unknown-linux-gnueabihf__NEON_Beta</file_name><br />
<main_program/><br />
</file_ref><br />
</app_version><br />
</app_info><br />
<br />
Die Einsteinanwendung ist manuell zu laden, anschließend wird BOINC neu gestartet um die Konfigurationsdatei einzulesen. Die folgenden Kommandos sollten dazu als root ausgeführt werden:<br />
<br />
<br />
cd /var/lib/boinc-client/projects/einstein.phys.uwm.edu/<br />
<br />
wget http://einstein-dl3.phys.uwm.edu/download/einsteinbinary_BRP4_1.47_arm-unknown-linux-gnueabihf__NEON_Beta<br />
<br />
chmod 755 einsteinbinary_BRP4_1.47_arm-unknown-linux-gnueabihf__NEON_Beta<br />
<br />
chown boinc:boinc einsteinbinary_BRP4_1.47_arm-unknown-linux-gnueabihf__NEON_Beta<br />
<br />
service boinc-client restart<br />
<br />
<br />
BOINC sollte die app_info nun erkennen, dies lässt sich im BOINC Log leicht nachvolllziehen.<br />
Bereits für ältere Anwendungsversionen geladene Workunits gehen hierbei verloren, es sind neue anzufordern.<br />
<br />
<br />
<br />
==Anregungen für Unterartikel==<br />
Systemoptimierungen (abschaltbare Services, entfernbare Pakete)<br />
<br />
Verwaltung einer ARM Farm<br />
<br />
Hardwarethemen zu Kühlung, Stromversorgung, Gehäuse etc...</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=BOINC@ARM&diff=6325BOINC@ARM2016-07-05T07:15:55Z<p>Koschi: /* Welche Projekte laufen auf Android/Linux@ARM */</p>
<hr />
<div>= BOINC auf der ARM Plattform =<br />
<br />
ARM Prozessoren finden sich heutzutage in immer größerer Zahl in immer mehr Einsatzbereichen wieder. Seien es Smartphones, set-top Boxen, NAS oder Single Board Computer wie der Raspberry Pi, ihre Zahl wächst ständig. Oft verfügen diese Geräte bereits über Multikernprozessoren und laufen dank geringem Energieverbrauch mehr oder weniger 24/7, damit eigentlich ideal für BOINC.<br />
<br />
<br />
Von Nischenbetriebssystemen abgesehen, teilt sich die ARM Welt grob in 2 Teile. Der Großteil der ARM Systeme kommt sicherlich mit Android vorinstalliert, schlanke Linuxbasierte ARM-Systeme sind jedoch ebenfalls breit verfügbar. Letztere lassen sich einfach für eigene (Selbstbau-)Projekte verwenden und sind daher bei Bastlern beliebt.<br />
Obwohl Android im Kern auf Linux basiert, kann es keine Linux@ARM Anwendungen ausführen, das gleiche gilt im Umkehrfall. Im Idealfall bietet ein Projekt also für beide Umgebungen eigene Anwendungen an.<br />
<br />
===Welche Projekte laufen auf Android/Linux@ARM===<br />
<br />
Folgende Übersicht basiert auf der offiziellen BOINC Projektübersicht erweitert um bekannte 3rd party apps.<br />
Soweit bekannt, darf hier eine grobe Einordung Projektintern (ARM vs. x86) sowie zwischen den Projekten vorgenommen werden. Bei Android wird primär zwischen non-PIE and PIE (Position Independend Executable - Vorraussetzung für Android => 5) Versionen unterschieden. non-PIE Versionen laufen unter Android 5 und 6 nicht mehr, brechen daher mit Berechnungsfehlern ab.<br />
<br />
<br />
{|<br />
| '''Projekt''' || '''Plattform''' || '''Anwendung''' || '''Effizienz/Ausschüttung''' || '''Kommentar'''<br />
|-<br />
| [http://asteroidsathome.net/boinc/apps.php Asteroids] || [[Bild:Android_robot.png]] || Period Search Application || Sehr schlecht! || PIE & non-PIE<br />
|-<br />
| [http://asteroidsathome.net/boinc/apps.php Asteroids] || [[Bild:Logo_Linux.gif]] || Period Search Application || Im Projektkontext schlecht, jedoch markant mehr als bei WCG || <br />
|-<br />
| [http://boinc.thesonntags.com/collatz/apps.php Collatz] || [[Bild:Android_robot.png]] || Micro Collatz Conjecture || || Apps für Android@ ARM, x86 und MIPS! <br />
|-<br />
| [http://boinc.thesonntags.com/collatz/apps.php Collatz] || [[Bild:Logo_Linux.gif]] || Micro Collatz Conjecture || || <br />
|-<br />
| [http://boinc.thesonntags.com/collatz/apps.php Collatz] || [[Bild:Android_robot.png]] || Collatz Sieve || Gut || PIE und non-PIE support, läuft damit auf Android 4 und 5<br />
|-<br />
| [http://csgrid.org/csg/apps.php CSGRID] || [[Bild:Android_robot.png]] || SubsetSUM || Sehr gut || Läuft nur bis Android 4.4 (non-PIE)<br />
|-<br />
| [http://csgrid.org/csg/apps.php CSGRID] || [[Bild:Logo_Linux.gif]] || SubsetSUM || Gut || 3rd party app, erfordert app_info.xml<br />
|-<br />
| [https://einstein.phys.uwm.edu/apps.php Einstein] || [[Bild:Android_robot.png]] || Binary Radio Pulsar Search (Arecibo) || Gering || PIE & non-PIE verfügbar, +vfp, +neon<br />
|-<br />
| [https://einstein.phys.uwm.edu/apps.php Einstein] || [[Bild:Logo_Linux.gif]] || Binary Radio Pulsar Search (Arecibo) || Leicht besser als Android || plain oder mit NEON Support<br />
|-<br />
| [http://www.enigmaathome.net/apps.php Enigma] || [[Bild:Android_robot.png]] ||Enigma 0.76b ||Sehr gut || Läuft nur bis Android 4.4 (non-PIE)<br />
|-<br />
| [http://www.enigmaathome.net/apps.php Enigma] || [[Bild:Logo_Linux.gif]] ||Enigma 0.76b ||Gut || <br />
|-<br />
| [http://findah.ucd.ie/apps.php FiND@Home] || [[Bild:Logo_Linux.gif]] || Autodock Vina || || <br />
|-<br />
| [http://goofyxgridathome.net/apps.php GoofyxGrid@Home] || [[Bild:Android_robot.png]] || Monkeys v1 - Random generator A || NCI - minimale Credits || PIE & non-PIE<br />
|-<br />
| [http://goofyxgridathome.net/apps.php GoofyxGrid@Home] || [[Bild:Android_robot.png]] || Monkeys v2 - Word seeker A || NCI - minimale Credits || PIE & non-PIE<br />
|-<br />
| [http://goofyxgridathome.net/apps.php GoofyxGrid@Home] || [[Bild:Logo_Linux.gif]] || Monkeys v1 - Random generator A || NCI - minimale Credits || <br />
|-<br />
| [http://goofyxgridathome.net/apps.php GoofyxGrid@Home] || [[Bild:Logo_Linux.gif]] || Monkeys v2 - Word seeker A || NCI - minimale Credits || <br />
|-<br />
| [http://www.gpugrid.net/apps.php GPUgrid] || [[Bild:Android_robot.png]] || Android || || <br />
|-<br />
| [http://moowrap.net/apps.php Moo! Wrapper] || [[Bild:Android_robot.png]] ||Distributed.net Client || || ARMv7, PIE & non-PIE<br />
|-<br />
| [http://radioactiveathome.org/boinc/apps.php Radioactive@home] || [[Bild:Logo_Linux.gif]] || Radioactivity Monitor || NCI - ohne Credits || <br />
|-<br />
| [http://boinc.bakerlab.org/rosetta/apps.php Rosetta] || [[Bild:Android_robot.png]] || Rosetta Mini for Android || Mittelmaßig, über WCG Niveau || Läuft mit Berkely BOINC auf Android 4 & 5<br />Lässt sich nicht im NativeBOINC hinzufügen (Zertifikatsproblem) <br />
|-<br />
| [http://qcn.caltech.edu/sensor/apps.php Quake-Catcher Network] || [[Bild:Android_robot.png]] || QCN Sensor || NCI - ohne Credits || <br />
|-<br />
| [http://qcn.caltech.edu/sensor/apps.php Quake-Catcher Network] || [[Bild:Logo_Linux.gif]] || QCN Sensor || NCI - ohne Credits || <br />
|-<br />
| [http://setiathome.berkeley.edu/apps.php SETI@home] || [[Bild:Android_robot.png]] || SETI@home v8 || Gering || Zahlreiche PIE & nonPIE, ARMv6+v7, vfp&neon Versionen für Android@ARM <br /> PIE & nonPIE für Android x86 verfügbar <br />
|-<br />
| [http://setiathome.berkeley.edu/apps.php SETI@home] || [[Bild:Logo_Linux.gif]] || SETI@home v8 || Gering || Teils als Paket in Distributionen vorhanden, das aktuelle orginal lohnt i.d.R. aber mehr <br />
|-<br />
| [http://pogs.theskynet.org/pogs/apps.php Skynet POGS] || [[Bild:Android_robot.png]] || fitsedwrapper || Gute Ausbeute und Effizienz || PIE & non-PIE verfügbar <br />
|-<br />
| [http://pogs.theskynet.org/pogs/apps.php Skynet POGS] || [[Bild:Logo_Linux.gif]] || fitsedwrapper || Gut - Sehr gut || 3rd party app, erfordert app_info.xml<br />
|-<br />
| [http://universeathome.pl/universe/apps.php Universe] || [[Bild:Android_robot.png]] ||Universe X-ray sources || Lange Laufzeiten - Geringe Ausbeute, <br />lohnt gegenüber BHspin und ULX nicht || <br />
|-<br />
| [http://universeathome.pl/universe/apps.php Universe] || [[Bild:Logo_Linux.gif]] || BHspin || Hohe Ausbeute, gute Effizienz || <br />
|-<br />
| [http://universeathome.pl/universe/apps.php Universe] || [[Bild:Logo_Linux.gif]] || ULX || Noch besser als BHspin, <br />nur selten WUs verfügbar || <br />
|-<br />
| [http://www.worldcommunitygrid.org/help/viewTopic.do?shortName=minimumreq WCG] || [[Bild:Android_robot.png]] || Outsmart Ebola together || Ordentlich, über ZIKA || <br />
|-<br />
| [http://www.worldcommunitygrid.org/help/viewTopic.do?shortName=minimumreq WCG] || [[Bild:Android_robot.png]] || OpenZika || Mittelmäßig || <br />
|-<br />
| [http://bearnol.is-a-geek.com/wanless2/apps.php WEP-M+2 Project] || [[Bild:Logo_Linux.gif]] || Random-base WEP Factorization || Gut ||<br />
|-<br />
| [http://www.rechenkraft.net/yoyo/apps.php yoyo@home] || [[Bild:Android_robot.png]] || Cruncher ogr || || <br />
|-<br />
| [http://www.rechenkraft.net/yoyo/apps.php yoyo@home] || [[Bild:Logo_Linux.gif]] || Cruncher ogr || || 3 Versionen für Linux verfügbar, Unterschied unklar<br />
|}<br />
<br />
===Welche Projekte laufen am besten===<br />
<br />
Analog zur x86 Welt profitieren jene Projekte am meisten, die eine gute Linuxunterstützung haben.<br />
Universe@home und SubsetSum@Home (ein Citizen Science Grid Unterprojekt) laufen unter Linux signifikant schneller, eine schnelle ARM CPU kann es hier fast mit Windows basierten Hosts aufnehmen.<br />
Projekte wie WCG oder WuProp (die interne Medaillen vergeben), profitieren natürlich ebenfalls von vielen, wenn auch langsameren Kernen.<br />
<br />
==Welche Projekte unterstützen ARM==<br />
<br />
Erste Anlaufstelle kann die offizielle BOINC Projektübersicht sein. [https://boinc.berkeley.edu/projects.php]<br />
Projekte mit Androidunterstützung sind dort mit dem grünen Androidroboter, Anwendungen für Linux@ARM (Raspberry Pi, Odroid u.a.) mit einer Himbeere gekennzeichnet.<br />
<br />
<br />
Auch WUProp gibt Aufschluss welche Projekte auf ARM laufen, zudem weist es die Rechenzeiten auf verschiedenen Geräten aus.<br />
[http://wuprop.boinc-af.org/results/arm.py]<br />
<br />
<br />
Jenseits der offiziellen seitens des Projektes, gibt es auch im ARM Umfeld die Möglichkeit selbst kompilierte oder gar optimierte Anwendungen per app_info.xml zu verwenden.<br />
So hält (Stand Mai 2016) der Blog Burde View [http://burdeview.blogspot.de/p/raspberry-pi-boinc-project-ive-created.html] zB. Linux@ARM Anwendungen für die Projekte Subset SUM, theSkyNetPOGS & Milkyway@home bereit.<br />
<br />
<br />
==Welche Hardware ist empfehlenswert==<br />
<br />
Natürlich ist jede abgelieferte Arbeitseinheit wichtig, langfristig zählt für viele Cruncher aber auch die Effizienz bzw. wieviel Durchsatz pro eingesetztem € möglich ist.<br />
<br />
Neben den Anschaffungskosten für den Minicomputer, kommen hier i.d.R. noch eine hochwertige SD Karte, die Stromversorgung (1x 2A USB Port + Kabel), ein LAN-Kabel und auch ein Switch Port hinzu. Gehen wir einmal von zusammen 15€ für diese zusätzlichen Komponenten aus.<br />
Da diese Kosten pro Platine anfallen, relativieren sie den Preis von vermeintlichen "Schnäppchen" wie zB. dem Orange Pi PC.<br />
<br />
Letzterer wird zb. als Quad Core 1.6GHz verkauft, läuft aber nur mit 1.2GHz und großzügiger passiver Kühlung "BOINC-stabil". Der verbaute Allwinner H3 Prozessor basiert zudem auf relativ langsamen ARM Cortex A7 Kernen. Alles in allem bleibt eine Geschwindigkeit zwischen Raspberry Pi 2 und 3. Hochtaktende A53 Kerne (64bit ARMv8) oder gar die performanten Cortex A15 & A17 (32bit ARMv7) sowie Cortex A57 & A72 Kerne (64bit ARMv8) rechnen nicht selten um den Faktor 2 schneller. Um auf deren Produktionsrate zu kommen, müssten mindestens 2 Orange Pi PC (je 14€) eingesetzt werden. Dazu kommen je 2 mal Speicher, Energie und Netzwerk. Schnell sind 58€ zusammengekommen. Ein einzelner, jedoch ebenso schneller Odroid C2 mit 4 Cortex A53 Kernen (2GHz) würde mit ca. 63€ zu Buche schlagen, seinen Passivkühler bereits mitbringen und den halben Administrationsaufwand bedeuten. <br />
Ähnlich könnte man nun den Odroid C2 gegen den Odroid XU4 abwägen, letzterer nutzt einen 8-Kern Prozessor der auf 4 Cortex A15 2Ghz und 4 Cortex A7 Kerne zurückgreifen kann. Damit zeigt er ca. den 1.5x-2x Durchsatz bei knapp dem doppelten Preis, ohne bisher die Speicher und die Kabelei berücksichtigt zu haben. <br />
<br />
Wie auch in der x86-Welt gilt es zu vergleichen, um schließlich den besten Prozessor + Ecosystem zum angemessenen Preis zu finden.<br />
Zur groben Einordnung der per-Core-Performance bitte folgenden Artikel konsultieren: [http://www.cnx-software.com/2015/04/09/relative-performance-of-arm-cortex-a-32-bit-and-64-bit-cores/ Relative performance of ARM Cortex 32bit and 64bit cores]<br />
<br />
<br />
Grob lässt sich sagen dass Stand 2016 minimum Quad Core Cortex A9 (zB. Amlogic S812) oder A53 (Amlogic S905) empfehlenswert sind, besser noch Quad Core A17 (Rockchip RK3288), Octa Core A53 (Rockchip RK3368) oder BIG.little CPUs wie der Mediatek MT8693, die 2 sehr schnelle A72 und 4 gute A53 Kerne bieten.<br />
<br />
<br />
Folgend eine grobe Einschätzung aktuell verfügbarer Systeme (work in progress):<br />
<br />
<br />
'''Single board computer'''<br />
{|<br />
|Name||Prozessor||RAM||OS||Einschätzung<br />
|-<br />
| Orange Pi One<br /> Orange Pi Mini <br /> Orange Pi PC<br />Orange Pi 2<br />Orange Pi Plus ||Allwinner H3<br /> 4x1.6GHz A7 || 0.5-2 GB || Linux & Android 4.4 ||Eher schlechte Performance (zwischen RPi2 und 3), läuft nur mit 1.2GHz stabil. <br />Linuxkernel 3.4 zu alt für Collatz. <br />Kaum Herstellersupport. <br />Vertrieb nur über aliexpress.<br />
|-<br />
| Raspberry Pi 2||Broadcom BCM2836 <br />4x 0.9GHz A7 || 1 GB || Linux ||Eher schlechte Performance, neu kaufen lohnt angesichts des verfügbaren Pi3 nicht<br />
|-<br />
| Raspberry Pi 3||Broadcom BCM2837 <br /> 4x 1.2GHz A53 || 1 GB || Linux ||Mittlere Performance, ansonsten das ARM-Referenzsystem schlechthin. <br />
Alle Linux@ARM Projekte sollten problemlos laufen<br />
|-<br />
| Odroid XU4 || SAMSUNG Exynos 5422 <br />4x2.0 GHz A15 +<br />4x 1.4GHz A7 || 2 GB || Linux & Android 4.4 || Sehr gute Performance, derzeit schnellstes Board am Markt. <br />Benötigt Aktivkühlung.<br />
|-<br />
| Odroid U3 || Samsung Exynos 4412 <br /> 4x1.7 GHz A9 || 2 GB || Linux & Android 4.4 || Gute Performance, Aktivkühlung notwendig<br />
|-<br />
| Odroid C2 || Amlogic S905 <br /> 4x2.0 GHz A53 || 2 GB || Linux & Android 5.1 || Gute Performance, 64bit Plattform erfordert teils app_info.xml um Arbeit zu bekommen<br />
|-<br />
| Banana PI M1, M1+, M2, M2+, M3|| Allwinner CPU mit 2-8x A7 || 1-2 GB || Linux & Android || Eher lahm, M3 durch Octacore evtl. akzeptabel. Android buggy. Alter Linuxkernel 3.4.<br />
|-<br />
| Nvidia Jetson TK1 || Tegra K1 SOC <br />4x2.32 GHz A15 || 2 GB || Linux || Sehr gute Performance, leider teuer<br />192 SM3.2 CUDA cores noch ungenutzt<br />
|-<br />
| || || || || ||<br />
|}<br />
<br />
<br />
'''Android TV Boxen & Sticks'''<br />
{|<br />
|Name||Prozessor||RAM||OS||Einschätzung<br />
|-<br />
| Z68 TV Box || RK3368 8x1.5GHz A53 || 2 GB || Android 5.1 || 1.5GHz nur als Turbo bei geringer Gesamtlast. Vollast nur bei ~816MHz stabil. FAIL.<br />
|-<br />
| Q8 TV Box || RK3288 4x1.8GHz A17 || 2 GB || Android 4.4 || Sehr schnell, einfache Verwaltung durch NativeBOINC <br /> Passivkühler verwenden!<br />
|-<br />
| || || || ||<br />
|-<br />
| || || || ||<br />
|}<br />
<br />
<br />
Androidboards oder TV-Boxen basierend auf Intel Prozessoren sind derzeit nicht zu empfehlen, es gibt für diese keine BOINC-Anwendungen.<br />
<br />
== Performanceübersicht ==<br />
<br />
Die folgende Tabelle soll einmal die tatsächliche Performance der Platinen und Architekturen aufzeigen. Da zB. POGS WUs variabler Länge (jedoch mit festen Credit Ratio) hat, aber auch Prozessoren auf das BIG.little Konzept setzen, sehen wir davon ab tatsächliche Laufzeiten anzugeben, sondern verwenden den maximal möglichen Durchsatz per Core und Gesamtsystem in Credits als Referenz. Stand Juni 2016:<br />
{|<br />
| System || CPU || OS || SubsetSum<br /> C/d/Core || SubsetSum<br /> C/d || POGS<br /> C/d/Core || POGS<br /> C/d || PRJ C || PRJ C || PRJ D || PRJ D <br />
|-<br />
| Orange Pi (H3) (¹)|| 4x1.2 GHz A7 || [[Bild:Logo_Linux.gif]] || 280 || '''1120''' || 288 || '''1152''' || || || || <br />
|-<br />
| Raspberry Pi 3 (¹) || 4x1.2 GHz A53 || [[Bild:Logo_Linux.gif]] || 330 || '''1320''' || 420 || '''1680''' || || || || <br />
|-<br />
| Odroid C2 (²)|| 4x2.0 GHz A53 || [[Bild:Logo_Linux.gif]] || 431 || '''1724''' || 480 || '''1920''' || || || || <br />
|-<br />
| Odroid U3 (²)|| 4x1.7 GHz A9 || [[Bild:Logo_Linux.gif]] || 782 || '''3128''' || 620 || '''2480''' || || || || <br />
|-<br />
| Q8 Box (RK3288) (¹) || 4x1.78 Hz A17 || [[Bild:Android_robot.png]] || 941 || '''3764''' || 740 || '''2960''' || || || || <br />
|-<br />
| Odroid XU4 (²)|| 4x 2.0 GHz A15 +<br />4x 1.4GHz A7 || [[Bild:Logo_Linux.gif]]<br />[[Bild:Android_robot.png]] || 466<br /><br />962 || '''3728'''<br /><br />'''7696''' || 594 || '''4752''' || || || || <br />
|-<br />
| Nivida Jetson TK1 (¹) || 4x2.32 GHz A15|| [[Bild:Logo_Linux.gif]]<br />[[Bild:Android_robot.png]] || 885<br /><br />1880 || '''3540'''<br /><br />'''7520''' ||<br /> || <br /> || || || || <br />
|-<br />
| || || || || || || || || || || <br />
|-<br />
| || || || || || || || || || || <br />
|-<br />
| Intel Core 2 Q9550 || 4x2.83 GHz || [[Bild:Logo_Linux.gif]] || 1281 || '''5124''' || 2170 || '''8680''' || || || || <br />
|}<br />
<br />
Teils basieren die Daten auf einzelnen Hosts mit wenigen Resultaten, teils auf dutzenden Hosts mit tausenden von Resultaten. <br />
Die Auswertung erfolgte automatisiert.<br />
(¹) geringe Datenbasis<br />
(²) umfangreiche Datenbasis<br />
Die Performance nicht gelisteter Platinen lässt sich hieraus teilweise ableiten. Mit Raspberry Pi 3 und C2 als Basis, ist anzunehmen dass ein 8 Kern 1.5GHz A53 wohl ca. 3000 Punkte täglich bei SubsetSum bringen könnte. Tendenziell eher weniger als mehr, da verfügbare Speicherbandbreiten durch mehr Kerne geteilt werden müssen. Die Performance eines Dualcore A7 (zB. Banana Pi) wird hingegen bei ca. der Hälfte der Orange Pi Performance liegen.<br />
<br />
==Tipps und Tricks==<br />
<br />
===BOINC auf Android installieren===<br />
Stand Mai 2016 gibt es 2 BOINC Clients für die Android Plattform, beide können über den Google Play Store bezogen werden. Langfristig "empfehlenswert" ist derzeit der offizielle <br />
[https://play.google.com/store/apps/details?id=edu.berkeley.boinc BOINC Client aus Berkeley].<br />
Leider fehlen hier gegenüber dem großen BOINC Einstellungsmöglichkeiten und auch der RPC Zugriff zur Fernverwaltung. <br />
<br />
<br />
[https://play.google.com/store/apps/details?id=sk.boinc.nativeboinc NativeBOINC] - seit 2013 nicht mehr weiterentwickelt, läuft daher nicht auf aktuellen Android Versionen (> 5.0). <br />
Wer noch Geräte mit altem Softwarestand hat, kann sich auf umfangreichere Einstellungsmöglichkeiten und auch RPC Zugriff freuen.<br />
<br />
===32bit Anwendungen auf 64bit Linux OS verwenden===<br />
64bit Plattformen wie die Odroid C2 mit 64bit Ubuntu bekommen ohne weiteres von Projekten keine Arbeit zugewiesen. <br />
<br />
Im Log findet sich dann folgende Meldung:<br />
<br />
<br />
<nowiki>Message from server: This project doesn't support computers of type aarch64-unknown-linux-gnu</nowiki><br />
<br />
<br />
Hier hilft es dem Server vorzugaukeln, es handele sich um eine herkömmliches ARM System. Dies geschieht über einen Eintrag in der cc_config.xml:<br />
<br />
<br />
<nowiki><options> <br />
<alt_platform>arm-unknown-linux-gnueabihf</alt_platform> <br />
</options></nowiki> <br />
<br />
<br />
Anschließend muss der BOINC Client durchgestartet werden.<br />
Unter Umständen wird man nun keine Arbeit für native 64bit Anwendungen bekommen, Stand Mai 2016 gibt es diese aber ohnehin noch nicht.<br />
<br />
Für Yoyo sollte auch das Paket 'libsfstdc++6' nachinstalliert werden.<br />
<br />
<br />
===Einstein@home einrichten bei nicht erkannter NEON Unterstützung===<br />
Auf Odroid C2, sicher auch anderen Computern kommt es vor das die NEON Erweiterung nicht erkannt wird.<br />
Dies führt dazu das vom BOINC Server eine unoptimierte Binary ausgeliefert, bei Einstein@home erzeugt diese zudem noch reihenweise Berechnungsfehler.<br />
<br />
Auch hier kann man sich mit dem anonymous plattform Mechanismus behelfen, folgende Zeilen sind als app_info.xml im Verzeichnis /var/lib/boinc-client/projects/einstein.phys.uwm.edu/ abzulegen:<br />
<br />
<br />
<app_info><br />
<app><br />
<name>einsteinbinary_BRP4</name><br />
</app><br />
<file_info><br />
<name>einsteinbinary_BRP4_1.47_arm-unknown-linux-gnueabihf__NEON_Beta</name><br />
<executable/><br />
</file_info><br />
<app_version><br />
<app_name>einsteinbinary_BRP4</app_name><br />
<version_num>147</version_num><br />
<file_ref><br />
<file_name>einsteinbinary_BRP4_1.47_arm-unknown-linux-gnueabihf__NEON_Beta</file_name><br />
<main_program/><br />
</file_ref><br />
</app_version><br />
</app_info><br />
<br />
Die Einsteinanwendung ist manuell zu laden, anschließend wird BOINC neu gestartet um die Konfigurationsdatei einzulesen. Die folgenden Kommandos sollten dazu als root ausgeführt werden:<br />
<br />
<br />
cd /var/lib/boinc-client/projects/einstein.phys.uwm.edu/<br />
<br />
wget http://einstein-dl3.phys.uwm.edu/download/einsteinbinary_BRP4_1.47_arm-unknown-linux-gnueabihf__NEON_Beta<br />
<br />
chmod 755 einsteinbinary_BRP4_1.47_arm-unknown-linux-gnueabihf__NEON_Beta<br />
<br />
chown boinc:boinc einsteinbinary_BRP4_1.47_arm-unknown-linux-gnueabihf__NEON_Beta<br />
<br />
service boinc-client restart<br />
<br />
<br />
BOINC sollte die app_info nun erkennen, dies lässt sich im BOINC Log leicht nachvolllziehen.<br />
Bereits für ältere Anwendungsversionen geladene Workunits gehen hierbei verloren, es sind neue anzufordern.<br />
<br />
<br />
<br />
==Anregungen für Unterartikel==<br />
Systemoptimierungen (abschaltbare Services, entfernbare Pakete)<br />
<br />
Verwaltung einer ARM Farm<br />
<br />
Hardwarethemen zu Kühlung, Stromversorgung, Gehäuse etc...</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=BOINC@ARM&diff=6324BOINC@ARM2016-07-05T07:15:22Z<p>Koschi: /* Welche Projekte laufen auf Android/Linux@ARM */</p>
<hr />
<div>= BOINC auf der ARM Plattform =<br />
<br />
ARM Prozessoren finden sich heutzutage in immer größerer Zahl in immer mehr Einsatzbereichen wieder. Seien es Smartphones, set-top Boxen, NAS oder Single Board Computer wie der Raspberry Pi, ihre Zahl wächst ständig. Oft verfügen diese Geräte bereits über Multikernprozessoren und laufen dank geringem Energieverbrauch mehr oder weniger 24/7, damit eigentlich ideal für BOINC.<br />
<br />
<br />
Von Nischenbetriebssystemen abgesehen, teilt sich die ARM Welt grob in 2 Teile. Der Großteil der ARM Systeme kommt sicherlich mit Android vorinstalliert, schlanke Linuxbasierte ARM-Systeme sind jedoch ebenfalls breit verfügbar. Letztere lassen sich einfach für eigene (Selbstbau-)Projekte verwenden und sind daher bei Bastlern beliebt.<br />
Obwohl Android im Kern auf Linux basiert, kann es keine Linux@ARM Anwendungen ausführen, das gleiche gilt im Umkehrfall. Im Idealfall bietet ein Projekt also für beide Umgebungen eigene Anwendungen an.<br />
<br />
===Welche Projekte laufen auf Android/Linux@ARM===<br />
<br />
Folgende Übersicht basiert auf der offiziellen BOINC Projektübersicht erweitert um bekannte 3rd party apps.<br />
Soweit bekannt, darf hier eine grobe Einordung Projektintern (ARM vs. x86) sowie zwischen den Projekten vorgenommen werden. Bei Android wird primär zwischen non-PIE and PIE (Position Independend Executable - Vorraussetzung für Android => 5) Versionen unterschieden. non-PIE Versionen laufen unter Android 5 und 6 nicht mehr, brechen daher mit Berechnungsfehlern ab.<br />
<br />
<br />
{|<br />
| '''Projekt''' || '''Plattform''' || '''Anwendung''' || '''Effizienz/Ausschüttung''' || '''Kommentar'''<br />
|-<br />
| [http://asteroidsathome.net/boinc/apps.php Asteroids] || [[Bild:Android_robot.png]] || Period Search Application || Sehr schlecht! || PIE & non-PIE<br />
|-<br />
| [http://asteroidsathome.net/boinc/apps.php Asteroids] || [[Bild:Logo_Linux.gif]] || Period Search Application || Im Projektkontext schlecht, jedoch markant mehr als bei WCG || <br />
|-<br />
| [http://boinc.thesonntags.com/collatz/apps.php Collatz] || [[Bild:Android_robot.png]] || Micro Collatz Conjecture || || Apps für Android@ ARM, x86 und MIPS! <br />
|-<br />
| [http://boinc.thesonntags.com/collatz/apps.php Collatz] || [[Bild:Logo_Linux.gif]] || Micro Collatz Conjecture || || <br />
|-<br />
| [http://boinc.thesonntags.com/collatz/apps.php Collatz] || [[Bild:Android_robot.png]] || Collatz Sieve || Gut || PIE und non-PIE support, läuft damit auf Android 4 und 5<br />
|-<br />
| [http://csgrid.org/csg/apps.php CSGRID] || [[Bild:Android_robot.png]] || SubsetSUM || Sehr gut || Läuft nur bis Android 4.4 (non-PIE)<br />
|-<br />
| [http://csgrid.org/csg/apps.php CSGRID] || [[Bild:Logo_Linux.gif]] || SubsetSUM || Gut || 3rd party app, erfordert app_info.xml<br />
|-<br />
| [https://einstein.phys.uwm.edu/apps.php Einstein] || [[Bild:Android_robot.png]] || Binary Radio Pulsar Search (Arecibo) || Gering || PIE & non-PIE verfügbar, +vfp, +neon<br />
|-<br />
| [https://einstein.phys.uwm.edu/apps.php Einstein] || [[Bild:Logo_Linux.gif]] || Binary Radio Pulsar Search (Arecibo) || Leicht besser als Android || plain oder mit NEON Support<br />
|-<br />
| [http://www.enigmaathome.net/apps.php Enigma] || [[Bild:Android_robot.png]] ||Enigma 0.76b ||Sehr gut || Läuft nur bis Android 4.4 (non-PIE)<br />
|-<br />
| [http://www.enigmaathome.net/apps.php Enigma] || [[Bild:Logo_Linux.gif]] ||Enigma 0.76b ||Gut || <br />
|-<br />
| [http://findah.ucd.ie/apps.php FiND@Home] || [[Bild:Logo_Linux.gif]] || Autodock Vina || || <br />
|-<br />
| [http://goofyxgridathome.net/apps.php GoofyxGrid@Home] || [[Bild:Android_robot.png]] || Monkeys v1 - Random generator A || NCI - minimale Credits || <br />
|-<br />
| [http://goofyxgridathome.net/apps.php GoofyxGrid@Home] || [[Bild:Android_robot.png]] || Monkeys v2 - Word seeker A || NCI - minimale Credits || <br />
|-<br />
| [http://goofyxgridathome.net/apps.php GoofyxGrid@Home] || [[Bild:Logo_Linux.gif]] || Monkeys v1 - Random generator A || NCI - minimale Credits || <br />
|-<br />
| [http://goofyxgridathome.net/apps.php GoofyxGrid@Home] || [[Bild:Logo_Linux.gif]] || Monkeys v2 - Word seeker A || NCI - minimale Credits || <br />
|-<br />
| [http://www.gpugrid.net/apps.php GPUgrid] || [[Bild:Android_robot.png]] || Android || || <br />
|-<br />
| [http://moowrap.net/apps.php Moo! Wrapper] || [[Bild:Android_robot.png]] ||Distributed.net Client || || ARMv7, PIE & non-PIE<br />
|-<br />
| [http://radioactiveathome.org/boinc/apps.php Radioactive@home] || [[Bild:Logo_Linux.gif]] || Radioactivity Monitor || NCI - ohne Credits || <br />
|-<br />
| [http://boinc.bakerlab.org/rosetta/apps.php Rosetta] || [[Bild:Android_robot.png]] || Rosetta Mini for Android || Mittelmaßig, über WCG Niveau || Läuft mit Berkely BOINC auf Android 4 & 5<br />Lässt sich nicht im NativeBOINC hinzufügen (Zertifikatsproblem) <br />
|-<br />
| [http://qcn.caltech.edu/sensor/apps.php Quake-Catcher Network] || [[Bild:Android_robot.png]] || QCN Sensor || NCI - ohne Credits || <br />
|-<br />
| [http://qcn.caltech.edu/sensor/apps.php Quake-Catcher Network] || [[Bild:Logo_Linux.gif]] || QCN Sensor || NCI - ohne Credits || <br />
|-<br />
| [http://setiathome.berkeley.edu/apps.php SETI@home] || [[Bild:Android_robot.png]] || SETI@home v8 || Gering || Zahlreiche PIE & nonPIE, ARMv6+v7, vfp&neon Versionen für Android@ARM <br /> PIE & nonPIE für Android x86 verfügbar <br />
|-<br />
| [http://setiathome.berkeley.edu/apps.php SETI@home] || [[Bild:Logo_Linux.gif]] || SETI@home v8 || Gering || Teils als Paket in Distributionen vorhanden, das aktuelle orginal lohnt i.d.R. aber mehr <br />
|-<br />
| [http://pogs.theskynet.org/pogs/apps.php Skynet POGS] || [[Bild:Android_robot.png]] || fitsedwrapper || Gute Ausbeute und Effizienz || PIE & non-PIE verfügbar <br />
|-<br />
| [http://pogs.theskynet.org/pogs/apps.php Skynet POGS] || [[Bild:Logo_Linux.gif]] || fitsedwrapper || Gut - Sehr gut || 3rd party app, erfordert app_info.xml<br />
|-<br />
| [http://universeathome.pl/universe/apps.php Universe] || [[Bild:Android_robot.png]] ||Universe X-ray sources || Lange Laufzeiten - Geringe Ausbeute, <br />lohnt gegenüber BHspin und ULX nicht || <br />
|-<br />
| [http://universeathome.pl/universe/apps.php Universe] || [[Bild:Logo_Linux.gif]] || BHspin || Hohe Ausbeute, gute Effizienz || <br />
|-<br />
| [http://universeathome.pl/universe/apps.php Universe] || [[Bild:Logo_Linux.gif]] || ULX || Noch besser als BHspin, <br />nur selten WUs verfügbar || <br />
|-<br />
| [http://www.worldcommunitygrid.org/help/viewTopic.do?shortName=minimumreq WCG] || [[Bild:Android_robot.png]] || Outsmart Ebola together || Ordentlich, über ZIKA || <br />
|-<br />
| [http://www.worldcommunitygrid.org/help/viewTopic.do?shortName=minimumreq WCG] || [[Bild:Android_robot.png]] || OpenZika || Mittelmäßig || <br />
|-<br />
| [http://bearnol.is-a-geek.com/wanless2/apps.php WEP-M+2 Project] || [[Bild:Logo_Linux.gif]] || Random-base WEP Factorization || Gut ||<br />
|-<br />
| [http://www.rechenkraft.net/yoyo/apps.php yoyo@home] || [[Bild:Android_robot.png]] || Cruncher ogr || || <br />
|-<br />
| [http://www.rechenkraft.net/yoyo/apps.php yoyo@home] || [[Bild:Logo_Linux.gif]] || Cruncher ogr || || 3 Versionen für Linux verfügbar, Unterschied unklar<br />
|}<br />
<br />
===Welche Projekte laufen am besten===<br />
<br />
Analog zur x86 Welt profitieren jene Projekte am meisten, die eine gute Linuxunterstützung haben.<br />
Universe@home und SubsetSum@Home (ein Citizen Science Grid Unterprojekt) laufen unter Linux signifikant schneller, eine schnelle ARM CPU kann es hier fast mit Windows basierten Hosts aufnehmen.<br />
Projekte wie WCG oder WuProp (die interne Medaillen vergeben), profitieren natürlich ebenfalls von vielen, wenn auch langsameren Kernen.<br />
<br />
==Welche Projekte unterstützen ARM==<br />
<br />
Erste Anlaufstelle kann die offizielle BOINC Projektübersicht sein. [https://boinc.berkeley.edu/projects.php]<br />
Projekte mit Androidunterstützung sind dort mit dem grünen Androidroboter, Anwendungen für Linux@ARM (Raspberry Pi, Odroid u.a.) mit einer Himbeere gekennzeichnet.<br />
<br />
<br />
Auch WUProp gibt Aufschluss welche Projekte auf ARM laufen, zudem weist es die Rechenzeiten auf verschiedenen Geräten aus.<br />
[http://wuprop.boinc-af.org/results/arm.py]<br />
<br />
<br />
Jenseits der offiziellen seitens des Projektes, gibt es auch im ARM Umfeld die Möglichkeit selbst kompilierte oder gar optimierte Anwendungen per app_info.xml zu verwenden.<br />
So hält (Stand Mai 2016) der Blog Burde View [http://burdeview.blogspot.de/p/raspberry-pi-boinc-project-ive-created.html] zB. Linux@ARM Anwendungen für die Projekte Subset SUM, theSkyNetPOGS & Milkyway@home bereit.<br />
<br />
<br />
==Welche Hardware ist empfehlenswert==<br />
<br />
Natürlich ist jede abgelieferte Arbeitseinheit wichtig, langfristig zählt für viele Cruncher aber auch die Effizienz bzw. wieviel Durchsatz pro eingesetztem € möglich ist.<br />
<br />
Neben den Anschaffungskosten für den Minicomputer, kommen hier i.d.R. noch eine hochwertige SD Karte, die Stromversorgung (1x 2A USB Port + Kabel), ein LAN-Kabel und auch ein Switch Port hinzu. Gehen wir einmal von zusammen 15€ für diese zusätzlichen Komponenten aus.<br />
Da diese Kosten pro Platine anfallen, relativieren sie den Preis von vermeintlichen "Schnäppchen" wie zB. dem Orange Pi PC.<br />
<br />
Letzterer wird zb. als Quad Core 1.6GHz verkauft, läuft aber nur mit 1.2GHz und großzügiger passiver Kühlung "BOINC-stabil". Der verbaute Allwinner H3 Prozessor basiert zudem auf relativ langsamen ARM Cortex A7 Kernen. Alles in allem bleibt eine Geschwindigkeit zwischen Raspberry Pi 2 und 3. Hochtaktende A53 Kerne (64bit ARMv8) oder gar die performanten Cortex A15 & A17 (32bit ARMv7) sowie Cortex A57 & A72 Kerne (64bit ARMv8) rechnen nicht selten um den Faktor 2 schneller. Um auf deren Produktionsrate zu kommen, müssten mindestens 2 Orange Pi PC (je 14€) eingesetzt werden. Dazu kommen je 2 mal Speicher, Energie und Netzwerk. Schnell sind 58€ zusammengekommen. Ein einzelner, jedoch ebenso schneller Odroid C2 mit 4 Cortex A53 Kernen (2GHz) würde mit ca. 63€ zu Buche schlagen, seinen Passivkühler bereits mitbringen und den halben Administrationsaufwand bedeuten. <br />
Ähnlich könnte man nun den Odroid C2 gegen den Odroid XU4 abwägen, letzterer nutzt einen 8-Kern Prozessor der auf 4 Cortex A15 2Ghz und 4 Cortex A7 Kerne zurückgreifen kann. Damit zeigt er ca. den 1.5x-2x Durchsatz bei knapp dem doppelten Preis, ohne bisher die Speicher und die Kabelei berücksichtigt zu haben. <br />
<br />
Wie auch in der x86-Welt gilt es zu vergleichen, um schließlich den besten Prozessor + Ecosystem zum angemessenen Preis zu finden.<br />
Zur groben Einordnung der per-Core-Performance bitte folgenden Artikel konsultieren: [http://www.cnx-software.com/2015/04/09/relative-performance-of-arm-cortex-a-32-bit-and-64-bit-cores/ Relative performance of ARM Cortex 32bit and 64bit cores]<br />
<br />
<br />
Grob lässt sich sagen dass Stand 2016 minimum Quad Core Cortex A9 (zB. Amlogic S812) oder A53 (Amlogic S905) empfehlenswert sind, besser noch Quad Core A17 (Rockchip RK3288), Octa Core A53 (Rockchip RK3368) oder BIG.little CPUs wie der Mediatek MT8693, die 2 sehr schnelle A72 und 4 gute A53 Kerne bieten.<br />
<br />
<br />
Folgend eine grobe Einschätzung aktuell verfügbarer Systeme (work in progress):<br />
<br />
<br />
'''Single board computer'''<br />
{|<br />
|Name||Prozessor||RAM||OS||Einschätzung<br />
|-<br />
| Orange Pi One<br /> Orange Pi Mini <br /> Orange Pi PC<br />Orange Pi 2<br />Orange Pi Plus ||Allwinner H3<br /> 4x1.6GHz A7 || 0.5-2 GB || Linux & Android 4.4 ||Eher schlechte Performance (zwischen RPi2 und 3), läuft nur mit 1.2GHz stabil. <br />Linuxkernel 3.4 zu alt für Collatz. <br />Kaum Herstellersupport. <br />Vertrieb nur über aliexpress.<br />
|-<br />
| Raspberry Pi 2||Broadcom BCM2836 <br />4x 0.9GHz A7 || 1 GB || Linux ||Eher schlechte Performance, neu kaufen lohnt angesichts des verfügbaren Pi3 nicht<br />
|-<br />
| Raspberry Pi 3||Broadcom BCM2837 <br /> 4x 1.2GHz A53 || 1 GB || Linux ||Mittlere Performance, ansonsten das ARM-Referenzsystem schlechthin. <br />
Alle Linux@ARM Projekte sollten problemlos laufen<br />
|-<br />
| Odroid XU4 || SAMSUNG Exynos 5422 <br />4x2.0 GHz A15 +<br />4x 1.4GHz A7 || 2 GB || Linux & Android 4.4 || Sehr gute Performance, derzeit schnellstes Board am Markt. <br />Benötigt Aktivkühlung.<br />
|-<br />
| Odroid U3 || Samsung Exynos 4412 <br /> 4x1.7 GHz A9 || 2 GB || Linux & Android 4.4 || Gute Performance, Aktivkühlung notwendig<br />
|-<br />
| Odroid C2 || Amlogic S905 <br /> 4x2.0 GHz A53 || 2 GB || Linux & Android 5.1 || Gute Performance, 64bit Plattform erfordert teils app_info.xml um Arbeit zu bekommen<br />
|-<br />
| Banana PI M1, M1+, M2, M2+, M3|| Allwinner CPU mit 2-8x A7 || 1-2 GB || Linux & Android || Eher lahm, M3 durch Octacore evtl. akzeptabel. Android buggy. Alter Linuxkernel 3.4.<br />
|-<br />
| Nvidia Jetson TK1 || Tegra K1 SOC <br />4x2.32 GHz A15 || 2 GB || Linux || Sehr gute Performance, leider teuer<br />192 SM3.2 CUDA cores noch ungenutzt<br />
|-<br />
| || || || || ||<br />
|}<br />
<br />
<br />
'''Android TV Boxen & Sticks'''<br />
{|<br />
|Name||Prozessor||RAM||OS||Einschätzung<br />
|-<br />
| Z68 TV Box || RK3368 8x1.5GHz A53 || 2 GB || Android 5.1 || 1.5GHz nur als Turbo bei geringer Gesamtlast. Vollast nur bei ~816MHz stabil. FAIL.<br />
|-<br />
| Q8 TV Box || RK3288 4x1.8GHz A17 || 2 GB || Android 4.4 || Sehr schnell, einfache Verwaltung durch NativeBOINC <br /> Passivkühler verwenden!<br />
|-<br />
| || || || ||<br />
|-<br />
| || || || ||<br />
|}<br />
<br />
<br />
Androidboards oder TV-Boxen basierend auf Intel Prozessoren sind derzeit nicht zu empfehlen, es gibt für diese keine BOINC-Anwendungen.<br />
<br />
== Performanceübersicht ==<br />
<br />
Die folgende Tabelle soll einmal die tatsächliche Performance der Platinen und Architekturen aufzeigen. Da zB. POGS WUs variabler Länge (jedoch mit festen Credit Ratio) hat, aber auch Prozessoren auf das BIG.little Konzept setzen, sehen wir davon ab tatsächliche Laufzeiten anzugeben, sondern verwenden den maximal möglichen Durchsatz per Core und Gesamtsystem in Credits als Referenz. Stand Juni 2016:<br />
{|<br />
| System || CPU || OS || SubsetSum<br /> C/d/Core || SubsetSum<br /> C/d || POGS<br /> C/d/Core || POGS<br /> C/d || PRJ C || PRJ C || PRJ D || PRJ D <br />
|-<br />
| Orange Pi (H3) (¹)|| 4x1.2 GHz A7 || [[Bild:Logo_Linux.gif]] || 280 || '''1120''' || 288 || '''1152''' || || || || <br />
|-<br />
| Raspberry Pi 3 (¹) || 4x1.2 GHz A53 || [[Bild:Logo_Linux.gif]] || 330 || '''1320''' || 420 || '''1680''' || || || || <br />
|-<br />
| Odroid C2 (²)|| 4x2.0 GHz A53 || [[Bild:Logo_Linux.gif]] || 431 || '''1724''' || 480 || '''1920''' || || || || <br />
|-<br />
| Odroid U3 (²)|| 4x1.7 GHz A9 || [[Bild:Logo_Linux.gif]] || 782 || '''3128''' || 620 || '''2480''' || || || || <br />
|-<br />
| Q8 Box (RK3288) (¹) || 4x1.78 Hz A17 || [[Bild:Android_robot.png]] || 941 || '''3764''' || 740 || '''2960''' || || || || <br />
|-<br />
| Odroid XU4 (²)|| 4x 2.0 GHz A15 +<br />4x 1.4GHz A7 || [[Bild:Logo_Linux.gif]]<br />[[Bild:Android_robot.png]] || 466<br /><br />962 || '''3728'''<br /><br />'''7696''' || 594 || '''4752''' || || || || <br />
|-<br />
| Nivida Jetson TK1 (¹) || 4x2.32 GHz A15|| [[Bild:Logo_Linux.gif]]<br />[[Bild:Android_robot.png]] || 885<br /><br />1880 || '''3540'''<br /><br />'''7520''' ||<br /> || <br /> || || || || <br />
|-<br />
| || || || || || || || || || || <br />
|-<br />
| || || || || || || || || || || <br />
|-<br />
| Intel Core 2 Q9550 || 4x2.83 GHz || [[Bild:Logo_Linux.gif]] || 1281 || '''5124''' || 2170 || '''8680''' || || || || <br />
|}<br />
<br />
Teils basieren die Daten auf einzelnen Hosts mit wenigen Resultaten, teils auf dutzenden Hosts mit tausenden von Resultaten. <br />
Die Auswertung erfolgte automatisiert.<br />
(¹) geringe Datenbasis<br />
(²) umfangreiche Datenbasis<br />
Die Performance nicht gelisteter Platinen lässt sich hieraus teilweise ableiten. Mit Raspberry Pi 3 und C2 als Basis, ist anzunehmen dass ein 8 Kern 1.5GHz A53 wohl ca. 3000 Punkte täglich bei SubsetSum bringen könnte. Tendenziell eher weniger als mehr, da verfügbare Speicherbandbreiten durch mehr Kerne geteilt werden müssen. Die Performance eines Dualcore A7 (zB. Banana Pi) wird hingegen bei ca. der Hälfte der Orange Pi Performance liegen.<br />
<br />
==Tipps und Tricks==<br />
<br />
===BOINC auf Android installieren===<br />
Stand Mai 2016 gibt es 2 BOINC Clients für die Android Plattform, beide können über den Google Play Store bezogen werden. Langfristig "empfehlenswert" ist derzeit der offizielle <br />
[https://play.google.com/store/apps/details?id=edu.berkeley.boinc BOINC Client aus Berkeley].<br />
Leider fehlen hier gegenüber dem großen BOINC Einstellungsmöglichkeiten und auch der RPC Zugriff zur Fernverwaltung. <br />
<br />
<br />
[https://play.google.com/store/apps/details?id=sk.boinc.nativeboinc NativeBOINC] - seit 2013 nicht mehr weiterentwickelt, läuft daher nicht auf aktuellen Android Versionen (> 5.0). <br />
Wer noch Geräte mit altem Softwarestand hat, kann sich auf umfangreichere Einstellungsmöglichkeiten und auch RPC Zugriff freuen.<br />
<br />
===32bit Anwendungen auf 64bit Linux OS verwenden===<br />
64bit Plattformen wie die Odroid C2 mit 64bit Ubuntu bekommen ohne weiteres von Projekten keine Arbeit zugewiesen. <br />
<br />
Im Log findet sich dann folgende Meldung:<br />
<br />
<br />
<nowiki>Message from server: This project doesn't support computers of type aarch64-unknown-linux-gnu</nowiki><br />
<br />
<br />
Hier hilft es dem Server vorzugaukeln, es handele sich um eine herkömmliches ARM System. Dies geschieht über einen Eintrag in der cc_config.xml:<br />
<br />
<br />
<nowiki><options> <br />
<alt_platform>arm-unknown-linux-gnueabihf</alt_platform> <br />
</options></nowiki> <br />
<br />
<br />
Anschließend muss der BOINC Client durchgestartet werden.<br />
Unter Umständen wird man nun keine Arbeit für native 64bit Anwendungen bekommen, Stand Mai 2016 gibt es diese aber ohnehin noch nicht.<br />
<br />
Für Yoyo sollte auch das Paket 'libsfstdc++6' nachinstalliert werden.<br />
<br />
<br />
===Einstein@home einrichten bei nicht erkannter NEON Unterstützung===<br />
Auf Odroid C2, sicher auch anderen Computern kommt es vor das die NEON Erweiterung nicht erkannt wird.<br />
Dies führt dazu das vom BOINC Server eine unoptimierte Binary ausgeliefert, bei Einstein@home erzeugt diese zudem noch reihenweise Berechnungsfehler.<br />
<br />
Auch hier kann man sich mit dem anonymous plattform Mechanismus behelfen, folgende Zeilen sind als app_info.xml im Verzeichnis /var/lib/boinc-client/projects/einstein.phys.uwm.edu/ abzulegen:<br />
<br />
<br />
<app_info><br />
<app><br />
<name>einsteinbinary_BRP4</name><br />
</app><br />
<file_info><br />
<name>einsteinbinary_BRP4_1.47_arm-unknown-linux-gnueabihf__NEON_Beta</name><br />
<executable/><br />
</file_info><br />
<app_version><br />
<app_name>einsteinbinary_BRP4</app_name><br />
<version_num>147</version_num><br />
<file_ref><br />
<file_name>einsteinbinary_BRP4_1.47_arm-unknown-linux-gnueabihf__NEON_Beta</file_name><br />
<main_program/><br />
</file_ref><br />
</app_version><br />
</app_info><br />
<br />
Die Einsteinanwendung ist manuell zu laden, anschließend wird BOINC neu gestartet um die Konfigurationsdatei einzulesen. Die folgenden Kommandos sollten dazu als root ausgeführt werden:<br />
<br />
<br />
cd /var/lib/boinc-client/projects/einstein.phys.uwm.edu/<br />
<br />
wget http://einstein-dl3.phys.uwm.edu/download/einsteinbinary_BRP4_1.47_arm-unknown-linux-gnueabihf__NEON_Beta<br />
<br />
chmod 755 einsteinbinary_BRP4_1.47_arm-unknown-linux-gnueabihf__NEON_Beta<br />
<br />
chown boinc:boinc einsteinbinary_BRP4_1.47_arm-unknown-linux-gnueabihf__NEON_Beta<br />
<br />
service boinc-client restart<br />
<br />
<br />
BOINC sollte die app_info nun erkennen, dies lässt sich im BOINC Log leicht nachvolllziehen.<br />
Bereits für ältere Anwendungsversionen geladene Workunits gehen hierbei verloren, es sind neue anzufordern.<br />
<br />
<br />
<br />
==Anregungen für Unterartikel==<br />
Systemoptimierungen (abschaltbare Services, entfernbare Pakete)<br />
<br />
Verwaltung einer ARM Farm<br />
<br />
Hardwarethemen zu Kühlung, Stromversorgung, Gehäuse etc...</div>Koschihttps://dc.planet3dnow.de/wiki/index.php?title=BOINC@ARM&diff=6323BOINC@ARM2016-06-27T20:38:38Z<p>Koschi: /* Welche Projekte laufen auf Android/Linux@ARM */</p>
<hr />
<div>= BOINC auf der ARM Plattform =<br />
<br />
ARM Prozessoren finden sich heutzutage in immer größerer Zahl in immer mehr Einsatzbereichen wieder. Seien es Smartphones, set-top Boxen, NAS oder Single Board Computer wie der Raspberry Pi, ihre Zahl wächst ständig. Oft verfügen diese Geräte bereits über Multikernprozessoren und laufen dank geringem Energieverbrauch mehr oder weniger 24/7, damit eigentlich ideal für BOINC.<br />
<br />
<br />
Von Nischenbetriebssystemen abgesehen, teilt sich die ARM Welt grob in 2 Teile. Der Großteil der ARM Systeme kommt sicherlich mit Android vorinstalliert, schlanke Linuxbasierte ARM-Systeme sind jedoch ebenfalls breit verfügbar. Letztere lassen sich einfach für eigene (Selbstbau-)Projekte verwenden und sind daher bei Bastlern beliebt.<br />
Obwohl Android im Kern auf Linux basiert, kann es keine Linux@ARM Anwendungen ausführen, das gleiche gilt im Umkehrfall. Im Idealfall bietet ein Projekt also für beide Umgebungen eigene Anwendungen an.<br />
<br />
===Welche Projekte laufen auf Android/Linux@ARM===<br />
<br />
Folgende Übersicht basiert auf der offiziellen BOINC Projektübersicht erweitert um bekannte 3rd party apps.<br />
Soweit bekannt, darf hier eine grobe Einordung Projektintern (ARM vs. x86) sowie zwischen den Projekten vorgenommen werden. Bei Android wird primär zwischen non-PIE and PIE (Position Independend Executable - Vorraussetzung für Android => 5) Versionen unterschieden. non-PIE Versionen laufen unter Android 5 und 6 nicht mehr, brechen daher mit Berechnungsfehlern ab.<br />
<br />
<br />
{|<br />
| '''Projekt''' || '''Plattform''' || '''Anwendung''' || '''Effizienz/Ausschüttung''' || '''Kommentar'''<br />
|-<br />
| [http://asteroidsathome.net/boinc/apps.php Asteroids] || [[Bild:Android_robot.png]] || Period Search Application || Sehr schlecht! || PIE & non-PIE<br />
|-<br />
| [http://asteroidsathome.net/boinc/apps.php Asteroids] || [[Bild:Logo_Linux.gif]] || Period Search Application || Im Projektkontext schlecht, jedoch markant mehr als bei WCG || <br />
|-<br />
| [http://boinc.thesonntags.com/collatz/apps.php Collatz] || [[Bild:Android_robot.png]] || Micro Collatz Conjecture || || Apps für Android@ ARM, x86 und MIPS! <br />
|-<br />
| [http://boinc.thesonntags.com/collatz/apps.php Collatz] || [[Bild:Logo_Linux.gif]] || Micro Collatz Conjecture || || <br />
|-<br />
| [http://boinc.thesonntags.com/collatz/apps.php Collatz] || [[Bild:Android_robot.png]] || Collatz Sieve || Gut || PIE und non-PIE support, läuft damit auf Android 4 und 5<br />
|-<br />
| [http://csgrid.org/csg/apps.php CSGRID] || [[Bild:Android_robot.png]] || SubsetSUM || Sehr gut || Läuft nur bis Android 4.4 (non-PIE)<br />
|-<br />
| [http://csgrid.org/csg/apps.php CSGRID] || [[Bild:Logo_Linux.gif]] || SubsetSUM || Gut || 3rd party app, erfordert app_info.xml<br />
|-<br />
| [https://einstein.phys.uwm.edu/apps.php Einstein] || [[Bild:Android_robot.png]] || Binary Radio Pulsar Search (Arecibo) || Gering || PIE & non-PIE verfügbar, +vfp, +neon<br />
|-<br />
| [https://einstein.phys.uwm.edu/apps.php Einstein] || [[Bild:Logo_Linux.gif]] || Binary Radio Pulsar Search (Arecibo) || Leicht besser als Android || plain oder mit NEON Support<br />
|-<br />
| [http://www.enigmaathome.net/apps.php Enigma] || [[Bild:Android_robot.png]] ||Enigma 0.76b ||Sehr gut || Läuft nur bis Android 4.4 (non-PIE)<br />
|-<br />
| [http://www.enigmaathome.net/apps.php Enigma] || [[Bild:Logo_Linux.gif]] ||Enigma 0.76b ||Gut || <br />
|-<br />
| [http://findah.ucd.ie/apps.php FiND@Home] || [[Bild:Logo_Linux.gif]] || Autodock Vina || || <br />
|-<br />
| [http://goofyxgridathome.net/apps.php GoofyxGrid@Home] || [[Bild:Android_robot.png]] || Monkeys v1 - Random generator A || NCI - minimale Credits || <br />
|-<br />
| [http://goofyxgridathome.net/apps.php GoofyxGrid@Home] || [[Bild:Android_robot.png]] || Monkeys v2 - Word seeker A || NCI - minimale Credits || <br />
|-<br />
| [http://www.gpugrid.net/apps.php GPUgrid] || [[Bild:Android_robot.png]] || Android || || <br />
|-<br />
| [http://moowrap.net/apps.php Moo! Wrapper] || [[Bild:Android_robot.png]] ||Distributed.net Client || || ARMv7, PIE & non-PIE<br />
|-<br />
| [http://radioactiveathome.org/boinc/apps.php Radioactive@home] || [[Bild:Logo_Linux.gif]] || Radioactivity Monitor || NCI - ohne Credits || <br />
|-<br />
| [http://boinc.bakerlab.org/rosetta/apps.php Rosetta] || [[Bild:Android_robot.png]] || Rosetta Mini for Android || Mittelmaßig, über WCG Niveau || Läuft mit Berkely BOINC auf Android 4 & 5<br />Lässt sich nicht im NativeBOINC hinzufügen (Zertifikatsproblem) <br />
|-<br />
| [http://qcn.caltech.edu/sensor/apps.php Quake-Catcher Network] || [[Bild:Android_robot.png]] || QCN Sensor || NCI - ohne Credits || <br />
|-<br />
| [http://qcn.caltech.edu/sensor/apps.php Quake-Catcher Network] || [[Bild:Logo_Linux.gif]] || QCN Sensor || NCI - ohne Credits || <br />
|-<br />
| [http://setiathome.berkeley.edu/apps.php SETI@home] || [[Bild:Android_robot.png]] || SETI@home v8 || Gering || Zahlreiche PIE & nonPIE, ARMv6+v7, vfp&neon Versionen für Android@ARM <br /> PIE & nonPIE für Android x86 verfügbar <br />
|-<br />
| [http://setiathome.berkeley.edu/apps.php SETI@home] || [[Bild:Logo_Linux.gif]] || SETI@home v8 || Gering || Teils als Paket in Distributionen vorhanden, das aktuelle orginal lohnt i.d.R. aber mehr <br />
|-<br />
| [http://pogs.theskynet.org/pogs/apps.php Skynet POGS] || [[Bild:Android_robot.png]] || fitsedwrapper || Gute Ausbeute und Effizienz || PIE & non-PIE verfügbar <br />
|-<br />
| [http://pogs.theskynet.org/pogs/apps.php Skynet POGS] || [[Bild:Logo_Linux.gif]] || fitsedwrapper || Gut - Sehr gut || 3rd party app, erfordert app_info.xml<br />
|-<br />
| [http://universeathome.pl/universe/apps.php Universe] || [[Bild:Android_robot.png]] ||Universe X-ray sources || Lange Laufzeiten - Geringe Ausbeute, <br />lohnt gegenüber BHspin und ULX nicht || <br />
|-<br />
| [http://universeathome.pl/universe/apps.php Universe] || [[Bild:Logo_Linux.gif]] || BHspin || Hohe Ausbeute, gute Effizienz || <br />
|-<br />
| [http://universeathome.pl/universe/apps.php Universe] || [[Bild:Logo_Linux.gif]] || ULX || Noch besser als BHspin, <br />nur selten WUs verfügbar || <br />
|-<br />
| [http://www.worldcommunitygrid.org/help/viewTopic.do?shortName=minimumreq WCG] || [[Bild:Android_robot.png]] || Outsmart Ebola together || Ordentlich, über ZIKA || <br />
|-<br />
| [http://www.worldcommunitygrid.org/help/viewTopic.do?shortName=minimumreq WCG] || [[Bild:Android_robot.png]] || OpenZika || Mittelmäßig || <br />
|-<br />
| [http://bearnol.is-a-geek.com/wanless2/apps.php WEP-M+2 Project] || [[Bild:Logo_Linux.gif]] || Random-base WEP Factorization || Gut ||<br />
|-<br />
| [http://www.rechenkraft.net/yoyo/apps.php yoyo@home] || [[Bild:Android_robot.png]] || Cruncher ogr || || <br />
|-<br />
| [http://www.rechenkraft.net/yoyo/apps.php yoyo@home] || [[Bild:Logo_Linux.gif]] || Cruncher ogr || || 3 Versionen für Linux verfügbar, Unterschied unklar<br />
|}<br />
<br />
===Welche Projekte laufen am besten===<br />
<br />
Analog zur x86 Welt profitieren jene Projekte am meisten, die eine gute Linuxunterstützung haben.<br />
Universe@home und SubsetSum@Home (ein Citizen Science Grid Unterprojekt) laufen unter Linux signifikant schneller, eine schnelle ARM CPU kann es hier fast mit Windows basierten Hosts aufnehmen.<br />
Projekte wie WCG oder WuProp (die interne Medaillen vergeben), profitieren natürlich ebenfalls von vielen, wenn auch langsameren Kernen.<br />
<br />
==Welche Projekte unterstützen ARM==<br />
<br />
Erste Anlaufstelle kann die offizielle BOINC Projektübersicht sein. [https://boinc.berkeley.edu/projects.php]<br />
Projekte mit Androidunterstützung sind dort mit dem grünen Androidroboter, Anwendungen für Linux@ARM (Raspberry Pi, Odroid u.a.) mit einer Himbeere gekennzeichnet.<br />
<br />
<br />
Auch WUProp gibt Aufschluss welche Projekte auf ARM laufen, zudem weist es die Rechenzeiten auf verschiedenen Geräten aus.<br />
[http://wuprop.boinc-af.org/results/arm.py]<br />
<br />
<br />
Jenseits der offiziellen seitens des Projektes, gibt es auch im ARM Umfeld die Möglichkeit selbst kompilierte oder gar optimierte Anwendungen per app_info.xml zu verwenden.<br />
So hält (Stand Mai 2016) der Blog Burde View [http://burdeview.blogspot.de/p/raspberry-pi-boinc-project-ive-created.html] zB. Linux@ARM Anwendungen für die Projekte Subset SUM, theSkyNetPOGS & Milkyway@home bereit.<br />
<br />
<br />
==Welche Hardware ist empfehlenswert==<br />
<br />
Natürlich ist jede abgelieferte Arbeitseinheit wichtig, langfristig zählt für viele Cruncher aber auch die Effizienz bzw. wieviel Durchsatz pro eingesetztem € möglich ist.<br />
<br />
Neben den Anschaffungskosten für den Minicomputer, kommen hier i.d.R. noch eine hochwertige SD Karte, die Stromversorgung (1x 2A USB Port + Kabel), ein LAN-Kabel und auch ein Switch Port hinzu. Gehen wir einmal von zusammen 15€ für diese zusätzlichen Komponenten aus.<br />
Da diese Kosten pro Platine anfallen, relativieren sie den Preis von vermeintlichen "Schnäppchen" wie zB. dem Orange Pi PC.<br />
<br />
Letzterer wird zb. als Quad Core 1.6GHz verkauft, läuft aber nur mit 1.2GHz und großzügiger passiver Kühlung "BOINC-stabil". Der verbaute Allwinner H3 Prozessor basiert zudem auf relativ langsamen ARM Cortex A7 Kernen. Alles in allem bleibt eine Geschwindigkeit zwischen Raspberry Pi 2 und 3. Hochtaktende A53 Kerne (64bit ARMv8) oder gar die performanten Cortex A15 & A17 (32bit ARMv7) sowie Cortex A57 & A72 Kerne (64bit ARMv8) rechnen nicht selten um den Faktor 2 schneller. Um auf deren Produktionsrate zu kommen, müssten mindestens 2 Orange Pi PC (je 14€) eingesetzt werden. Dazu kommen je 2 mal Speicher, Energie und Netzwerk. Schnell sind 58€ zusammengekommen. Ein einzelner, jedoch ebenso schneller Odroid C2 mit 4 Cortex A53 Kernen (2GHz) würde mit ca. 63€ zu Buche schlagen, seinen Passivkühler bereits mitbringen und den halben Administrationsaufwand bedeuten. <br />
Ähnlich könnte man nun den Odroid C2 gegen den Odroid XU4 abwägen, letzterer nutzt einen 8-Kern Prozessor der auf 4 Cortex A15 2Ghz und 4 Cortex A7 Kerne zurückgreifen kann. Damit zeigt er ca. den 1.5x-2x Durchsatz bei knapp dem doppelten Preis, ohne bisher die Speicher und die Kabelei berücksichtigt zu haben. <br />
<br />
Wie auch in der x86-Welt gilt es zu vergleichen, um schließlich den besten Prozessor + Ecosystem zum angemessenen Preis zu finden.<br />
Zur groben Einordnung der per-Core-Performance bitte folgenden Artikel konsultieren: [http://www.cnx-software.com/2015/04/09/relative-performance-of-arm-cortex-a-32-bit-and-64-bit-cores/ Relative performance of ARM Cortex 32bit and 64bit cores]<br />
<br />
<br />
Grob lässt sich sagen dass Stand 2016 minimum Quad Core Cortex A9 (zB. Amlogic S812) oder A53 (Amlogic S905) empfehlenswert sind, besser noch Quad Core A17 (Rockchip RK3288), Octa Core A53 (Rockchip RK3368) oder BIG.little CPUs wie der Mediatek MT8693, die 2 sehr schnelle A72 und 4 gute A53 Kerne bieten.<br />
<br />
<br />
Folgend eine grobe Einschätzung aktuell verfügbarer Systeme (work in progress):<br />
<br />
<br />
'''Single board computer'''<br />
{|<br />
|Name||Prozessor||RAM||OS||Einschätzung<br />
|-<br />
| Orange Pi One<br /> Orange Pi Mini <br /> Orange Pi PC<br />Orange Pi 2<br />Orange Pi Plus ||Allwinner H3<br /> 4x1.6GHz A7 || 0.5-2 GB || Linux & Android 4.4 ||Eher schlechte Performance (zwischen RPi2 und 3), läuft nur mit 1.2GHz stabil. <br />Linuxkernel 3.4 zu alt für Collatz. <br />Kaum Herstellersupport. <br />Vertrieb nur über aliexpress.<br />
|-<br />
| Raspberry Pi 2||Broadcom BCM2836 <br />4x 0.9GHz A7 || 1 GB || Linux ||Eher schlechte Performance, neu kaufen lohnt angesichts des verfügbaren Pi3 nicht<br />
|-<br />
| Raspberry Pi 3||Broadcom BCM2837 <br /> 4x 1.2GHz A53 || 1 GB || Linux ||Mittlere Performance, ansonsten das ARM-Referenzsystem schlechthin. <br />
Alle Linux@ARM Projekte sollten problemlos laufen<br />
|-<br />
| Odroid XU4 || SAMSUNG Exynos 5422 <br />4x2.0 GHz A15 +<br />4x 1.4GHz A7 || 2 GB || Linux & Android 4.4 || Sehr gute Performance, derzeit schnellstes Board am Markt. <br />Benötigt Aktivkühlung.<br />
|-<br />
| Odroid U3 || Samsung Exynos 4412 <br /> 4x1.7 GHz A9 || 2 GB || Linux & Android 4.4 || Gute Performance, Aktivkühlung notwendig<br />
|-<br />
| Odroid C2 || Amlogic S905 <br /> 4x2.0 GHz A53 || 2 GB || Linux & Android 5.1 || Gute Performance, 64bit Plattform erfordert teils app_info.xml um Arbeit zu bekommen<br />
|-<br />
| Banana PI M1, M1+, M2, M2+, M3|| Allwinner CPU mit 2-8x A7 || 1-2 GB || Linux & Android || Eher lahm, M3 durch Octacore evtl. akzeptabel. Android buggy. Alter Linuxkernel 3.4.<br />
|-<br />
| Nvidia Jetson TK1 || Tegra K1 SOC <br />4x2.32 GHz A15 || 2 GB || Linux || Sehr gute Performance, leider teuer<br />192 SM3.2 CUDA cores noch ungenutzt<br />
|-<br />
| || || || || ||<br />
|}<br />
<br />
<br />
'''Android TV Boxen & Sticks'''<br />
{|<br />
|Name||Prozessor||RAM||OS||Einschätzung<br />
|-<br />
| Z68 TV Box || RK3368 8x1.5GHz A53 || 2 GB || Android 5.1 || 1.5GHz nur als Turbo bei geringer Gesamtlast. Vollast nur bei ~816MHz stabil. FAIL.<br />
|-<br />
| Q8 TV Box || RK3288 4x1.8GHz A17 || 2 GB || Android 4.4 || Sehr schnell, einfache Verwaltung durch NativeBOINC <br /> Passivkühler verwenden!<br />
|-<br />
| || || || ||<br />
|-<br />
| || || || ||<br />
|}<br />
<br />
<br />
Androidboards oder TV-Boxen basierend auf Intel Prozessoren sind derzeit nicht zu empfehlen, es gibt für diese keine BOINC-Anwendungen.<br />
<br />
== Performanceübersicht ==<br />
<br />
Die folgende Tabelle soll einmal die tatsächliche Performance der Platinen und Architekturen aufzeigen. Da zB. POGS WUs variabler Länge (jedoch mit festen Credit Ratio) hat, aber auch Prozessoren auf das BIG.little Konzept setzen, sehen wir davon ab tatsächliche Laufzeiten anzugeben, sondern verwenden den maximal möglichen Durchsatz per Core und Gesamtsystem in Credits als Referenz. Stand Juni 2016:<br />
{|<br />
| System || CPU || OS || SubsetSum<br /> C/d/Core || SubsetSum<br /> C/d || POGS<br /> C/d/Core || POGS<br /> C/d || PRJ C || PRJ C || PRJ D || PRJ D <br />
|-<br />
| Orange Pi (H3) (¹)|| 4x1.2 GHz A7 || [[Bild:Logo_Linux.gif]] || 280 || '''1120''' || 288 || '''1152''' || || || || <br />
|-<br />
| Raspberry Pi 3 (¹) || 4x1.2 GHz A53 || [[Bild:Logo_Linux.gif]] || 330 || '''1320''' || 420 || '''1680''' || || || || <br />
|-<br />
| Odroid C2 (²)|| 4x2.0 GHz A53 || [[Bild:Logo_Linux.gif]] || 431 || '''1724''' || 480 || '''1920''' || || || || <br />
|-<br />
| Odroid U3 (²)|| 4x1.7 GHz A9 || [[Bild:Logo_Linux.gif]] || 782 || '''3128''' || 620 || '''2480''' || || || || <br />
|-<br />
| Q8 Box (RK3288) (¹) || 4x1.78 Hz A17 || [[Bild:Android_robot.png]] || 941 || '''3764''' || 740 || '''2960''' || || || || <br />
|-<br />
| Odroid XU4 (²)|| 4x 2.0 GHz A15 +<br />4x 1.4GHz A7 || [[Bild:Logo_Linux.gif]]<br />[[Bild:Android_robot.png]] || 466<br /><br />962 || '''3728'''<br /><br />'''7696''' || 594 || '''4752''' || || || || <br />
|-<br />
| Nivida Jetson TK1 (¹) || 4x2.32 GHz A15|| [[Bild:Logo_Linux.gif]]<br />[[Bild:Android_robot.png]] || 885<br /><br />1880 || '''3540'''<br /><br />'''7520''' ||<br /> || <br /> || || || || <br />
|-<br />
| || || || || || || || || || || <br />
|-<br />
| || || || || || || || || || || <br />
|-<br />
| Intel Core 2 Q9550 || 4x2.83 GHz || [[Bild:Logo_Linux.gif]] || 1281 || '''5124''' || 2170 || '''8680''' || || || || <br />
|}<br />
<br />
Teils basieren die Daten auf einzelnen Hosts mit wenigen Resultaten, teils auf dutzenden Hosts mit tausenden von Resultaten. <br />
Die Auswertung erfolgte automatisiert.<br />
(¹) geringe Datenbasis<br />
(²) umfangreiche Datenbasis<br />
Die Performance nicht gelisteter Platinen lässt sich hieraus teilweise ableiten. Mit Raspberry Pi 3 und C2 als Basis, ist anzunehmen dass ein 8 Kern 1.5GHz A53 wohl ca. 3000 Punkte täglich bei SubsetSum bringen könnte. Tendenziell eher weniger als mehr, da verfügbare Speicherbandbreiten durch mehr Kerne geteilt werden müssen. Die Performance eines Dualcore A7 (zB. Banana Pi) wird hingegen bei ca. der Hälfte der Orange Pi Performance liegen.<br />
<br />
==Tipps und Tricks==<br />
<br />
===BOINC auf Android installieren===<br />
Stand Mai 2016 gibt es 2 BOINC Clients für die Android Plattform, beide können über den Google Play Store bezogen werden. Langfristig "empfehlenswert" ist derzeit der offizielle <br />
[https://play.google.com/store/apps/details?id=edu.berkeley.boinc BOINC Client aus Berkeley].<br />
Leider fehlen hier gegenüber dem großen BOINC Einstellungsmöglichkeiten und auch der RPC Zugriff zur Fernverwaltung. <br />
<br />
<br />
[https://play.google.com/store/apps/details?id=sk.boinc.nativeboinc NativeBOINC] - seit 2013 nicht mehr weiterentwickelt, läuft daher nicht auf aktuellen Android Versionen (> 5.0). <br />
Wer noch Geräte mit altem Softwarestand hat, kann sich auf umfangreichere Einstellungsmöglichkeiten und auch RPC Zugriff freuen.<br />
<br />
===32bit Anwendungen auf 64bit Linux OS verwenden===<br />
64bit Plattformen wie die Odroid C2 mit 64bit Ubuntu bekommen ohne weiteres von Projekten keine Arbeit zugewiesen. <br />
<br />
Im Log findet sich dann folgende Meldung:<br />
<br />
<br />
<nowiki>Message from server: This project doesn't support computers of type aarch64-unknown-linux-gnu</nowiki><br />
<br />
<br />
Hier hilft es dem Server vorzugaukeln, es handele sich um eine herkömmliches ARM System. Dies geschieht über einen Eintrag in der cc_config.xml:<br />
<br />
<br />
<nowiki><options> <br />
<alt_platform>arm-unknown-linux-gnueabihf</alt_platform> <br />
</options></nowiki> <br />
<br />
<br />
Anschließend muss der BOINC Client durchgestartet werden.<br />
Unter Umständen wird man nun keine Arbeit für native 64bit Anwendungen bekommen, Stand Mai 2016 gibt es diese aber ohnehin noch nicht.<br />
<br />
Für Yoyo sollte auch das Paket 'libsfstdc++6' nachinstalliert werden.<br />
<br />
<br />
===Einstein@home einrichten bei nicht erkannter NEON Unterstützung===<br />
Auf Odroid C2, sicher auch anderen Computern kommt es vor das die NEON Erweiterung nicht erkannt wird.<br />
Dies führt dazu das vom BOINC Server eine unoptimierte Binary ausgeliefert, bei Einstein@home erzeugt diese zudem noch reihenweise Berechnungsfehler.<br />
<br />
Auch hier kann man sich mit dem anonymous plattform Mechanismus behelfen, folgende Zeilen sind als app_info.xml im Verzeichnis /var/lib/boinc-client/projects/einstein.phys.uwm.edu/ abzulegen:<br />
<br />
<br />
<app_info><br />
<app><br />
<name>einsteinbinary_BRP4</name><br />
</app><br />
<file_info><br />
<name>einsteinbinary_BRP4_1.47_arm-unknown-linux-gnueabihf__NEON_Beta</name><br />
<executable/><br />
</file_info><br />
<app_version><br />
<app_name>einsteinbinary_BRP4</app_name><br />
<version_num>147</version_num><br />
<file_ref><br />
<file_name>einsteinbinary_BRP4_1.47_arm-unknown-linux-gnueabihf__NEON_Beta</file_name><br />
<main_program/><br />
</file_ref><br />
</app_version><br />
</app_info><br />
<br />
Die Einsteinanwendung ist manuell zu laden, anschließend wird BOINC neu gestartet um die Konfigurationsdatei einzulesen. Die folgenden Kommandos sollten dazu als root ausgeführt werden:<br />
<br />
<br />
cd /var/lib/boinc-client/projects/einstein.phys.uwm.edu/<br />
<br />
wget http://einstein-dl3.phys.uwm.edu/download/einsteinbinary_BRP4_1.47_arm-unknown-linux-gnueabihf__NEON_Beta<br />
<br />
chmod 755 einsteinbinary_BRP4_1.47_arm-unknown-linux-gnueabihf__NEON_Beta<br />
<br />
chown boinc:boinc einsteinbinary_BRP4_1.47_arm-unknown-linux-gnueabihf__NEON_Beta<br />
<br />
service boinc-client restart<br />
<br />
<br />
BOINC sollte die app_info nun erkennen, dies lässt sich im BOINC Log leicht nachvolllziehen.<br />
Bereits für ältere Anwendungsversionen geladene Workunits gehen hierbei verloren, es sind neue anzufordern.<br />
<br />
<br />
<br />
==Anregungen für Unterartikel==<br />
Systemoptimierungen (abschaltbare Services, entfernbare Pakete)<br />
<br />
Verwaltung einer ARM Farm<br />
<br />
Hardwarethemen zu Kühlung, Stromversorgung, Gehäuse etc...</div>Koschi