ALTER TABLE `<TABLE>` ADD INDEX `<INDEXNAME>` USING BTREE ( `<COLUMN>` )
Kategorie: Allgemein
PXE Downloader Script für Xbuntu
Script that automatically downloads and prepares ubuntu images (and variants) for pxe boot
#!/bin/bash NFS_HOST="192.168.101.9" NFS_BASE_PATH="/netboot/tftp" FLAVOUR_MIRROR="http://www.mirrorservice.org/sites/cdimage.ubuntu.com/cdimage" #original ubuntu does not exist on that mirror for amd64 arch UBUNTU_MIRROR="http://releases.ubuntu.com" ARCH="amd64" AVAILABLE_FLAVOURS=['ubuntu','kubuntu','xubuntu','lubuntu','ubuntustudio','edubuntu'] set -e # exit on error if [ "$1" == "" ] || [ "$2" == "" ] || [ "$3" == "" ] || ! echo ${AVAILABLE_FLAVOURS[@]} | grep -q -w "$1"; then echo "Arguments: FLAVOUR CODENAME VERSIONNUMBER" echo "e.g.: xubuntu xenial 16.04.2" exit 1 fi flavour=$1 codename=$2 version=$3 variant="desktop" if [ -e "${flavour}_live/${codename}-${variant}-${version}/" ]; then echo "Already exists" exit 1 fi if [ "$1" == "ubuntu" ]; then IMAGE_MIRROR=$UBUNTU_MIRROR/${codename} else IMAGE_MIRROR=$FLAVOUR_MIRROR/${flavour}/releases/${codename}/release fi wget -O /tmp/image.iso ${IMAGE_MIRROR}/${flavour}-${version}-${variant}-${ARCH}.iso mkdir -p ${flavour}_live/${codename}-${variant}-${version}/ 7z x -o${flavour}_live/${codename}-${variant}-${version}/ /tmp/image.iso chmod -R +rx ${flavour}_live/${codename}-${variant}-${version}/ rm /tmp/image.iso echo "${NFS_BASE_PATH}/${flavour}_live/${codename}-${variant}-${version} 192.168.0.0/255.255.0.0(ro,async,subtree_check,no_root_squash)" >> /etc/exports /etc/init.d/nfs-kernel-server restart if ! [ -e "pxelinux.cfg/${flavour}_live" ]; then echo " LABEL ${flavour} MENU LABEL ${flavour} ^Live KERNEL vesamenu.c32 APPEND pxelinux.cfg/${flavour}_live " >> pxelinux.cfg/default echo " DEFAULT vesamenu.c32 ALLOWOPTIONS 0 PROMPT 0 TIMEOUT 0 MENU TITLE PXE Boot Menu - ${flavour} LABEL back MENU LABEL <- KERNEL vesamenu.c32 APPEND pxelinux.cfg/default " >> pxelinux.cfg/${flavour}_live fi echo "" >> pxelinux.cfg/${flavour}_live echo "LABEL ub${codename} ${version}" >> pxelinux.cfg/${flavour}_live echo "MENU LABEL ${flavour} ${codename} ${version} (${variant})" >> pxelinux.cfg/${flavour}_live echo "KERNEL ${flavour}_live/${codename}-${variant}-${version}/casper/vmlinuz.efi" >> pxelinux.cfg/${flavour}_live echo "APPEND root=/dev/nfs boot=casper netboot=nfs nfsroot=${NFS_HOST}:${NFS_BASE_PATH}/${flavour}_live/${codename}-${variant}-${version} initrd=${flavour}_live/${codename}-${variant}-${version}/casper/initrd.lz nomodeset -- locale=de_DE console-setup/layoutcode=de" >> pxelinux.cfg/${flavour}_live
Emails für bestimmte Empfängerdomains über Smarthost senden
Ich hatte kürzlich einen Fall, bei dem die Emaildienste eines großen Betriebssystemherstellers alle Mails von einer Seite abgelehnt haben, die einige Zeit vorher von einem auf einen anderen Server umgezogen ist.
Da „nur“ die IP des neuen Servers in der Blockierliste eingetragen war, war es weiterhin möglich, Mails vom alten Server zu senden. Da es nun etwas dringend war, dass die Emails wieder an die Kunden des Mailproviders gehen und eine Löschung von der Blockierliste zu lange dauert, hab ich mich dazu entschieden, die Mails erst einmal über den alten Server zu senden. Dieser agiert somit als sog. Smarthost.
Damit aber die IP-Reputation für andere Mailprovider nicht sinkt, sollten nur die Mails über den Smarthost gesendet werden, die tatsächlich an die betroffenen Domains gehen.
Um exim entsprechend zu konfigurieren, habe ich folgende Konfigurationsdatei angelegt (Wichtig: Split-Files-Mode aktivieren)
/etc/exim4/conf.d/router/049_exim4_config_specific_mail_via_smarthost
mit diesem Inhalt:
static_route:
driver = manualroute
transport = remote_smtp
route_data = ${lookup{$domain}partial-lsearch{/etc/exim4/specific_relays}}
Dazu dann eine Datei, in der den Domains ein Smarthost zugewiesen wird:
/etc/exim4/specific_relays
Inhalt:
xyz.com: smarthost.example.com
xyz.de: smarthost.example.com
Zu guter Letzt noch auf dem Smarthost die Annahme vom Absendeserver erlauben. Das lässt sich bei Debian-basierten Distributionen einfach über einen der Dialoge der Konfiguration erledigen (Dialog Relay-Host):
dpkg-reconfigure exim4-config
Dann auf beiden Systemen den Exim-Dienst neu laden:
service exim4 reload
Idee:
https://forums.cpanel.net/threads/forward-certain-domain-emails-to-smart-host.136325/#post-899191
Trashmail-Anbieter ausschließen
Zugegeben, wenn man mal kurz eine Mailadresse braucht und nicht seine eigene hergeben möchte sind temporäre Emailadressen höchst praktisch. Zum Problem werden sie aber wenn man selbst einen seriösen Dienst betreibt und bestimmte Personen diese Adressen immer wieder verwenden um ihr Unwesen zu treiben. Hier ist es meist hilfreich die entsprechenden User auszuschließen oder besser, unter besondere Beobachtung zu stellen.
Ich habe zu diesem Zweck eine ganze Reihe von Anbietern zusammengesucht und auch direkt ein passendes PHP-Script gestrickt. Vielleicht kann es ja mal wer brauchen:
function in_array_endswith($haystack, $needle){ return array_reduce($haystack, function($carry, $item) use ($needle){ if($carry == null){ $carry = false; } return $carry || ($item === "" || (($temp = strlen($needle) - strlen($item)) >= 0 && strpos($needle, $item, $temp) !== FALSE) ); }); } function is_trashmail($mail){ $tms = file("trashmails.txt", FILE_SKIP_EMPTY_LINES | FILE_IGNORE_NEW_LINES); return in_array_endswith($tms, strtolower($mail)); }
trashmails.txt:
@0815.ru @10minutemail.com @12minutemail.com @1pad.de @3d-painting.com @anonmails.de @anonymbox.com @antichef.net @BeefMilk.com @bio-muesli.info @bio-muesli.net @byom.de @cust.in @deadaddress.com @despammed.com @DingBone.com @discardmail.com @discardmail.de @dispostable.com @dontsendmespam.de @edv.to @emailgo.de @emailias.com @emailtemporanea.net @ero-tube.org @film-blog.biz @filzmail.com @FudgeRub.com @geschent.biz @getmails.eu @great-host.in @guerillamail.org @guerrillamail.biz @guerrillamailblock.com @guerrillamail.com @guerrillamail.de @guerrillamail.net @imails.info @jetable.com @jetable.org @junk.to @kulturbetrieb.info @kurzepost.de @LookUgly.com @mail4trash.com @mailexpire.com @mailinator.com @mailnull.com @mailtome.de @mintemail.com @mytrashmail.com @nervmich.net @nervtmich.net @nomail2me.com @no-spam.ws @nowmymail.com @nurfuerspam.de @objectmail.com @owlpic.com @proxymail.eu @rcpt.at @recode.me @s0ny.net @safetypost.de @sandelf.de @schafmail.de @secretemail.de @sharklasers.com @sinnlos-mail.de @SmellFear.com @sneakemail.com @snkmail.com @sofort-mail.de @spam4.me @spamavert.com @spambog.com @spambog.de @spambog.ru @spambox.us @spamex.com @spamfree24.org @spamgourmet.com @spam.la @spaml.de @spammedic.com @spammotel.com @spamtrail.com @spoofmail.de @squizzy.de @super-auswahl.de @teewars.org @tempemail.net @tempinbox.com @temporarily.de @trash2009.com @trash4.me @trashemail.de @trashmail.at @trash-mail.at @trash-mail.com @trashmail.de @trashmail.me @trashmail.net @trashmail.ws @wasteland.rfc822.org @watchfull.net @watch-harry-potter.com @wegwerfadresse.de @wegwerfemail.de @wegwerf-email.net @wegwerf-emails.de @wegwerfmail.de @wegwerfmail.net @wegwerfmail.org @wh4f.org @willhackforfood.biz @x.ip6.li @yopmail.com @zehnminutenmail.de
IPv6 – Der aktuelle Stand
Da ich von Berufs wegen viel mit Netzwerken zu tun habe, verfolge schon seit einiger Zeit den aktuellen Stand bezüglich des neuen IP Standards IPv6. Ich hatte einige meiner Webseiten bereits darauf umgestellt, sodass diese das Protokoll neben IPv4 unterstützen. Der Haken an der Sache war bislang, dass ich das Ganze immer nur in beschränktem Maße testen konnte, da ich ausschließlich eine IPv4 Adresse von meinem Provider zugeteilt bekomme. So kam es dann dazu, dass ich meinen Router endlich auf den aktuellen Stand brachte und meinen SixXS-Tunnel konnektierte. Da das Ganze funktioniert wunderbar.
Nun wollte ich es aber wissen: Welche Internetseiten sind denn eigentlich bereits über IPv6 erreichbar? Wieviel Prozent der Internetdiensteanbieter sind IPv6 fähig?
Ich erinnerte mich daran, dass ich vor einiger Zeit schon einmal einen Webcrawler mit crawler4j programmiert habe. So war dieses Framework auch diesmal meine erste Wahl um „mal eben schnell“ einen IPv6-Tauglichkeits-Scanner zu bauen.
Ich habe mich dazu entschieden, dass der Crawler so vorgehen soll, dass er für jede Domain, die er besucht, maximal 15 Unterseiten abruft. So werden die Server nicht unnötig belastet – der Inhalt der Unterseiten interessiert mich ja eh nicht. Die auf den Unterseiten enthaltenen Links werden jeweils benutzt, um weitere Seiten zu finden. Für jede Domain wird dann schließlich noch ermittelt und protokolliert, ob ein AAAA-Eintrag im DNS vorliegt oder nicht.
Ich habe das Ganze dann mal für einige Zeit laufen gelassen und hier sind meine Ergebnisse (Stand 23. Januar 2015):
Untersuchte Domains | Erreichbar per IPv6 | Nicht Erreichbar per IPv6 | Besuchte Unterseiten |
49300 | 2219 | 47081 | 203734 |
Das ergibt einen Anteil von 4,50%.
Ziemlich wenig wie ich finde. Das Ganze ist natürlich kein Beinbruch, da auch alle IPv6 Anschlüsse mindestens über ein IPv4 Carrier-Grade-NAT angebunden sind. Ich hätte aber bei meinem Test deutlich mehr erwartet. Überrascht hat mich auch, das einige sehr große IT-Firmen und Institutionen (Apple, Adobe, Amazon, w3.org) noch kein IPv6 unterstüzen.
Thumbnails mit mogrify erstellen ohne die Köpfe abzuschneiden
Ich hatte kürzlich wieder das Problem, dass ich Thumbnails für eine Bildergalerie erzeugen wollte. Ich finde dabei quadratische Thumbnails am besten, da dann die Übersicht über das Album am gleichmäßigsten aussieht. Blöd ist dabei nur, dass man entweder einen Rahmen um die Bilder hat oder die Bilder beschnitten werden. Ich ziehe hier aber letztere Variante vor, da die Details dann besser zu sehen sind. Ich setzte dann meist ein Lightbox-Plugin ein, dann sieht man die ausgeblendeten Teile ja im Vollbild wenn man drauf klickt.
Um die Thumbnails zu generieren hat sich für mich folgende Methode als sinnvoll erwiesen:
Bei Landscape-Fotos wird einfach ein Quadrat mit der Seitenlänge gleich der Höhe des Fotos verwendet. Rechts und Links wird zu gleichen Teilen abgeschnitten.
So weit so gut. Wendet man nun das selbe Verfahren bei Portraitfotos an und schneidet oben und unten zu gleichen Teilen ab, hat man oft das Problem, dass die Köpfe oben abgeschnitten werden.
Deshalb verwende ich normalerweise immer den oberen Teil des Bildes. Dies hat zwar den Nachteil, dass Bilder, bei denen die Gesichter tatsächlich im unteren Bereich sind, gar nicht mehr zu sehen sind, zumindest bei meinen Fotos war dies aber nur bei einem verschwindend geringen Teil der Bilder der Fall. Sehr viel öfter hatte ich oben angeschnittene Köpfe.
Um dieses Verfahren nun schnell auf eine große Menge von Bildern anzuwenden, verwende mogrify mit folgendem Aufruf:
mogrify -auto-orient -thumbnail 145x145^ -gravity North -extent 145x145 *.jpg
Achtung: mogrify überschreibt die Originaldateien! Deshalb am besten vorher in ein separates Thumbnail-Verzeichnis kopieren. Alternativ kann man die gleichen Parameter auch mit convert verwenden, dann muss man aber sowohl Ein- als auch Ausgabedatei angeben.
Da ich das Ganze auch öfter mal in PHP-Code verbaue, habe ich mir eine kleine Klassenbibliothek geschrieben, die neben normalen Vergrößerungs-Operationen auch das Cropping mit Fokus auf den oberen Teil unterstützt:
Weiter verbessern ließe sich das Ganze höchstens noch, wenn man eine Gesichtserkennung nutzt. Dann kann man gezielt den Bildausschnitt verwenden, auf denen die (meisten) Köpfe zu sehen sind.