電脳遊戯の嵐

PC、ゲーム、自転車を中心にぼちぼち書いていきます。
保証対象外となる作業については自己責任で。

NAS系のOSで10GbEを使う

10GbEのNICが徐々に値下がりしてきていて使いやすい環境が整ってきてる。
NICで安いのは安い順にこの辺り。
LR-LINK LREC6860BT
ASUS XG-C100C
玄人志向 GbEX-PCIE
あとはAmazonでIntelのX540系が安いことがある。
品質までは保証できないけど。
OEM-TECHってところのX540-T2を17,800円で買ったけど、それは特に問題なく使えてる。

マザーボードでも10GbEを載せてるものが増えているのでそれも追い風。
仮想マシンのマザーボードをASRock X99 WS-E/10Gにして10GbEに対応させてたり。
LANはIntel信者なので、Aquantia系チップがオンボードのマザーは避けます(ぉ
でもNICは安いのでAquantiaのを買ってしまいます(自己矛盾

去年辺りにNICは買ったんだけど、スイッチングハブは高いので直結で使っていて、この度NTT-XストアでNETGEAR XS505M-100AJSが安売りしていたのを無事に購入。

直結の時はメインマシンにX540-T2を入れて、メインマシンとキャプチャマシン、メインマシンと仮想マシンのセットで直結していたけど、スイッチングハブを入れたことで、もう一台10GbEを入れる猶予が出来た。

ということでmicroserverのFreeNASのマシンにも10GbEを入れようかと!
カードは玄人志向 GbEX-PCIEにしたんだけど、ドライバーが入っていないので認識しない。

ドライバーのインストールが必要となるとFreeBSDだとドライバーがないので、LinuxベースのOSが良いなぁと。
そうすると、
OpenMediaVault(Debianベース)
Rockstor(CentOSベース)
Amahi(Fedoraベース)
辺りが引っかかってくる。

とりあえずOpenMediaVaultをインストールしてみたけど、ドライバーをインストールするのに必要なカーネルのソースが準備出来ないので挫折w
次にRockstorを試したらそもそもインストールが進まない。
何事かと思って調べたら、microserverでインストールできないって事象が1年半以上前から解決されていないっぽい/(^o^)\ナンテコッタイ
どうも3.8.15だとうまくインストールできるっぽいので、SourceForge.netから昔のバージョンを落としてきてインストールする(最新は3.9.1)
microserverのRemote Access Cardはイメージファイルをマウントできるけど、Rockstorはイメージをマウントしただけではインストールがちゃんとできなかった。
インストールするにはイメージファイルをrufusでUSBメモリーにDDモードで書き込む必要があったことを言及しておく。
あと、インストール自体が結構重いのね。
初回起動時に結構アップデートが走ってた。

そしたらまたカーネルのソースを準備できるのかという話が……
とりあえずkernel-develをyumでインストールするとバージョンが合わない。
が、そこはCentOSベースの強みで、インターネットに該当バージョンのrpmが置いてあったので、それをインストールして解決。
ドライバーもちゃんと入ったのでテスト。
Rockstor側はBTRFSで6TB*4のRAID5。
rockstor10g_s
これって遅くない?
1GbEで接続してテストする。
rockstor1g_s
え、速度があまり変わらないwww

何かパラメーターを弄ると速くなるので設定してみた。
rockstor10g_set_s
うむ、速くなった。
でもRAIDって停電でデータおかしくなるよね。

ってことでやっぱりZFSが使いたいという話でZFS on LinuxをRockstorに入れようとするもめんどくさくなった。
というかNICをIntelにしたらFreeNASでも使えるので、X540-T2に変更して終わり。
FreeNAS_microserver_10G_s
最初からこうしておけば良かったwww

ちなみに仮想マシンのFreeNASはこんな感じ。
FreeNAS_virtual_10G_s
読み込みはCPUの速度に依存かねぇ……

FreeNASで消えないファイルを削除する

FreeNASの共有フォルダに機種依存文字を含んだ名前のファイルをコピーしてしまうとアクセスできなくなることがあるんですよ。
毎回同じ現象になるという訳ではなさそうなんだけど、いざ起きてしまうと共有フォルダからでは何もできなくなるので、何とかする手順は残しておいた方が良いなと。

何とかするのはSSHでFreeNASにログインして、直接ファイルを弄ることなんだけど、ご覧のように普通にログインしても共有フォルダ名及び、ファイル名の全角は文字化けして何もできない。
freenas_01
ちなみに、FreeNASにSSHでログインしたり、共有フォルダがどこのディレクトリにあるかぐらいは自分で調べてくださいね(はぁと

文字化けを何とかするのは /root/.cshrc の最後に下記の2行を追加すれば良い。

setenv LC_CTYPE ja_JP.UTF-8
setenv LANG ja_JP.UTF-8

ファイル編集はviで。
使い方が独特なので操作方法はGoogle先生に聞いてください(丸投げ
編集するユーザーは当然rootで。
rootにどうやってなるか?Google先生に聞いてk(ry

追加後にrootでログインしなおせばこの通り。
freenas_02

そして無事に削除出来るようになった。
freenas_03

一歩間違えたら必要なファイルまで削除することになるので気をつけろよな。

ESXiの再導入について

マイニングを始めてからというもの、家のブレーカーを落とすのが恒例行事になってしまった。
そしたら遂にESXiをインストールしたUSBメモリーのデータがお亡くなりになった。
20180528_01
こうなったら修復はできないようなのでESXiを再インストールする。
とりあえずOSのイメージはファイル鯖に……ってファイル鯖がESXi上にあったんですが(ノ∀`)アチャー
ということでイメージのダウンロードから……

1. 無償版ESXiのイメージをダウンロードする。
2. データの壊れたUSBメモリーをDISKPARTを使ってまっさらにする。
3. インストール用のUSBメモリーにrufusを使って起動用イメージを展開する。
4. 2で作ったインストールメディアとインストール先になるUSBメモリーを挿してESXiをインストール。
  ※この時、インストールする先のディスクを間違えると大惨事になるので注意。
5. インストール後に各仮想マシンの設定ファイルからインベントリに追加する。
6. うちでは10GbE用のネットワークを構成する。
7. 構成したネットワークを使うように仮想マシンの設定を見直し(以前と同名で作れば必要ないけど)
8. あと自動起動とかを設定。

こんな感じ。
パススルーとか設定していたらめんどくさかったけど、今はやってないから助かった。

FUJITSU PRIMERGY TX1310 M1

年末に某所にて安売りしていたのでキャプチャマシン用に購入。
TX1310M1は詳細はこのような感じ(PDF)
microserverとの差はスロットに余裕があるのでキャプチャカードと10Gbイーサのカードが使える。
いざとなったらPT2が付くのもいいよね。
オンボードのMEGARAIDはRAID0とRAID1とRAID1+0のみ。

データドライブはRAID1にするのでオンボードのMEGARAIDはRAIDモードにする。
ただシステムドライブはSSDにするのでまずはSSD単体でアレイを作って、OSをインストール。
ドライバーはこれを使った。
その後でデータドライブ用のRAID1を作って認識させて終わり。

キャプチャカードにはPX-Q3PEを付けてWindows Home Sever2011をインストールして使う予定だったんだけど、デバイスを認識しても電波が受信できない……
OSのせいかと思ってWindows7にしても変わらず。
最後は現キャプチャマシンに付けてもみたけどNG。
お亡くなりかよ……
しょうがないのでPX-Q3PE4を買って付けて対応しようとしたんだけど、録画中に同時録画のために別のチューナーを起動するとドロップするので、結局PT2を使いまわすことに。
やっぱりPT3買っておけばよかったか……(´・ω:;.:...

結局OSはWindows7のまま……
度重なる検証でWHS2011をインストールし直す気力が尽きた。

PCI-Expressしかない場合はPCIの端子を反対にして装着するんだけど、PCI-Expressの間にあるコンデンサーの背が高いと邪魔なのよ。
02

分かりづらいけど、こんな感じにコンデンサーと干渉するのね。
03
おそらく5mmぐらい重なってる。

なのでPCIスロットに固定する時にスペーサーを付ければ、良いのではないかと予想。
04
という訳で安易にワッシャーを挟むことにした。
M3ネジ用で外径8mmのワッシャー。

スペーサーを挟むわけだからネジはいつもより長めのを使う。
09
なお、大抵のケースはインチネジだけど、TX1310M1はミリネジ。
そういえばアルミのケースはミリネジだったか。

これで物理的に付くことになった訳だが、今度はケースのケーブル配線止めが邪魔。
05
これじゃPCIのライザーカードが挿せない……

なので外した。
06
90度回転させてラジオペンチで掴めるようにしてから引っこ抜く感じで。
樹脂なのでめんどくさかったらニッパー辺りで破壊して取るのもアリかと。

外せたらめでたく装着完了。
07

TX1310 M1はツールレスなんだけど、何それ?状態。
08
まぁ、気にするな。

空いてるスロットにGbEX-PCIEを装着して完成。
10

EDCBは旧キャプチャマシンのファイルをフォルダごとコピーしてきて、キャプチャカードを再認識されて完了。
PT2ならドロップ無し。
中古で予備を確保しておこうかなぁ……

データが飛んだ(; ・`д・´)

2011年から録り溜めた(放置してた)データを格納した10TBのRAIDのHDDが1台壊れてた。
気がついたのは共有フォルダーにアクセスできなかったから。
どうやらディスクの1本が認識されなくなった時にファイルシステムが巻き込まれて死亡した模様。
再起動してチェックディスクしたらとりあえず復旧したので、NASを動かしてバックアップ取ったけど、
とりあえずファイルをエンコードしようとした時にファイルがお亡くなりになったことが発覚。

映像が乱れてる。
20170920_01
音声も途切れ途切れになってるし。

こんなのアカンわ。
20170920_02
もはやどんなシーンか分からない。

確認したファイルがみんなこんな感じになってた。
辛うじて今年録画した分は生き残ってたけど、去年以前のは多分アウト……

RAIDのサイレントクラッシュってやつだったのかなぁ。
RAIDも絶対という訳じゃないということを身を以て証明してしまった。
ぽまいらはちゃんとバックアップ取れよな(´・ω・`)ショボーン

全部ZFSに統一するか……
とりあえずTOSHIBAのHDDを全部投げ捨てて4TBを買い直してFREENASの領域を増設するか。
ZFSにするならESXiに対応したHBAも買うか。
そういやAdaptecが安売りしていたな……

仮想サーバー組立編2〜VMware vSphere Hypervisor(ESXi)インストール

折角組んだのにマザーを交換して再構成することにしたオレが来ましたよ。

マザーボード:Asrock X99 WS-E/10G
ビデオカード:FNY Quadro FX1700
ビデオカード:ASUS TURBO-GTX1060-6G
ディスク:4T*5(RAIDZ)+3T*7(RAID6)+2T*3
RAIDカード:ACCUSYS eXpeRAID ACS-61100-12
ケース:CoolerMaster CM Stacker STC-T01UW

マザーにGbE LANが2ポート、10GbE LANが2ポートあるので、これで遂に10GbEデビュー!

が、キャプチャカードは使えなかったので仮想化から除外することに。
PT3確保しておけばよかった……
後悔先に立たず。

X99-M WS/SEでESXi6.5入れてたからそのままパーツを移植して(PT2以外)起動したら動くではありませんか。
喜び勇んで設定をするけど、何か変。
パススルーの設定が反映されない……
ということでESXiの入れ直し。

ESXi6.5のWeb ClientだとGeforceのパススルー設定がグレーアウトしてて出来ない。
サポート終了になったC#クライアントを使わないといけないらしいが、そうすると公式に出来るバージョンは6.0までらしいので、ESXi6.0をインストールする。

ESXiをインストールする時に注意が必要なのはLANがIntelであること。
他のでも出来なくないみたいだけど、少々手の込んだ事をしないといけないみたい。
ダイアログに沿って設定したら問題なく立ち上がるところまではすんなり終わる。

ESXi6.5で使っていたFREENASの仮想マシンはvmxファイルのvirtualHW.versionが13になっているので、そこを11にしたら起動した(雑
特にESXi6.5でないといけない機能を使っていたわけじゃないし大丈夫だよね。と自分に言い聞かせつつ動かしてる。
今のところ特に不具合は出てない。

仮想サーバー組立編

Ryzenを買ってCore i7 6800K一式が浮いてしまったので、普通に使う分には有り余るメモリーとCPUパワーを生かしてやろうって魂胆。

という訳で家にあるパーツをかき集めてくる。
ビデオカードは映るだけでいいんだけど、Matrox G450が中古で買ったのまだあるよ!
……AGPだから余裕で使えないね。
PCI-Expressで1スロットで転がってるものとなるとRadeon HD 3870?
……要給電やん。消費電力大きくない?大丈夫?

という訳で何故かQuadro FX1700を2000円で買ってきた。
Quadroだぜ!OpenGLに特化してるぜ!(関係ないけど

マザーボード:X99-M WS/SE
ビデオカード:Quadro FX1700
ディスク:家にあるヤツ
RAIDカード:Areca ARC-1680i
キャプチャーカード:EarthSoft PT2*2

久々にARC-1680iが使うで!
 →ARC-1680iのファームウェアが起動しない。

エッ(゚Д゚≡゚Д゚)マジ?

試しにキャプチャーマシンに使っていたZ68MA-ED55に挿して動かしてみると起動する。

これは!
もしかしてUEFIに対応していないという話だろうか。

しょうがないからZ68MA-ED55を使うことにするか……
Sandy Bridgeに逆戻りだけど……
メモリーが12GBじゃ心もとないので、NASに装着した16GBを召し上げることにする。
NASのメモリーを16GB→8GBに交換。

交換後にNASを起動したらネットワークから参照できなくなる。

エッ(゚Д゚≡゚Д゚)マジ?

NASの液晶パネルを見る限り特に問題は起きてなさそう。
L2スイッチを確認したらポートはLink UpしてるけどリンクアグリゲーションがLink Downのまま。
NASを再起動を2〜3回してみたけど状況は変わらず。
試しにLANケーブルを交換したら繋がった。

何という単純なミス……

外す前までは問題のなかったケーブルが、配線のやり直しで変になった模様。
もうこのケーブルは捨ててCat6aのケーブルを補充しておくか……

ようやくZ68MA-ED55で組み替えて起動したらこちらでファームウェアが起動しない。

工工工エエエエエエェェェェェェ(゚Д゚)ェェェェェェエエエエエエ工工工

さっき動いていたやん。挙動変わりすぎじゃね?
Sandy Bridgeに戻した意味ないやん。
しかし動かないものはしょうがないので転がってたACS-61100-12を付けたら問題なく起動。

ACS-61100-12は出来る子。

VMware vSphere Hypervisorをインストールしたらハードウェア上は認識してるのでARC-1680iはお払い箱か?
CoreDuo T2400のマシンで動かしたら大丈夫かなw

というのが先週末やっていた話。

しかしACS-61100-12ってUEFIに対応してるならX99-M WS/SEでも起動するんじゃね?と思ったけどどうしたか記憶がないので、週明けに試したら普通に動いた。
ARC-1680iにこだわり過ぎたか……

という訳でめでたくCore i7 6800Kの有効利用先が決定。
1年ぶりにStacker復活……予定。
vsphere1
vsphere2
HDDが16台載るなんて胸熱だな。

NASのバックアップを取りましょう

半年ほど前にファイル鯖をEonNASにしたのだけど、大量のデータをバックアップできてない。
15TBのデータを取るにはどうするべきか。
・やっぱバックアップと言えばテープドライブでしょ!
 →ドライブが40万なので却下

・安易にHDDをUSBで繋げちゃおうぜ!
 →USBはあんまり信用できないしケース&HDDで良い値段するから却下

・バックアップ用のNASを買っちゃいますか!
 →最低でも5台積めるのにすると本体のみ7万。HDDが4TB*5で6万。
  ちょっと高いンゴねぇ。

・他にいい方法ないの?
 →もう一台のmicroserverにFREENASを突っ込んでiSCSIで使っているのを再利用するか……
  HDDを4TB*5にすれば当面の目標は達成できるし。

という訳でiSCSIで使っていたFREENASのHDDを入れ替えて、4TB*5でRAIDZを構築……
しようとしたらmicroserverに付けていたリムーブバルベイをメインマシンに移植していたのを忘れていた。
あわててamazonで注文したら翌日に到着。
便利な世の中だ。

FREENASは導入済みなので、ボリュームをRAIDZで作ってフォルダごとにデータセットを作成する。
データセットは一つで良いだろうと思ったらそんなことなかったw
あと、データセットのアクセス権の設定をちゃんとやらないと共有フォルダの編集権限がないってファイルを書き込めないので注意。
この辺はLinuxとかUNIXを弄っていないとイメージが掴みにくいかも。

FREENASにファイルを保管する準備ができたら、EonNASからメインPCでファイルをコピー
メインPCはリンクアグリゲーションしているからか横流しでも700〜800Mbpsでコピーしてた。
上出来すな。
でも3日かかったw

しかしデータをNAS同士で同期させるのにrsyncを設定して思ったんだが、最初からrsyncでコピーすりゃよかったじゃん。

FREENAS側でrysncのデーモンを動かして、EonNAS側でrsyncを実行する設定。
手動で実行したらエラーになったけど、ファイルコピー自体は成功している模様。
スケジューリングで実行したら特にエラー表示もなく終わってるけど、FREENASのログを見たらエラーになってた……

手動の時の挙動を察するにコピーはうまくいっているはずなので、エラー原因はあとで調べてみることにしよう。

ファイル鯖からNASにするよ

ずっとファイルの管理をファイル鯖でやってきたけど、高性能なNASも最近出てきてるし、そろそろそちらに役目を任せてもいいかなと思い始めたのが最近の話。

理由は3つ。
1つ目はWindows Home Server 2011を入れたマシンのCドライブが謎の肥大を続けていて、もう再インストールじゃないと問題が解決しなさそうな状態。
2つ目はRAIDのアレイをファイルの置き場と録画用とで分けて組んでるんだけど、アレイ同士でファイルコピーすると異様に遅い。昔からなので多分RAIDカードのせいw
3つ目はファイル鯖を作ったのが2011年9月なので、そろそろ変えたいという感じ。
(これは録画鯖を変えた理由でもあるw)

まぁ、NASにするにしても機種をどうするのかという話があるのよね。
機種は定番なところでQNAP辺りを考えたけど、6ベイ以上にしたいのでそうすると高い。
12万ぐらいから……
NETGEARのが6ベイのでリーズナブルなのがあるけど、不安しかない。
更に調べてたらInfortrendってメーカーのEonNAS Pro 850という8ベイのものが、割と安価に売ってるのを発見。
良く分からないメーカーだけど、IAサーバーでOpen SolarisベースでZFS使ってるんだったらそんなにダメなこともないだろうって色々調べてたら7万でAmazonで買えるので購入。
ZFSならHDDの容量を合わせる必要ないから、容量単価が安くなったら順番に拡張していくことができるのが良いよね。

HDDが8基入るだけあってミニタワーぐらいのデカさ。
20160608_01
写真を撮り忘れたけど、ケースを開けたらmini-ITXのマザーが鎮座してた。
CPUクーラーはリテールっぽかったな。
おそらくドーターカードが特殊でそこにOSが組み込んであるんだと思う。
色んなところが青く光ってて綺麗だった。
ケースで見えないのが残念w
メモリはDDR3なのでメインマシンについてた16GBを移植。
ZFSはメモリが多いに越したことないし。

なんでそんなことしたのかは次のエントリーで説明します。

キャプチャマシンにテンポラリ領域ができたので、ファイル鯖からデータを一度そちらに移してから、ファイル鯖のディスクをNASに突っ込んで再度コピーした結果。
20160608_02
3TB*6でRAID6してたから10.9TBだったけど、ZFSだしRAID5にしたら12.77TBに増加。
とはいえ、それでも7割埋まってしまった。
なんか増加量が妙なのは気にしないw

--- 追記 ---
止めるタイミングがあったので写真撮った。
20160608_04
普通のPCにしか見えない。
流石に綺麗に配線をまとめてるよね。

CPU周り
20160608_03
CPUはCore i3-2120なのでソケットはLGA1155か。
壊れたら2500Tでもつけるか?
マザーは壊れたらmini-ITXのマザーを買い直したら良さそうw
いや、カスタムされてるかな。
チップセットとLANチップが分からないなー
チップセットはヒートシンクを剥がしたら分かるか。
マザーが壊れたらOS入れ替えでOpen Solarisでも入れてZFSを引き継げば良いかね〜
モノはしっかりしてそうなので気にしなくても大丈夫か。

電源はDELTAの430W
20160608_05
電源はどうにでもなりそう。

PCI-Expressに挿さってるドーターカード。
20160608_06
これに青色LED付いてて起動するときに光って綺麗w
850-1だとここにLANポートが4つ付くはず。

HP microserverを再利用するよ

家にmicroserver N36Lが2台転がってるんだよね。
PX-Q3PEとARC-1680iを載せてキャプチャマシンにしようとして早2年ぐらい経った気がする。
Windows Server 2008だとキャプチャカードを認識しないので、Windows7で使わないといけなくて放っておいたんだったかな。
最初はキャプチャマシンをCore i7 2600Kのマシンにしようと思ったんだけど、消費電力が多すぎでやめたw

そんな訳で部品を組み込んでOSを突っ込むところから始めた。
作業自体は難しいことはなくて、普通にカードを挿してOSをインストールするだけ。
が、OSを入れる前にRAIDのアレイを組もうとしたら、ARC-1680iが死ぬ。
マジかよ!?と思って色々調べたらARC-1680iのCPUの電圧が低下してるのが原因っぽい。
PX-Q3PEを抜いたら大丈夫になる。
突っ込んでたmicroserverはずっと運用していたヤツなので電源がヘタってるのかと思って電源を買い換える。
Enhance製のFLEX 350 ENP7135B-24YGFにした。
350Wなら大丈夫だろうって目論み。
何とかアレイを組んでディスクフォーマットまでできた。

Windowsを入れてPX-Q3PEのドライバを入れてTVtestで稼働確認OK。
録画ソフトは今回EDCBを使うことにしたのだけど、TVRockより設定がやりやすい。
詳しいこと先人達の知恵を借りることにする。
スクランブル解除で少し手古摺ったけど、 FakeWinSCardを導入して解決。
TVTest_0.8.2で動作確認しようとしてたら、FakeWinSCardを認識しないでやんのw
確認はTVTest_0.7.23が良いです。

思ったより簡単に導入できてウハウハと運用を始めたら、ディスクが行方不明になる。
これはARC-1680iが死ぬやつやんけ……
原因は電源じゃなかった悪寒(´・ω・`)
ARC-1680i終了のお知らせ。

しょうがないから家に転がってたMEGARAID 8208ELPにRAIDカードを交換。
起動シークエンスでRAID BIOSに入れないけど、Windowsからアレイを作ればいいよね。
んで、ドライバとMegaRAID Storage Managerをインストールして弄り始めたら、ST32000542ASは認識するけど、 ST2000DL003はちゃんと認識せず……
アレイ組めないやんけ!
はい、MEGARAID 8208ELP詰んだ。

また家を見回したら以前メインマシンで使っていたRocketRAID2720を発見。
ロープロファイルブラケットが見つからないから、そのまま突っ込むしかないよね(爆
設定したら今度は大丈夫だった。
が、ここまででディスクが1つお亡くなりになった。
7台でRAID5だから12TBになる感じ。
PC表示だと10.9TBだけど。
プロフィール
アクセスカウンター
  • 今日:
  • 昨日:
  • 累計:

最新コメント
  • ライブドアブログ