Construire votre propre supercalculateur (2 / 3 étapes)

Étape 2: Quelle tâche elle accélérer ?

je courais à ma version du programme de classification optimale décrite ici sur un seul PC. Le programme s’est exécuté dans une limite lorsque j’ai essayé d’optimiser une base de données avec 265 éléments, 39 Etats et 42 caractéristiques ou une taille de groupe de 6.67903155 × 10 ^ 66. La taille de la cible était un énorme 3,5 milliards après avoir atteint seulement 6 caractéristiques et atteindre la séparation de 99,97 %. Atteindre 100 % séparation était en dehors de toute possibilité d’achèvement dans un délai raisonnable ou à l’intérieur de la capacité de la mémoire d’un seul PC. J’avais besoin d’un moyen d’augmenter la vitesse et la mémoire sans avoir à dépenser un bras et une jambe.

Entrer la solution de réseau de Beowulf...

Dans le processus de classification optimale il faut compter les doublons dans chaque multiset. Pour des problèmes comme celui que je tente de résoudre le multiensemble taille ce qui scandaleux. Partie d’un multiensemble qui devait être comptés est illustrée ci-dessous...

Parce que la taille de segment peut aussi être beaucoup plus grande que la portion indiquée ci-dessous un type de variable index double précision est généralement requise en plus du tableau étant de type double précision aussi bien. Incrémentation de l’index du tableau puis, c’est ce qui prend beaucoup de temps alors que le tableau lui-même est responsable de la nécessité d’optimiser la mémoire... .

En divisant la tâche en segments plus petits et en attribuant chaque segment aux endroits ou les nœuds autres calcule la plus rapide le processus de comparaison et de double comptabilisation peut être.

Une partie d’un segment de valeurs à comparer et doublons comptés est illustré ci-dessous. .

1116642534732
600272059440
738555848598
1324220299720
1282170772552
406100332736
1443470060825
1127113699913
242098093032
1587858021259
1371440052986
120608508586
1885859489440
1614337503910
1848669946193
92056035995
574605286121
1301334977149
777374744415
406100332736
868090093135
...

Une fois que le segment est traité uniquement les résultats de la comparaison et le comte sont nécessaires pour être stocké dans le même dossier, emplacement ou le nœud pour la récupération par le programme client de Beowulf.

Avec un total de 199 nœuds (limité seulement par le nombre de fichiers ouverts simultanément sous Visual Basic 6) taille de segment peut être sensiblement réduite et chacun traitées en moins d’une demi-seconde.

C’était la tâche de prototype qui pourrait le réseau Beowulf, mais un seul ordinateur personnel ne pourrait pas résoudre...